Jak zjeść tę żabę? czyli jak wybrać optymalną metodę

analizy statystycznej w zależności od danych, jakie posiadasz?

Mateusz Nikodem, Kamil SiedmiogrodzkiCASPolska, Instytut Arcana, Kraków

VIII Konferencja PTFE, Warszawa 02.12.2010

Plan warsztatów - część I

Jak dobrze wybierać metody statystyczne?• Dlaczego to jest ważny i niełatwy problem?• Jaki mamy wachlarz możliwości?• Jak oceniamy wiarygodność i precyzję metod

statystycznych?• Jakie są główne wnioski: wskazówki i przestrogi?

Plan warsztatów - część II

Przykładowe analizy• Porównanie bezpośrednie - rzadkie zdarzenia• Porównanie pośrednie• Porównanie bezpośrednie - włączenie dodatkowych

badań

Plan warsztatów - część III

Podsumowania• Quiz• Dyskusja

Global e-Learning Tool with Advanced

Computing Software11.2009-10.201111.2009-10.2011

Główne cele

Budowa platformy e-learningowej zawierającej: materiały o przeprowadzaniu meta-analiz badań

bezpośrednich i analizy pośredniej z uwzględnieniem metod Bayesowskich (również pod kątem włączania badań innych niż RCT),

praktyczne przykłady, przyjazne oprogramowanie obliczeniowe.

Opracowanie schematu wyboru optymalnej metody statystycznej do analizy danych.Publikacja artykułów z zakresu badań prowadzonych w projekcie.Rozpowszechnianie zdobytej wiedzy.

Partnerzy Projektu

CASPolska – Polska (koordynator)

Queen Mary University of London – Wielka Brytania

Academic Medical Center Amsterdam – Holandia

EMMERCE EEIG – Szwecja

Grupy docelowe

Projekt skierowany jest głównie doAnalityków znających podstawy EBM, m.in.: Analityków danych medycznych, Specjalistów Farmakoekonomii, Naukowców / badaczy, Lekarzy.

Rezultaty - już uzyskane

strona internetowa www.ebayesmet.org

Rezultaty - już uzyskane

strona internetowa www.ebayesmet.org

Rezultaty - już uzyskane

Strona internetowa www.ebayesmet.orgPrzegląd metod statystycznych mogących mieć zastosowanie w meta-analizach,

Przegląd metod statystycznych stosowanych w raportach HTA,

Analiza wiarygodności i precyzji zidentyfikowanych metod statystycznych.

Rezultaty - w trakcie realizacji

Platforma e-learningowa,Schemat wyboru optymalnej metody (samouczek),Proste w obsłudze oprogramowanie obliczeniowe,Artykuły naukowe.

/Zakończenie Projektu: 10.2011/

Dlaczego jest ważny problem?

W oparciu o wyniki meta-analiz:• weryfikowane są hipotezy dot. skuteczności /

bezpieczeństwa,• obliczane są dalsze parametry kliniczne (jak NNT),

wpływające również na wyniki analizy ekonomicznej,

• poszerzamy stan naszej wiedzy.

Identyfikacja potrzeb

Potrzeba prowadzenia meta-analiz jest niepodważalna.• Jest wiele narzędzi statystycznych, dających różne

wyniki dla tych samych danych.• Najpopularniejsze metody nie zawsze dają

satysfakcjonujące i wiarygodne wyniki.• Wiedza o niektórych metodach jest

niewystarczająca.• Dużym problemem jest agregacja różnego typu

danych np.:• łączenie analizy pośredniej i bezpośredniej,• łączenie wyników badań RCT z CCT.

Cele - czego chcemy nauczyć?

Kroki niezbędne do przeprowadzenia właściwej analizy (z punktu widzenia obliczeń statystycznych):

• sklasyfikowanie posiadanych danych,• określenie pełnej palety metod statystycznych

możliwych do użycia dla naszych danych,• wybór najbardziej właściwej metody ze

względu na wszystkie istotne czynniki,

• poprawne przeprowadzenie obliczeń i wyciągnięcie wniosków.

Założenia - na czym się skupiamy

• Badania na dwóch grupach pacjentów• Dane dychotomiczne (0-1)• Parametr: iloraz szans - OR, ryzyko względne - RR• Analiza bezpośrednia• Analiza pośrednia i mieszana

Jakie są dostępne metody statystyczne?

Przeprowadzono przeglądy systematyczne:• Systematic review of statistical methods of meta-

analysis and indirect comparison potentially available to use in systematic reviews • główne wyszukiwania w:

• MEDLINE • MathSciNet

• Systematic review of methods for meta-analysis and indirect comparison used in systematic reviews and HTA reports• wyszukiwanie przez Centre of Reviews and Dissemination

(CRD) - bazy DARE (m.in. przeglądy Cochrane) i HTA - - losowa próba przeglądów

Jakie są dostępne metody statystyczne?

Porównania bezpośrednie

Generalised Linear Mixed

Models

DerSimonian - Laird

ModelRandom effects

Peto

Mantel - Haenszel

Inverse Variance

ModelFixed effect

Metody Bayesowskie

Jakie są dostępne metody statystyczne?

Analiza pośrednia/mieszana

Podejście Bayesowskie

Generalised linear mixed

models

BűcherLumley’s network analysis

Mixed Treatment

Comparison

Metoda Najmniejszych

Kwadratów

Metody analityczne

Co jest powszechnie stosowane?

Model meta-analizy %random effects 27%

fixed effect 21%

oba modele 52%

Typy badań w analizie %tylko RCT 87%

RCT / Obserwacyjne 6%

RCT/CCT 5%

Obserwacyjne 3%

Rodzaj analizy %bezpośrednia 97%

pośrednia / mieszana 3%

Co jest powszechnie stosowane?

Analizy pośrednie %

Mixed Treatment Comparison 53%

indirect_adjusted / Bűcher 13%

inne Baeysowskie 21%

inne 13%

Bezpośrednie Fixed

Effect%

Mantel-Haenszel 49%Peto 11%

Inverse Variance 3 %fixed Bayesian model 2%nieokreślone / inne 35%

Bezpośrednie Random

Effect%

DerSimonian Laird82%

random Bayesian model 4%

nieokreślone / inne 14%

Jak oceniać metody statystyczne?

Idea M. Bradburna, J. Deeksa i współautorów [1]1. Ustalenie liczby badań i liczności grup pacjentów.2. Ustalenie wartości prawdopodobieństw wystąpienia

punktów końcowych (a więc i ustalenie wartości OR).3. Losowe wygenerowanie dużej liczby (np. 1000) wyników

zbiorów badań odpowiadających ustalonym prawdopodobieństwom.

4. Przeprowadzenie metaanalizy poszczególnymi metodami dla każdego (z 1000) wyniku zbioru badań.

5. Przyrównanie wyników z prawdziwą wartością OR.

Jak ocenić wiarygodność metody statystycznej?

Jakie zbiory danych braliśmy pod uwagę?1. Porównania bezpośrednie

Łącznie 124 kombinacje wartości prawdopodobieństw i zbiorów danych dla porównań bezpośrednich.

Liczba badań

Łączna liczność w grupach interwencyjnych

Łączna liczność w grupach kontrolnych

Typ badań

Badania homoge-niczne

Badania heteroge-niczne

18 4019 3706 RCT + +

5 529 520 RCT +

17 1941 5126 RCT +

4 149 150 RCT + +

18 47433 100926 CCT +

Jak ocenić wiarygodność metody statystycznej?

Jakie zbiory danych braliśmy pod uwagę?2. Porównania pośrednie:na każdej bezpośredniej gałęzi po 3 badania, w każdym z nich od 50 do 150

pacjentów w obu grupach

Łącznie 80 kombinacji wartości prawdopodobieństw dla porównań pośrednich

Jakie metody statystyczne poddaliśmy analizie?

Metody porównań bezpośrednich Metody porównań pośrednich

Mantel-Haenszel Bűcher

Inverse Variance Mixed Treatment Comparison

DerSimonian-Laird Generalized Linear Mixed Model

Peto

Bayes I *

Bayes II *

Bayes Random *

Bayes +CCT *

* omówione w dalszej części

Parametry oceny

• Błąd systematyczny, obciążenie (bias)Różnica względna między prawdziwą wartością OR, a

średnią z wartości otrzymanych w próbie losowej.• Pokrycie przedziałem ufności

Procent symulacji dla których przedział ufności zawiera prawdziwy OR.

• Istotność statystycznaProcent symulacji dla których otrzymujemy wynik istotny

statystycznie we właściwym kierunku.

Główne cele meta-analiz

• Oszacowanie (możliwie dokładne) wartości szukanego parametru:szacowany iloraz szans wynosi 1.67, przy 95% zakresie

niepewności (przedziale ufności) (1.02;2.75)

• Weryfikacja hipotezy:hipoteza: lek A jest równie bezpieczny/skuteczny jak lek B (na ustalonym, zwykle 95%, poziomie

ufności).

Parametry oceny - co jest najważniejsze?

• Błąd Systematyczny, oznacza regularną rozbieżność między estymowanym wynikiem a prawdziwą wartością.

• Pokrycie Przedziałem Ufności (PPU), im niższe tym mniejsza szansa, że 95% przedział ufności faktycznie zawiera prawdziwą wartość OR. Może być związane z szerokością przedziału jak i z błędem systematycznym

• Moc Statystyczna - im większa, tym większa szansa uzyskania istotnego wyniku. Wysoka istotność często jest związana z wąskimi przedziałami ufności, a więc i niskim PPU

grupa z interwencją grupa kontrolna

Badanie n N-n N n N-n N

I 28 32 60 33 27 60

II 5 15 20 13 7 20

razem 33 47 80 46 34 80

Meta-analiza

Inverse Variance OR = 0.531 (0.281;1.002)

Mantel-Haenszel OR = 0.525 (0.281;0,978) IS !

O istotności statystycznej..

Meta-analiza

Inverse Variance OR = 0.531 (0.281;1.002)

Mantel-Haenszel OR = 0.525 (0.281;0,978) IS !

O istotności statystycznej.. ;)

Badanie Orły Reszki N Orły Reszki N

I 28 32 60 33 27 60

II 5 15 20 13 7 20

razem 33 47 60 46 34 80

Klasyfikacja danych

Przyjmujemy umowne określenia:Duży zbiór danych: łącznie powyżej 1000 pacjentów

w każdej z grup, Średni zbiór danych: łącznie powyżej 300

pacjentów w każdej z grup,Mały zbiór danych: łącznie mniej niż 300 pacjentów

w każdej z grup,Zbalansowany zbiór danych: łączne liczności

pacjentów w obu grupach są zbliżone do siebie.

Klasyfikacja danych

Zdarzenia rzadkie: zdarzenia występujące u mniej niż u 5% pacjentów w przynajmniej jednej z grup.

Uwaga! W związku z symetrią parametru OR tak samo klasyfikujemy przypadki, gdy zdarzenia występują u 95% lub więcej pacjentów.

Istotna różnica w częstościach zdarzeń:

(nieformalnie) OR > 2.5 (lub OR < 0.4)

Główne wnioski z naszej analizy

Duży, zbalansowany zbiór danych

Metoda Uwagi

Bayes II √Metoda spełnia najwyższe kryteria

wiarygodności i precyzji mierzone wg wszystkich parametrów

Inverse Variance √ Metody spełniają wysokie kryteria wiarygodności i precyzji mierzone wg

wszystkich parametrówDerSimonian - Laird √

Bayes I √

Duży, zbalansowany zbiór danych

Metoda Uwagi

Mantel -Haenszel !

Ryzyko nieuzasadnionej istotności statystycznej jeśli RR≈1. Wysoka moc statystyczna osiągana

jest kosztem niższego PPU.

Bayes Random ! Wysokie PPU okupione niską mocą statystyczną

Peto !!Funkcjonuje prawidłowo tylko przy braku

istotnej różnicy częstości zdarzeń w grupach. W przeciwnym razie wysoce zniekształca wyniki.

Duży zbiór danych, niezbalansowany

Główne wnioski jak w przypadku zbalansowanym, przy czym:

Metoda Uwagi

Inverse Variance !

Wysoki błąd systematyczny dla bardzo rzadkich zdarzeń

DerSimonian-Laird !

Bayes I !

Bayes Random !

Peto !Bardziej niż w zbiorze zbalansowanym

zniekształca wyniki w przypadku istotnej różnicy częstości zdarzeń w grupach.

Średni zbiór danych

Główne wnioski jak w przypadku zbalansowanym, przy czym:

Metoda Uwagi

Inverse Variance √

Można zauważyć nieco wyraźniej, że D-L w stosunku do IV oraz Bayes I daje wyższe PPU,

kosztem mniejszej mocy statystycznej.DerSimonian-

Laird √

Bayes I √

Duży zbiór danych - heterogeniczność

Metoda Uwagi

DerSimonian -Laird √

Z wyjątkiem bardzo rzadkich zdarzeń metoda spełnia wysokie kryteria wiarygodności i

precyzji mierzone wg wszystkich parametrów

Bayes Random √(!)

Najwyższe spośród wszystkich metod PPU okupione jednakże niską mocą statystyczną,

wysoki błąd systematyczny dla bardzo rzadkich zdarzeń.

Bayes II √(!)Dla zdarzeń rzadkich spełnione najwyższe

kryteria wiarygodności i precyzji mierzone wg wszystkich parametrów.

Duży zbiór danych - heterogeniczność

Metoda Uwagi

Inverse Variance √(!) Parametry nieznacznie gorsze niż w metodzie

DerSimonian-LairdBayes I √(!)

Mantel-Haenszel !

Wysokie ryzyko nieuzasadnionej istotności statystycznej jeśli RR≈1. Nieco wyższa moc

statystyczna osiągana jest kosztem wyraźnie niższego PPU.

Peto !

Funkcjonuje prawidłowo tylko przy braku istotnej różnicy częstości zdarzeń w grupach.

W przeciwnym razie wysoce zniekształca wyniki (bardziej niż w przyp. zbalansowanym).

Mały zbiór danych

Metoda Uwagi

Inverse Variance √ Metody spełniają wysokie kryteria wiarygodności i precyzji mierzone wg

wszystkich parametrów. Żadna z metod nie daje jednak

satysfakcjonującej mocy statystycznej.

DerSimonian- Laird √

Bayes I √

Mantel-Haenszel √(!)

Wysokie ryzyko nieuzasadnionej istotności statystycznej jeśli RR≈1.

Wyższa od innych moc statystyczna osiągana jest kosztem niższego PPU.

Mały zbiór danych

Metoda Uwagi

Bayes II ! Na tle powyższych metod wypada nieco słabiej

Bayes Random ! Wysokie PPU okupione bardzo niską mocą statystyczną

Peto !

Funkcjonuje prawidłowo tylko przy braku istotnej różnicy częstości zdarzeń w

grupach. W przeciwnym razie wysoce zniekształca wyniki (bardziej niż w przyp.

zbalansowanym).

Mały zbiór danych (!)

Metoda Uwagi

Bayes +CCT (Sceptical) √

Metoda dająca wyższe od poprzednich modeli PPU i bardziej satysfakcjonującą

moc statystyczną

Bayes +CCT (Equivalent) √

Metoda dająca jeszcze wyższe PPU i jednocześnie bardzo wysoką moc

statystyczną

Bayes +CCT (Naive) !

Najwyższa moc statystyczna może być okupiona znacznie niższym PPU, ryzyko,

że badania CCT zdominują RCT.

Wnioski - porównanie pośrednie

Uwzględnienie zarówno bezpośrednich jak i pośrednich wyników - poprzez użycie Mixed Treatment Comparison lub Generalized Linear Mixed Model znacznie podniesie moc statystyczną, przy zachowaniu zbliżonych wartości PPU i błędu systematycznego.

Wnioski - podsumowanie

! Metodę Peto można stosować tylko w szczególnych przypadkach3.! Należy pamiętać, że metoda Mantela-Haenszla jest mało

konserwatywna. Metoda Bayes II jest znakomitym rozwiązaniem dla analizy rzadkich

zdarzeń. Metoda Bayes Random daje największą pewność w sensie PPU. Metody Bayes I i Inverse Variance są metodami uniwersalnymi dającymi

relatywnie dobre wyniki dla wszystkich zbiorów danych. Dla małych zbiorów danych warto rozważyć Bayes +CCT w wersjach

sceptic lub equivalent. Dla podniesienia mocy statystycznej warto łączyć porównania

bezpośrednie z pośrednimi (np. z użyciem MTC).

Plan warsztatów - część II

Przykładowe analizy:• porównania bezpośrednie – „head to head”Cel: przedstawienie palety dostępnych metod statystycznych do meta-analiz oraz rozbieżności wyników uzyskanych za ich

pomocą.

• porównania pośrednie Cel: zwrócenie uwagi na metody pozwalające łączyć dowody

różnego rodzaju, bezpośrednie i pośrednie.

• analizy z uwzględnieniem badań obserwacyjnych Cel: przedstawienie korzyści wynikających z włączenia do PS badań

o niższym poziomie wiarygodności – co dalej gdy RCT nie wystarczają do udzielenia odpowiedzi na pytania- przykład ze zdarzeniami rzadkimi.

Skąd pochodzą przykłady?

• Porównania bezpośrednie: Etanercept for the treatment of rheumatoid arthritis. Blumenauer BBTB, Cranney A, Burls A, Coyle D, Hochberg MC, Tugwell P, Wells GA.

• Porównania pośrednie: Gabapentin Versus Tricyclic Antidepressants for Diabetic Neuropathy and Post-Herpetic Neuralgia: Discrepancies Between Direct and Indirect Meta-Analyses of Randomized Controlled Trials. Chou R, Carsan S, Chan B.

• Analizy z uwzględnieniem badań obserwacyjnych: Bisphosphonates and artial fibrillation: Bayesian meta-analyses of randomized controlled trials and observational studies. Mak A, Cheung M, Chun-Man Ho R, Check A, Lau C.

Jak obliczono wyniki do przykładów?

• Porównania bezpośrednie:„Bayes I” – metoda bayesowska stosowana głównie do modeli typu fixed. W obliczeniach wykorzystuje policzone uprzednio wspólczynniki OR bądź RR wraz z przedziałami ufności każdego z osobna badania włączonego do meta-analizy. Bazuje na założeniu o normalności zlogarytmowanego OR lub RR odpowiednio.

„Bayes II” – metoda bayesowska stosowana głównie do modeli typu fixed. W obliczeniach wykorzystuje jałowe dane mówiące o liczbie zdarzeń w obserwowanej grupie. Opiewa na założeniu, iż liczba zaobserwowanych zdarzeń jest pewną realizacją procesu Bernouliego.

Jak obliczono wyniki do przykładów?

• Porównania bezpośrednie:„Bayes random” (hierarchical) – metoda bayesowska dedykowana do modeli typu random effects. W obliczeniach wykorzystuje policzone uprzednio współczynniki OR bądź RR wraz z przedziałami ufności każdego z osobna badania włączonego do meta-analizy. Podobnie do metody DerSimonian-Laird zawiera dodatkowe źródło losowości ale o innym charakterze.

Jak obliczono wyniki do przykładów?

• Porównania pośrednie:Mixed Treatment Comparison (MTC) – jedna z najbardziej uniwersalnych technik przeprowadzania meta-analiz pozwalająca przeprowadzać analizy pośrednie oraz analizy mieszane, czyli łączące porównania pośrednie i bezpośrednie. Metoda ta również znakomicie nadaje się do analiz o bardziej rozbudowanej sieci porównań, tzw. Network comparison.

Generalized Linear Mixed Model (GLMM, Glimmix)

Jak obliczono wyniki do przykładów?

• Analizy z uwzględnieniem badań obserwacyjnych: „Beyes equivalent” – metoda bayesowska pozwalająca włączać wiedzę a’priori z badań obserwacyjnych do meta-analiz. Głównym założeniem tej metody jest przekonanie o równowartości wiedzy pochodzącej z badań RCT i obserwacyjnych. Wiedza z badań RCT nie dominuje wiedzy z badań obserwacyjnych i odwrotnie.„Bayes naive”„Bayes sceptic”

Przykłady – analiza bezpośrednia

Przykład z przeglądu: Etanercept for the treatment of rheumatoid arthritis.

P – populację stanowią osoby cierpiące migotanie komór

I – interwencją jest leczenie methotrexane

C – grupę kontrolną stanowią pacjenci przyjmujący placebo

O – 70% poprawa wg skali ACR

S – RCT

Przykłady – analiza bezpośrednia.

Do meta –analizy z przeglądu, włączono 3 badania RCT, miarą skuteczności był RR.

Przykłady – analiza bezpośrednia.

Wyniki meta-analizy różnymi metodami.

Metoda OR Lci Uci

Peto* 2,3162 1,4855 3,6112

Mantel-Heanszel* 2,3953 1,4886 3,8544

Inverse variance* 2,0463 1,2435 3,3676

DerSimonian-Laird* 4,6290 0,9080 23,5989

Bayes 1 2,042 1,239 3,361

Bayes 2 2,269 1,438 3,654

Bayes rnd 4,22 0,739 35,78

•*Wyniki obliczone za pomocą programu statystycznego R.

Przykłady – analiza pośrednia

Przykład z przeglądu: Gabapentin Versus Tricyclic Antidepressants for Diabetic Neuropathy and Post-Herpetic Nauralgia: Discrepancies Between Direct and Indirect Meta-analyses of Randomized Controlled Trials.

P – populację stanowią osoby cierpiące na ból neuropatyczny

I – interwencją jest leczenie gabapentyną

C – grupę kontrolną stanowią pacjenci przyjmujący antydepresanty

trójcykliczne

O – zmniejszenie bólu

S – RCT

Przykłady – analiza pośrednia

Badania head-to-head: Gabapentin vs Tricyclic antidepresants

Przykłady – analiza pośrednia

Badania head-to-head: Gabapentin vs placebo

Przykłady – analiza pośrednia

Badania head-to-head: Tricyclic antidepresants vs placebo

Przykłady – analiza pośrednia

Problem: mało badań bezpośrednich (tylko jedno nowe)Rozwiązanie: wzmocnienie dowodów bezpośrednich analizą pośrednią

technika metoda RR Lci Uci

head-to-head DerSimonian-Laird 0,99 0,76 1,29

indirect Bücher 0,41 0,23 0,74

mixed MTC 0,8542 0,6708 1,086

Przykłady – analiza z uwzględnieniem badań obserwacyjnych

Przykład z przeglądu: Bisphosphonates and artial fibrillation: Bayesian meta-analyses of randomized controlled trials and observational studies.

P – populację stanowią osoby chore na osteoporozę

I – interwencją jest leczenie bisfofoniamani

C – grupę kontrolna stanowi populacja nie zażywająca bisfosfonoanów

O – obserwowany punkt końcowy to migotanie przedsionków

S – RCT, badania obserwacyjne

Przykłady – analiza z uwzględnieniem badań obserwacyjnych

Do analizy włączono 3 badania RCT oraz 3 badania obserwacyjne. Dla każdej grupy badań przeprowadzono meta-analizę z następującymi wynikami:

•dla badań RCT:

Przykłady – analiza z uwzględnieniem badań obserwacyjnych

•dla badań obserwacyjnych:

Wnioski: 1) brak istotności w przypadku meta-analizy badań RCT 2) brak istotności w przypadku meta-analizy badań obserwacyjnych

Przykłady – analiza z uwzględnieniem badań obserwacyjnych

Czy da się połączyć wyniki meta-analizy badań RCT z wynikami meta-analizy badań obserwacyjnych? TAK!

Wyniki badań RCT

Wiedzaa priori

Metoda OR Lci Uci

Bayes equivalent 1,21 1,046 1,4

WinBugs

Jedyne powszechnie dostępne oprogramowanie pozwalające na analizę metodą Bayesowską.Zalety:•jest,•duża liczba obliczeń w relatywnie krótkim czasie.

Wady:•trudny w obsłudze,•trzeba umieć tworzyć algorytmy,•skomplikowana składnia,•często chimerycznie zapisane algorytmyJest nadzieja na uproszczenie procedury od tworzenia algorytmu do wyniku końcowego

WinBugs

Na czym polega włączanie badań CCT?

RCT grupa z interwencją grupa kontrolna

Badanie n N-n N n N-n N

I … … 100 … … 100

II … … 50 … … 50

CCT grupa z interwencją grupa kontrolna

Badanie n N-n N n N-n N

I … … 250 … … 250

II … … 300 … … 350

III … … 400 … … 450

Na czym polega włączanie badań CCT ?

CCT grupa z interwencją grupa kontrolna

Badanie n N-n N n N-n N

I … … 250 … … 250

II … … 300 … … 350

III … … 400 … … 450

Przeprowadzamy pomocniczą meta-analizę badań CCT. Wynikiem jest estymacja np. ln(OR) wyrażona rozkładem normalnym (czyli parametrami μ i σ).

Na czym polega włączanie badań CCT ?

Przeprowadzamy pomocniczą meta-analizę badań RCT. Wynikiem jest estymacja np. ln(OR) wyrażona rozkładem normalnym (czyli parametrami μ’ i σ’).

RCT grupa z interwencją grupa kontrolna

Badanie n N-n N n N-n N

I … … 100 … … 100

II … … 50 … … 50

Na czym polega włączanie badań CCT ?

Model equivalent.

Jako rozkład a priori przyjmujemy N(μ, σ’) - tj. μ wzięte z CCT i σ’ z RCT.

Następnie postępujemy wg. modelu Bayes 1, czyli prowadzimy estymację z uwzględnieniem wyników poszczególnych badań RCT przedstawionych w formie ln(ORk).

Na czym polega włączanie badań CCT ?

Model sceptical.

Jako rozkład a priori przyjmujemy N(μ, 4σ’) * - tj. μ wzięte z CCT i σ’ z RCT.

Następnie postępujemy wg. modelu Bayes 1, czyli prowadzimy estymację z uwzględnieniem wyników poszczególnych badań RCT przedstawionych w formie ln(ORk).

* stała 4 może być wg uznania zastąpiona przez inną.

Quiz

Test wielokrotnego wyboru, co najmniej jedna odpowiedź jest prawdziwa.8 pytań

Metody dające relatywnie szeroki przedział ufności z reguły mają:

Podwyższony błąd systematyczny Obniżoną moc statystyczną Wysoką moc statystyczną Są typowe dla modelu random effects

QUIZ - zadanie 1

QUIZ - zadanie 2

Podejście Bayesowskie: Pozwala wykorzystać dodatkowe dane Może być realizowane za pomocą różnych modeli

w zależności od posiadanych danych Umożliwia agregacje danych z różnych źródeł Przy prawidłowym użyciu w wielu przypadkach

może dawać bardziej satysfakcjonujące wyniki niż metody analityczne

QUIZ - zadanie 3

Problem występowania zer w tabeli danych możemy rozwiązać następująco:

Zawsze stosujemy metodę Peto. Możemy stosować metodę Peto tylko, gdy nie ma dużej

dysproporcji między odsetkami zdarzeń w obu grupach, w przeciwnym wypadku wybieramy inną metodę.

Zawsze wybieramy metodę Mantela-Haenszla z korektą zer (lub możliwie bez niej) - zachowując ostrożność w ocenie istotności statystycznej.

Zawsze wybieramy metodę Bayes II.

Modele Bayesowskie stosujemy następująco: Dla badań z istotną hetogenicznością - Bayes

Random. Dla rzadkich zdarzeń, szczególnie w przypadku

średniej lub dużej liczby pacjentów - Bayes II Dla modelu fixed zawsze można stosować Bayes I Dla badań łączących CCT i RCT - Bayes +CCT w

wersji sceptical lub equivalent Dla analiz łączących porównania pośrednie i

bezpośrednie MTC lub GLMM.

QUIZ - zadanie 4

QUIZ - zadanie 5

Metoda Mantela-Haenszla: Daje relatywnie duże ryzyko otrzymania

błędnego istotnego statystycznie wyniku Ma relatywnie mały błąd systematyczny Jest bardzo konserwatywna Z wyjątkiem przypadków bardzo rzadkich

zdarzeń nie powinna być stosowana gdy mamy istotną heterogeniczność.

QUIZ - zadanie 6

Łączenie analizy bezpośredniej i pośredniej: Jest zbyteczne, bo nie wnosi nic nowego do wyniku. Jest zbyteczne, gdy uznamy że wynik bezpośredni

wystarczająco dobrze odzwierciedla rzeczywistość. Ma sens, bo uwzględniając więcej danych

otrzymujemy bardziej precyzyjny wynik. Ma sens, tylko gdy poszczególne porównania są

obrazowane badaniami o spójnej metodologii (punkt końcowy, horyzont czasowy, itd.).

QUIZ - zadanie 7

Włączanie badań CCT: Pozwala na zwiększenie moc statystyczną

analizy. Powoduje zwiększenie błędu systematycznego Nie może być zaimplementowane metodami

bayesowskimi. Jest zbyteczne, gdy uznamy że badania typu

RCT wystarczająco dobrze odzwierciedlają rzeczywistość.

QUIZ - zadanie 8

Jeśli stwierdzono heterogeniczność statystyczną między badaniami, to:

Poza pewnymi wyjątkami nie wskazane jest używanie metod skonstruowanych do modelu fixed effect.

Spośród metod analitycznych najlepiej wybrać metodę Peto.

Nie należy stosować metod bayesowskich. Wybór metody Mantela-Haenszla ze względu na

niskie PPU obniży wiarygodność analizy.

Dziękujemy za uwagę,zapraszamy do dyskusji!

Referencje

1. M. Bradburn, J. Deeks, J. Berlin,R. Localio „Much ado about nothing: a comparison of meta-analytical methods with rare events”, Statistics in medicine 2007;26:53-77.

2. A.J. Sutton, K.R. Abrams, Bayesian methods in meta-analysis and evidence synthesis, Statistical Methods in Medical Research 2001; 10: 277-303.

3. Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions, Version 5.0.2, Chapters 9.4, 9.5,16.9 The Cochrane Collaboration, (2008) [updated 09.2009].

Referencje

4. G. Woodworth „Biostatistics, a Bayesian Intruduction”, WILEY, (2004),

5. D. J. Spiegelhalter, N. G. Best Bayesian approaches to multiple sources of evidence and uncertainty in complex cost-efectiveness modelling, Stat Med. 22(23): 3687-3709, (2003),

6. D.M. Caldwell, A.E. Ades, J.P.T. Higgins Simultaneous comparison of multiple treatments: combining direct and indirect evidence, BMJ 331:897-900, (2005)

7. M. Bradburn, J. Deeks, J. Berlin,R. Localio „Much ado about nothing: a comparison of meta-analytical methods with rare events”, Statistics in medicine 2007;26:53-77.

Referencje

8. StatsDirect help files, http://www.statsdirect.com/help/statsdirect.htm

9. D. Spiegelhalter, A. Thomas, N. Best, D Lunn, WinBUGS User Manual,

http://www.mrc-bsu.cam.ac.uk/bugs/winbugs/manual14.pdf10. Etanercept for the treatment of rheumatoid arthritis. Blumenauer BBTB,

Cranney A, Burls A, Coyle D, Hochberg MC, Tugwell P, Wells GA.11. Gabapentin Versus Tricyclic Antidepressants for Diabetic Neuropathy

and Post-Herpetic Neuralgia: Discrepancies Between Direct and Indirect Meta-Analyses of Randomized Controlled Trials. Chou R, Carsan S, Chan B.

12. Bisphosphonates and artial fibrillation: Bayesian meta-analyses of randomized controlled trials and observational studies. Mak A, Cheung M, Chun-Man Ho R, Check A, Lau C.