TRAFNOŚĆ I RZETELNOŚĆDOKŁADNOŚĆ vs PRECYZJA

● BŁYSKAWICZNA OCENA KRYTYCZNA 4● TRAFNOŚĆ 8● ZMIENNE 9● RZETELNOŚĆ 20● DOKŁADNOŚĆ A PRECYZJA 22

Artur Sołtysiak, październik 2014

SPOSÓB CYTOWANIA:Artur Sołtysiak “Trafność, rzetelność, dokładność, precyzja. Istotne właściwości każdej pracy badawczej”.v1, prezentacja, pażdziernik 2014

Treść licencji: http://creativecommons.org/licenses/by-nc-nd/3.0/pl/legalcode

… CZYLI JAK UNIKAĆ SKAŁ I DOPŁYNĄĆ SZCZĘŚLIWIE DO CELU PRACY BADAWCZEJ!

BŁYSKAWICZNA OCENA KRYTYCZNA(RAPID CRITICAL APPRAISAL)

Dotyczy każdej pracy badawczej

CEL: OKREŚLIĆ KTÓRE ZE ZNALEZIONYCH PRAC SĄ:

➔ TRAFNE (valid)

➔ RZETELNE (reliable)

➔ DAJĄ SIĘ ZASTOSOWAĆ LOKALNIE W PRAKTYCE (applicable)

BŁYSKAWICZNA OCENA KRYTYCZNA

Trzy pytania:

1. Czy rezultaty badania są trafne? (metody badania są wystarczająco dokładne by uchwycić możliwie najbliższe prawdzie wnioski)

2. Jakie są rezultaty i czy są rzetelne? - badania interwencyjne (interwencja "działa", ma wpływ na punkty końcowe, duże prawdopodobieństwo uzyskania podobnych rezultatów w codziennych warunkach klinicznych)

BŁYSKAWICZNA OCENA KRYTYCZNA

Trzy pytania (ciąg dalszy):

2. Jakie są rezultaty i czy są rzetelne? - badania jakościowe (podejście badawcze jest właściwie dopasowane do celu badania, rezultaty/wyniki mogą być potwierdzone)

3. Czy wyniki pomogą mi w opiece nad moimi pacjentami? (pomiędzy badanymi a pacjentami jest podobieństwo, korzyści przeważają ryzyko, wykonalne i opłacalne, w zgodzie z wartościami i preferencjami pacjenta)

TRAFNOŚĆ (VALIDITY)

TRAFNOŚĆ: jak bardzo coś jest dla czegoś odpowiednie (właściwe)

TRAFNOŚĆ PROCEDURY: do jakiego stopnia dana procedura faktycznie mierzy to co chcemy zmierzyć

TRAFNOŚĆ WNIOSKU: do jakiego stopnia wniosek z badania da się wyprowadzić wprost z danych przedstawionych w badaniu

TRAFNOŚĆ PRÓBY: czy sposób w jaki tworzymy, łączymy naszą próbę, pozwala nam formować twierdzenia dotyczące populacji

Czy sposób operacjonalizacji zmiennymi na prawdę mierzy to co ma mierzyć?(dobra kontrola zmiennych zewnętrznych)

Czy zebrane dane pozwalają odpowiedzieć na zadane pytanie?(trafność wewnętrzna)

ZMIENNE (variables):MIERZALNE JAKOŚCI LUB CECHY CHARAKTERYSTYCZNE OSÓB,

RZECZY LUB SYTUACJI KTÓRE MOGĄ PODLEGAĆ ZMIANIE, ZRÓŻNICOWANIU LUB PRZYPADKOWYM ODCHYLENIOM

TO PODSTAWA BADAŃ ILOŚCIOWYCH:STANOWIĄ PRZEDMIOT BADAŃ W DANEJ POPULACJI

ZMIENNA NIEZALEŻNA (independent variable):➢ jest w badaniu od samego początku➢ badacz nią manipuluje➢ ma wpływ na inną zmienną (zależną)

PRZYKŁADY:➢ LEK I JEGO POSZCZEGÓLNE DAWKI➢ DANY SPOSÓB PIELĘGNACJI

(np: zmiana ułożenia pacjenta nieprzytomnego w łóżku)➢ CZĘSTOTLIWOŚĆ, CZAS TRWANIA EKSPOZYCJI LUB INTERWENCJI➢ OBECNOŚĆ LUB NIEOBECNOŚĆ CZYNNIKA, OSÓB

(np: obecność rodziców przy dzieciach w trakcie bolesnych zabiegów)

ZMIENNA ZALEŻNA (dependent variable):➢ pojawia się w przebiegu badania jako skutek➢ nie podlega manipulacji lecz obserwacji i pomiarom➢ jej wartość/wielkość zależy od wartości/wielkości

zmiennej niezależnej

PRZYKŁADY:➢ ODPOWIEDŻ NA LEK I JEGO POSZCZEGÓLNE DAWKI➢ EFEKT DANEGO SPOSOBU PIELĘGNACJI

(np: pobudzenie procesów naprawczych skóry, zachowanie integracji tkanki skórnej)➢ POJAWIENIE SIĘ FENOMENU (np: zmniejszony lęk, zwiększone zaufanie, sprawniejsza

komunikacja, lepsza współpraca z pacjentem, zwiększenie liczby osób biorących udział w badaniach przesiewowych dla danej populacji)

ZMIENNA ZEWNĘTRZNA (extraneous variable):➢ niechciana “zmienna niezależna”➢ ma wpływ na efekt badania choć nie jest zmienną

niezależną wprowadzoną przez badacza➢ zagraża trafności wyników badania

(validity of study results)

PRZYKŁADY:➢ ALERGIA / UZALEŻNIENIE / INNE LEKI WCHODZĄCE W INTERAKCJE

A ODPOWIEDŹ NA DANY LEK I JEGO POSZCZEGÓLNE DAWKI➢ CHOROBY WSPÓŁISTNIEJĄCE U PACJENTA A EFEKT DANEGO SPOSOBU

PIELĘGNACJI (np: niski poziom białka a pobudzenie procesów naprawczych skóry)➢ WIEK I ZDOLNOŚCI POZNAWCZE A POJAWIENIE SIĘ FENOMENU

(np: lęk, zwiększone zaufanie, sprawniejsza komunikacja, lepsza współpraca z pacjentem, zwiększenie liczby osób biorących udział w badaniach przesiewowych dla danej populacji)

ZMIENNE ZEWNĘTRZNE:

➢ należy je rozpoznać i jeśli to możliwe wyeliminować we stępnej fazie projektu badania

➢ jeśli nie można ich wyeliminować - należy zastosować środki by je maksymalnie zmniejszyć lub wprowadzić kontrolę zmiennych zewnętrznych w badaniu

JEŚLI NIE MAMY KONTROLI NAD ZNANĄ ZMIENNĄ ZEWNĘTRZNĄ STAJE SIĘ ONA ZMIENNĄ UWIKŁANĄ (confounding variable)

WYNIKI BADANIA SĄ NIETRAFNE (invalid): wyjaśnienie nie odzwierciedla zjawiska do którego się odwołuje.

BADACZ MOŻE KONTROLOWAĆ / ANALIZOWAĆZMIENNE ZEWNĘTRZNE JEŚLI SĄ ZNANE I MIERZALNE.

STRATEGIE REDUKCJI UWIKŁAŃ (confounding):➢ randomizacja (randomisation) cel: losowa dystrybucja zmiennych uwikłanych

(confounding variables) w grupach➢ restrykcja (restriction): ograniczenie “wejścia” do badań osobom z czynnikami

uwikłanymi (confounding factors) - samo w sobie wiąże się z ryzykim tendencyjności

➢ dopasowanie (matching) osób lub grup by zapewnić równomierną dystrybucję uwikłań

➢ stratyfikacja (stratification): uwikłania są równo rozdzielone wewnątrz każdej warstwy (subpopulacji badania)

➢ dostosowanie (adjustment) - zazwyczaj zniekształcone przez wybór standardu➢ analiza wieloczynnikowa (multivariate analysis) ma sens tylko wtedy gdy można

rozpoznać i zmierzyć uwikłania

TRZY GŁÓWNE ZAGROŻENIADLA TRAFNOŚCI BADANIA

1: TENDENCYJNOŚĆ (bias): błąd systematyczny (systematic error) w sposobie dobrania pacjentów, pomiarze punktów końcowych lub sposobie analizowania danych:➢ brak lub defekt randomizacji (nierówne grupy)➢ słabe zaślepienie (prowadzi do tendencyjnych wniosków)➢ utrata znaczącej liczby uczestników badania, brak lub zbyt krótkie śledzenie

postępów (follow-up)

TENDENCYJNOŚĆ PUBLIKACJI (publication bias):autor nie zawarł w pracy przeglądowej wszystkich istotnych dla pytania klinicznego badań (nie chciał lub słaba strategia wyszukiwania); charakterystyczne dla meta-analiz, rzadko w przeglądach systematycznych.

2: PRZYPADKOWOŚĆ (chance): wyniki są dziełem przypadku a nie rezultatem terapii, leczenia, pielęgnacji lub ekspozycji; szczególnie próby małej wielkości są narażone na przypadkowość

3: UWIKŁANIE (confounding): błąd w interpretacji co może być trafnym wyznacznikiem, miarą dla punktu końcowego;

Czynniki uwikłane (confounding factors): czynniki mogące wywołać punkt końcowy lub jemu zapobiec choć nie podlegają danemu badaniu, nie są zmiennymi pośrednimi i nie są przedmiotem badania.

TRZY GŁÓWNE ZAGROŻENIADLA TRAFNOŚCI BADANIA

(ciąg dalszy)

ANALIZA INTENTION-TO-TREAT (ITT)czyli w przyrodzie nic nie ginie

analiza ITT ma miejsce kiedy wszyscy losowani uczestnicy byli zgłoszeni i analizowani w grupach do których byli przydzieleni przez najważniejszy moment pomiaru punktu końcowego, bez względu na niezgodnosć (non-compliance) i współ-interwencje (co-interventions).

Analiza dotyczy badań z grupą kontrolną (RCTs meta-analizy, przeglądy systematyczne) gdzie badana jest skuteczność interwencji (nie dotyczy jeśli badany jest tylko efekt).

Założenie: aby wynik badania był wiarygodny, wszyscy uczestnicy badania są brani pod uwagę jako całość w końcowym etapie badania, nawet jeśli niektórzy go nie ukończyli.

ANALIZA INTENTION-TO-TREAT (ITT) - OCENA

A - TAK: wyraźnie podane przez autorów, że analiza ITT została przeprowadzona co zostało potwierdzone w trakcie oceny badania; lub nie podane ale jasno wynika z oceny badania że została ona przeprowadzona

B - NIEJASNE: opisano jako analiza ITT jednak ocena badania tego nie potwierdza, lub nie opisano i ocena badania nie jest w stanie potwierdzić

C - NIE: brak analizy ITT potwiedzony w trakcie oceny badaniaPrzykład: pacjenci którzy byli losowo przydzieleni do grup nie zostali ujęci w analizie ITT ponieważ nie otrzymali przewidzianej w badaniu interwencji, lub wycofali się z badania lub nie byli włączeni ze względu na naruszenie protokołu badania niezależnie od tego czy ITT zgłoszono czy też nie

RODZAJ BRAKUJĄCYCH DANYCH MOŻLIWE POWODY

BRAKUJĄCE BADANIA➢ TENDENCYJNOŚĆ PUBLIKACJI➢ NIEDOSTATECZNE WYSZUKANIE

BRAKUJĄCE PUNKTY KOŃCOWE➢ PUNKT KOŃCOWY NIE ZMIERZONY➢ WYBIÓRCZA TENDENCYJNOŚĆ

SPRAWOZDAWCZOŚCI

BRAKUJĄCE DANE PODSUMOWANIA➢ WYBIÓRCZA TENDENCYJNOŚĆ

SPRAWOZDAWCZOŚCI➢ NIEKOMPLETNA SPRAWOZDAWCZOŚĆ

BRAKUJĄCY UCZESTNICY BADANIA

➢ BRAK ANALIZY ITT➢ “WYKRUSZANIE SIĘ” UCZESTNIKÓW➢ WYBIÓRCZA TENDENCYJNOŚĆ

SPRAWOZDAWCZOŚCI

BRAKUJĄCE WŁAŚCIWOŚCI POZIOMU BADANIA(dla analizy podgrup lub meta-regresji)

➢ WŁAŚCIWOŚĆ NIE ZMIERZONA➢ NIEPEŁNA SPRAWOZDAWCZOŚĆ

NA PODSTAWIE: Types of missing data in a meta-analysis, w: Cochrane Handbook (http://handbook.cochrane.org/)

RZETELNOŚĆ (RELIABILITY)

STATYSTYCZNA POWTARZALNOŚĆ POMIARÓW (RÓWNIEŻ W KONTEKŚCIE KLINICZNYM), WŁĄCZAJĄC TAKŻE TESTOWANIE NARZĘDZI BADAWCZYCH LUB TECHNIK SŁUŻĄCYCH DO UZYSKANIA POWTARZALNYCH REZULTATÓW(Definicja: The National Center for Biotechnology Information http://goo.gl/31unHy tłumaczenie własne)

● DOBÓR ODPOWIEDNICH INSTRUMENTÓW POMIAROWYCH

● NALEŻY OKREŚLIĆ ICH DOKŁADNOŚĆ DLA NASZYCH POMIARÓW

● NIE MA CAŁKOWICIE RZETELNYCH PROCEDUR, TECHNIK I INSTRUMENTÓW BADAWCZYCH

RZETELNOŚĆ (RELIABILITY) c.d.

KIEDY MIERZYMY PUNKTY KOŃCOWE, CHCEMY BYĆ PEWNI ŻE OTRZYMANE REZULTATY (PUNKTY KOŃCOWE) SĄ RZETELNE.

1) CZY POWTARZAJĄC POMIAR PUNKTÓW KOŃCOWYCH OTRZYMAMY TE SAME REZULTATY?

2) JEŚLI WEŹMIEMY POD UWAGĘ ZMIENNOŚĆ (VARIABILITY) REZULTATÓW Z POWTARZANYCH POMIARÓW: CZY PODJĘLIBYŚMY TAKĄ SAMĄ DECYZJĘ ZARÓWNO W OPARCIU O MOŻLIWIE NAJLEPSZY WYNIK JAK I W PRZYPADKU NAJGORSZEGO WYNIKU?

DOKŁADNOŚĆ (ACCURACY)PRECYZJA (PRECISION)

★ W JĘZYKU POTOCZNYM WYRAZY TE UŻYWANE SĄ ZAMIENNIE

★ W BADANIACH EKSPERYMENTALNYCH:

- DOKŁADNOŚĆ: JAK DANY POMIAR JEST BLISKO AKCEPTOWANEGO LUB WŁAŚCIWEGO POMIARU

- PRECYZJA: JAK POWTÓRZONE POMIARY SĄ BLISKO WZGLĘDEM SIEBIE

WYSOKA DOKŁADNOŚĆNISKA PRECYZJA

WYSOKA PRECYZJANISKA DOKŁADNOŚĆ

DOKŁADNE? TAK / NIE

PRECYZYJNE? TAK / NIE

DOKŁADNE? TAK / NIE

PRECYZYJNE? TAK / NIE

DOKŁADNE? TAK / NIE

PRECYZYJNE? TAK / NIE