Post on 22-Feb-2016
description
ANNA MUECK GRUPA A/B, OAM
Ocena wartości diagnostycznej testu – obliczanie czułości, swoistości, wartości
predykcyjnych testu. Krzywe ROC.
Czułość diagnostyczna
Czułość diagnostyczna określa zdolność testu do wykrywania osób chorych.
Jest to stosunek wyników prawdziwie dodatnich do sumy wyników prawdziwie dodatnich i fałszywie ujemnych (pomnożone przez 100%).
Czułość 100% oznaczałaby, że wszystkie osoby chore lub ogólnie z konkretnymi poszukiwanymi zaburzeniami zostaną rozpoznane.
Czułość diagnostyczna = PD / (PD + FU)
Przykład:Jeżeli wartość czułości diagnostycznej wynosi
70%, oznacza to, że 70% pacjentów z daną jednostką chorobową, przy pomocy danego testu będzie dobrze sklasyfikowane. 30% natomiast, zostanie źle sklasyfikowane. Im wyższa czułość testu, tym jest on bardziej przydatny diagnostycznie. Idealny byłby test
o 100% czułości.
Swoistość diagnostyczna
Swoistość diagnostyczna określa zdolność testu do poprawnego wykluczenia choroby.
Jest to stosunek wyników prawdziwie ujemnych do sumy wyników prawdziwie ujemnych i fałszywie dodatnich (pomnożone przez 100%).
Swoistość 100% oznaczałaby, że wszyscy ludzie zdrowi w wykonanym teście diagnostycznym zostaną oznaczeni jako zdrowi. Test o wysokiej swoistości posiada niski błąd drugiego typu.
Swoistość diagnostyczna = PU / (PU + FD)
przykład:Jeżeli wartość swoistości diagnostycznej
wynosi 40%, oznacza to, że 40% pacjentów zdrowych, przy pomocy danego testu będzie dobrze sklasyfikowane. 60% natomiast, zostanie źle sklasyfikowane. Im wyższa swoistość testu, tym jest on bardziej przydatny diagnostycznie. Idealny byłby test
o 100% swoistości.
Inne parametry oceniające wartość diagnostyczną testu
Dodatnia wartość predykcyjna
Ujemna wartość predykcyjna
Wartość predykcyjna dodatnia
Wartość predykcyjna dodatnia (PPV) – prawdopodobieństwo, że osobnik miał chorobę mając pozytywny wynik testu. Jeśli więc badana osoba otrzymała pozytywny wynik testu, to PPV daje jej informację na ile może być pewna, że cierpi na daną chorobę.
Dodatnia wartość predykcyjna = PD / (PD + FD)
Ujemna wartość predykcyjna
Wartość predykcyjna ujemna (NPV) – prawdopodobieństwo, że osobnik nie miał choroby mając negatywny wynik testu. Jeśli więc badana osoba otrzymała negatywny wynik testu, to NPV daje jej informację na ile może być pewna, że nie cierpi na daną chorobę.
Ujemna wartość predykcyjna = PU / (PU + FU)
Krzywe ROC
krzywe ROC są często stosowaną metodą służącą do opisania dokładności diagnostycznej testu. Służą one do porównywania testów diagnostycznych, analizy czy dany test jest efektywny w odróżnianiu różnych populacji, i ustalania wartości odcięcia.
Krzywe ROC opisują cały zakres pracy klasyfikatora i pozwalają na miarodajne porównanie wyników z różnych klasyfikatorów. Zaletą stosowania krzywych ROC jest też ich niezależność od jednostek i skal stosowanych w danym badaniu oraz możliwość stosowania do danych skategoryzowanych (nie tylko binarnie).
FP: wyniki fałszywie dodatnieFN: wyniki fałszywie ujemneTP: wyniki prawdziwie dodatnieTN: wyniki prawdziwie ujemne
ChorzyZdrowi
Diagram obrazujący centralną pozycję krzywych ROC w oszacowaniu dokładności diagnostycznej
Krzywe ROC
Potrzebny jest „złoty środek” aby dobrze zaklasyfikować chorych i zdrowych
Liczba osób chorych i osób zdrowych powinna być zbliżona
Zdrowi i chorzy powinni reprezentować populacje dla której wykonuje się oznaczenia
Krzywa ROC jest to zależność pomiędzy czułością a (1- swoistością)
Cel: ustalenie wartości decyzyjnej
Kryteria ustalenia wartości decyzyjnej
Cel badania (przesiewowe, potwierdzające)„strata społeczna” – ile będzie kosztowało
zakwalifikowanie osoby do kategorii „zdrowy” lub „chory”
Częstość choroby w populacji
Bardzo istotne jest właściwe umieszczenie punktu odcięcia na krzywej
Przesunięci punktu odcięcia w prawo spowoduje spadek czułości diagnostycznej ponieważ większa część chorych zostanie zakwalifikowana jako zdrowi. Natomiast wzrośnie swoistość ponieważ wszystkich tych którzy są zdrowi zakwalifikujemy prawidłowo czyli wykluczymy chorobę. Gdy wzrasta czułość to spada swoistość i na odwrót.
Analogiczna sytuacja zaistnieje gdy punkt odcięcia zostanie przesunięty w lewo (wzrośnie czułość, a spadnie swoistość).
Wykres krzywej ROC (ang. Receiver Operating Curve) jest w praktyce klinicznej narzędziem ułatwiającym wybór wartości progowej testu diagnostycznego, dla którego uzyskujemy optymalne parametry czułości i swoistości.
Krzywa to graficzne przedstawienie zależności pomiędzy odsetkami wyników testu prawdziwie dodatnimi (czułość) oraz odsetkami wyników fałszywie dodatnimi (1-swoistość).
Zwiększenie czułości testu wiąże się ze zmniejszeniem odsetka wyników fałszywie ujemnych, ale jednocześnie ze zmniejszeniem swoistości (zwiększeniem odsetka wyników fałszywie dodatnich).
Zwiększenie swoistości testu wiąże się ze zmniejszeniem odsetka wyników fałszywie dodatnich, ale jednocześnie ze zmniejszeniem czułości (zwiększeniem odsetka wyników fałszywie ujemnych).
Optymalna wartość progowa wyniku testu (możliwie wysoka czułość testu przy wysokiej swoistości), to w większości
przypadków wartość najbardziej zbliżona do lewego górnego rogu wykresu (odpowiadającego 100% czułości i swoistości).
Pole powierzchni pod wykresem krzywej ROC – AUC (ang. Area Under Curve), przyjmujące wartości w przedziale od 0 do 1, określa zdolność testu do rozgraniczenia wyników prawidłowych i nieprawidłowych. Im większe jest AUC (im bardziej wklęsła będzie funkcja ROC) tym większa jest moc diagnostyczna testu. Tym samym zdolność rozdzielcza testu jest lepsza.
Większość testów w diagnostyce reprezentuje moc diagnostyczną wyrażająca się wielkościami AUC pomiędzy 0,80 a 0,95.
AUC
Do uzyskania zwartej informacji o skuteczności klasyfikacji można użyć AUC (Area Under Curve), czyli pole powierzchni pod krzywą ROC. Pole powierzchni pod krzywą ROC to prawdopodobieństwo, że klasyfikator nada wyższą rangę losowo wybranemu przypadkowi z odpowiedniej grupy, a nie losowo wybranemu przypadkowi z grupy, w której wiadomo że szukane dane nie występują. W AUC zawarty jest opis precyzji detekcji w całym zakresie pracy systemu. Wartość AUC równą 0.5 można opisać jako działanie losowe, a wartość równa 1.0 to wskaźnik idealny. Oznacza to, że krzywa przechodząca bliżej górnego lewego rogu obrazuje większą dokładność diagnostyczną.
Często stosowany opis jakości testów diagnostycznych jest wzorowany na amerykańskim systemie edukacji i może być opisany w następujący sposób:
· 0.9-1.0 = bardzo dobry
· 0.8-0.9 = dobry
· 0.7-0.8 = satysfakcjonujący
· 0.6-0.7 = średni
· 0.5-0.6 = niedostateczny
Obliczenie AUC wykonywane jest przed programy komputerowe. Pole powierzchni obliczane jestnajczęściej według dwóch metod:
- Metoda nie parametryczna (ang. non-parametric) oparta jest na konstruowaniutrapezoidów pod krzywą w celu oszacowania pola powierzchni pod wykresem.
- Metoda parametryczna oparta jest na zasadzie określania maksymalnegoprawdopodobieństwa (ang. maximum likelyhood estymator) aby dopasować linie ciągłą dowykresu danych.
Przykładowe krzywe ROC dla przypadku idealnego, testu rzeczywistego i dla przypadkowej selekcji na obecność patologii, zupełnie niezdeterminowanej informacją użyteczną.
Wpływ częstości choroby na wartość diagnostyczną testu
Prevalance (częstość) – proporcja ludzi z chorobą w danej populacji, w szczególnym momencie czasu
Incidence (nowe przypadki) – liczba nowych przypadków choroby pojawiających się w danym okresie czasu (n/1000/rok)
Odds ratio i likelihood ratio
Odds ratio (iloraz prawdopodobieństwa) – prawdopodobieństwo obecności danej choroby podzielone przez prawdopodobieństwo jej nieobecności
Likelihood ratio (iloraz wiarygodności) – prawdopodobieństwo pojawienia się danego wyniku (gdy choroba jest obecna) podzielone przez prawdopodobieństwo tego samego wyniku gdy nie ma choroby
Dziękuję za uwagę