Psychometria rzetelność testów psychologicznych

Psychometria - rzetelność

Karol Wolski

Co to jest test?

• „zbiory pytań lub sytuacje, służące do badania własności jednostek lub grup ludzkich przez wywołanie u nich określonych obserwowalnych reakcji werbalnych lub niewerbalnych, będących w miarę możliwości reprezentatywnymi próbkami ich zachowania się” (Choynowski, 1971 za Brzeziński, 2004)

Dwa najważniejsze kryteria dobrego testu

• Rzetelność

– Jak dobrze test mierzy to co powinien mierzyć?

• Trafność

– Czy test mierzy to co powinien mierzyć?

Rzetelność – podstawy teoretyczne –klasyczna teoria testu

• Podejście Gulliksena

•𝑋𝑡 = 𝑋∞ + 𝑋𝑒 • 𝑋∞ - wynik prawdziwy

• 𝑋𝑒 - składnik błędy

• 𝑋𝑡 - wynik otrzymany


• Co to jest 𝑋∞ – Wynik osoby badanej uzyskany w idealnych

warunkach lub za pomocą idealnego narzędzia

– Średni wynik danej osoby uzyskany w nieskończenie wielu niezależnych badaniach tym samym testem

– „granica do jakiej zmierza przeciętna wyników i-tej osoby w danej liczbie testów, jeżeli liczba testów równoległych (K) wzrasta nieograniczenie” (Gulliksen)


• Założenia

– Średnia arytmetyczna błędów wynosi 𝑋𝑒 = 0

– Korelacja wyniku prawdziwego i składnika błędu 𝑟∞𝑒 = 0

– Korelacja składników błędu dwóch równoległych testów 𝑟e1𝑒2 = 0


• 𝑋 𝑡 = 𝑋 ∞ + 𝑋 𝑒 = 𝑋 ∞ • W przypadku małej ilości pomiarów często

będzie jednak:

– 𝑋 𝑒 ≠ 0

– 𝑋 𝑡 ≠ 𝑋 ∞


• 𝑣𝑎𝑟𝑡 = 𝑣𝑎𝑟∞ + 𝑣𝑎𝑟𝑒

• Rzetelność to stosunek wariancji prawdziwej do wariancji otrzymanej

• 𝑟𝑡𝑡 =𝑣𝑎𝑟∞𝑣𝑎𝑟𝑒

• Czyli

• 𝑟𝑡𝑡 = 1 −𝑣𝑎𝑟𝑒

𝑣𝑎𝑟𝑡

• 𝑣𝑎𝑟𝑡 max oraz 𝑣𝑎𝑟𝑒 min


• Standardowy błąd pomiary

• 𝑆𝐸𝑀 = 𝑆𝐷𝑡 1 − 𝑟𝑡𝑡

– 𝑆𝐷𝑡 – odchylenie standardowe wyników testowych w danej próbie

– 𝑟𝑡𝑡- współczynnik rzetelności

Estymacja wyniku prawdziwego

• Punktowa

– Przeprowadzamy ją z wykorzystaniem modelu regresji liniowej, aby jej dokonać musimy znać:

• Wynik otrzymany 𝑋𝑡

• Współczynnik rzetelności 𝑟𝑡𝑡

• Średnią wyników w danej próbie 𝑋 𝑡

– 𝑋′∞ = 𝑋 𝑡 + 𝑟𝑡𝑡 𝑋𝑡 − 𝑋 𝑡 = 𝑟𝑡𝑡𝑋𝑡 + (1 − 𝑟𝑡𝑡)𝑋 𝑡


• Gdy 𝑟𝑡𝑡 = 1to 𝑋′∞ = 𝑋𝑡

• Gdy 𝑟𝑡𝑡 = 0to 𝑋′∞ = 𝑋 𝑡

• Niestety stosując tę metodę w praktyce nie wiemy czy estymowany wynik jest równy, niższy czy wyższy od wyniku prawdziwego

• Dlatego porzucamy ją bez wstydu…i…


• Przedziałowa

• 𝑋∞ ∊< 𝑋𝑡 − 𝑧𝛼/2𝑆𝐸𝑀; 𝑋𝑡 + 𝑧𝛼/2𝑆𝐸𝑀 >

• 𝑧𝛼/2- wartość statystyki z dla danego poziomu

ufności (1-α)100%

• Np.. α=0,05 mamy 95% przedział ufności i 𝑧0,05/2 = 1,96𝑆𝐸𝑀


• Przedziałowa

– Zatem jeśli chcemy uzyskać większą pewność musimy za to zapłacić szerszym przedziałem ufności

– Jeśli chcemy uzyskać węższy przedział ufności to niestety nasze zaufanie do estymacji wyniku prawdziwego będzie mniejsze

ODMIANY BŁĘDU STANDARDOWEGO

SEM

• 𝑆𝐸𝑀 = 𝑆𝐷𝑡 1 − 𝑟𝑡𝑡

– Standardowy błąd pomiaru – błąd pomiaru wyniku otrzymanego

• Najczęściej stosowany, ale nie jedyny

Błąd estymacji wyniku prawdziwego - SEE

• SEE= 𝑟𝑡𝑡𝑆𝐸𝑀

– SEE – jest różnicą między estymowaną przez badacza wielkością wyniku prawdziwego a jego wartością rzeczywistą

– Jest to błąd powstały wskutek niedokładności odtworzenia faktycznej wartości wyniku prawdziwego

– Jest to odchylenie standardowe rozkłady z próby różnicy: 𝑋′∞ − 𝑋′′∞

Błąd pomiaru wyniku prawdziwego

• 𝑆𝐸𝑀∞ = 𝑟𝑡𝑡𝑆𝐸𝑀

– 𝑆𝐸𝑀∞- błąd pomiaru wyniku prawdziwego

– Wyraża rozbieżność pomiędzy oszacowanymi wynikami prawdziwymi a wynikami prawdziwymi dla osób, które uzyskały identyczne wyniki prawdziwe

Błąd prognozy - SEP

• 𝑆𝐸𝑃 = 𝑆𝐸𝑀 1 + 𝑟𝑡𝑡

– SEP związany jest z formułowaniem prognozy wyniku testu równoległego na podstawie wyniku danego testu.

– Wyraża on różnicę tych dwóch wyników

Błąd zastąpienia - SES

• 𝑆𝐸𝑆 = 𝑆𝐸𝑀 2

– Związany jest z prognozą wyniku otrzymanego w jednym teście równoległym na podstawie drugiego testu

– Wyraża on odchylenie losowego rozkładu z próby tych różnic 𝑋𝑡 − 𝑋′𝑡

Podsumowanie (Machowski, 1993)

• Jeśli 𝑟𝑡𝑡 < 1

– 𝑆𝐸𝑀∞ < 𝑆𝐸𝐸 < 𝑆𝐸𝑀 < 𝑆𝐸𝑃 < 𝑆𝐸𝑆

ESTYMACJA RZETELNOŚCI

Estymacja rzetelności

• Metody oparte na porównaniu dwukrotnego badania tym samym testem (metoda test -retest)

– między badaniem pierwszym (test) a badaniem drugim (retest) mija jakiś czas - estymacja stabilności bezwzględnej

– badanie drugie (retest) następuje zaraz po zakończeniu badania pierwszego (test) - estymacja wiarygodności testu


• Metody oparte na porównaniu form alternatywnych (równoległych) testu

– między badaniem pierwszą wersją testu a badaniem drugą wersją testu mija jakiś czas - estymacja stabilności względnej

– badanie drugą formą testu następuje zaraz po zakończeniu badania pierwszą formą testu - estymacja równoważności międzytestowej


• Testy równoległe to testy mierzące tę samą właściwość psychologiczną i dokładnie w ten sam sposób, tzn.

– 𝑋 𝐴 = 𝑋 𝐵

– 𝑣𝑎𝑟𝐴 = 𝑣𝑎𝑟𝐵

– 𝑟𝐴𝑍 = 𝑟𝐵𝑍


• Metody oparte na porównywaniu połówek tego samego testu (analiza równoważności międzypołówkowej - metoda split-half)

– szacowanie rzetelności całego testu na podstawie rzetelności połówki wzór Spearmana – Browna


• Wzór z poprzedniego slajdu jest szczególnym przypadkiem wzoru Spearmana-Browna opisującego relację pomiędzy rzetelnością a długością testu

– 𝑟𝑡𝑡𝑛 =𝑛𝑟𝑡𝑡𝑖

1+(𝑛−1)𝑟𝑡𝑡𝑖

• 𝑟𝑡𝑡𝑛 - rzetelność testu po jego przedłużeniu

• 𝑛𝑟𝑡𝑡𝑖 - rzetelność przed przedłużeniem

• n – współczynnik przedłużenia (ile razy przedłużono test)

Estymacja rzetelności – zgodność wewnętrzna

• Założenia: – Pozycje w teście są równoległe: równe średnie i wariancje – Wszystkie pytania mierzą ten sam czynnik – Tylko do pytań 0-1

Estymacja rzetelności – zgodność wewnętrzna

• KR20 jest równy średniej współczynników połówkowych ze wszystkich możliwych połówek w danym teście

Estymacja rzetelności – Alfa Cronbacha

• Metody oparte na analizie właściwości statystycznych pozycji testowych (analiza zgodności wewnętrznej)

– Podejście Cronbacha

Estymacja rzetelności – Alfa Cronbacha

Psychometria rzetelność testów psychologicznych

Education

Transcript of Psychometria rzetelność testów psychologicznych