Metodologia badań psychologicznych

Jak mierzyć żeby zmierzyć

Zajęcia 7

Karol Wolski

Co to jest test?

• „zbiory pytań lub sytuacje, służące do badania własności jednostek lub grup ludzkich przez wywołanie u nich określonych obserwowalnych reakcji werbalnych lub niewerbalnych, będących w miarę możliwości reprezentatywnymi próbkami ich zachowania się” (Choynowski, 1971 za Brzeziński, 2004)

Dwa najważniejsze kryteria dobrego testu

• Rzetelność

– Jak dobrze test mierzy to co powinien mierzyć?

• Trafność

– Czy test mierzy to co powinien mierzyć?

Rzetelność – podstawy teoretyczne –klasyczna teoria testu

• Podejście Gulliksena

•𝑋𝑡 = 𝑋∞ + 𝑋𝑒 • 𝑋∞ - wynik prawdziwy

• 𝑋𝑒 - składnik błędy

• 𝑋𝑡 - wynik otrzymany

Rzetelność – podstawy teoretyczne –klasyczna teoria testu

• Co to jest 𝑋∞ – Wynik osoby badanej uzyskany w idealnych

warunkach lub za pomocą idealnego narzędzia

– Średni wynik danej osoby uzyskany w nieskończenie wielu niezależnych badaniach tym samym testem

– „granica do jakiej zmierza przeciętna wyników i-tej osoby w danej liczbie testów, jeżeli liczba testów równoległych (K) wzrasta nieograniczenie” (Gulliksen)

Rzetelność – podstawy teoretyczne –klasyczna teoria testu

• Założenia

– Średnia arytmetyczna błędów wynosi 𝑋𝑒 = 0

– Korelacja wyniku prawdziwego i składnika błędu 𝑟∞𝑒 = 0

– Korelacja składników błędu dwóch równoległych testów 𝑟e1𝑒2 = 0

Rzetelność – podstawy teoretyczne –klasyczna teoria testu

• 𝑋 𝑡 = 𝑋 ∞ + 𝑋 𝑒 = 𝑋 ∞ • W przypadku małej ilości pomiarów często

będzie jednak:

– 𝑋 𝑒 ≠ 0

– 𝑋 𝑡 ≠ 𝑋 ∞

Rzetelność – podstawy teoretyczne –klasyczna teoria testu

• 𝑣𝑎𝑟𝑡 = 𝑣𝑎𝑟∞ + 𝑣𝑎𝑟𝑒

• Rzetelność to stosunek wariancji prawdziwej do wariancji otrzymanej

• 𝑟𝑡𝑡 =𝑣𝑎𝑟∞𝑣𝑎𝑟𝑒

• Czyli

• 𝑟𝑡𝑡 = 1 −𝑣𝑎𝑟𝑒

𝑣𝑎𝑟𝑡

• 𝑣𝑎𝑟𝑡 max oraz 𝑣𝑎𝑟𝑒 min

Rzetelność – podstawy teoretyczne –klasyczna teoria testu

• Standardowy błąd pomiary

• 𝑆𝐸𝑀 = 𝑆𝐷𝑡 1 − 𝑟𝑡𝑡

– 𝑆𝐷𝑡 – odchylenie standardowe wyników testowych w danej próbie

– 𝑟𝑡𝑡- współczynnik rzetelności

Estymacja wyniku prawdziwego

• Punktowa

– Przeprowadzamy ją z wykorzystaniem modelu regresji liniowej, aby jej dokonać musimy znać:

• Wynik otrzymany 𝑋𝑡

• Współczynnik rzetelności 𝑟𝑡𝑡

• Średnią wyników w danej próbie 𝑋 𝑡

– 𝑋′∞ = 𝑋 𝑡 + 𝑟𝑡𝑡 𝑋𝑡 − 𝑋 𝑡 = 𝑟𝑡𝑡𝑋𝑡 + (1 − 𝑟𝑡𝑡)𝑋 𝑡

Estymacja wyniku prawdziwego

• Gdy 𝑟𝑡𝑡 = 1to 𝑋′∞ = 𝑋𝑡

• Gdy 𝑟𝑡𝑡 = 0to 𝑋′∞ = 𝑋 𝑡

• Niestety stosując tę metodę w praktyce nie wiemy czy estymowany wynik jest równy, niższy czy wyższy od wyniku prawdziwego

• Dlatego porzucamy ją bez wstydu…i…

Estymacja wyniku prawdziwego

• Przedziałowa

• 𝑋∞ ∊< 𝑋𝑡 − 𝑧𝛼/2𝑆𝐸𝑀; 𝑋𝑡 + 𝑧𝛼/2𝑆𝐸𝑀 >

• 𝑧𝛼/2- wartość statystyki z dla danego poziomu

ufności (1-α)100%

• Np.. α=0,05 mamy 95% przedział ufności i 𝑧0,05/2 = 1,96𝑆𝐸𝑀

Estymacja wyniku prawdziwego

• Przedziałowa

– Zatem jeśli chcemy uzyskać większą pewność musimy za to zapłacić szerszym przedziałem ufności

– Jeśli chcemy uzyskać węższy przedział ufności to niestety nasze zaufanie do estymacji wyniku prawdziwego będzie mniejsze

Estymacja rzetelności

• Metody oparte na porównaniu dwukrotnego badania tym samym testem (metoda test -retest)

– między badaniem pierwszym (test) a badaniem drugim (retest) mija jakiś czas - estymacja stabilności bezwzględnej

– badanie drugie (retest) następuje zaraz po zakończeniu badania pierwszego (test) - estymacja wiarygodności testu

Estymacja rzetelności

• Metody oparte na porównaniu form alternatywnych (równoległych) testu

– między badaniem pierwszą wersją testu a badaniem drugą wersją testu mija jakiś czas - estymacja stabilności względnej

– badanie drugą formą testu następuje zaraz po zakończeniu badania pierwszą formą testu - estymacja równoważności międzytestowej

Estymacja rzetelności

• Testy równoległe to testy mierzące tę samą właściwość psychologiczną i dokładnie w ten sam sposób, tzn.

– 𝑋 𝐴 = 𝑋 𝐵

– 𝑣𝑎𝑟𝐴 = 𝑣𝑎𝑟𝐵

– 𝑟𝐴𝑍 = 𝑟𝐵𝑍

Estymacja rzetelności

• Metody oparte na porównywaniu połówek tego samego testu (analiza równoważności międzypołówkowej - metoda split-half)

– szacowanie rzetelności całego testu na podstawie rzetelności połówki wzór Spearmana – Browna

Estymacja rzetelności

• Metody oparte na analizie właściwości statystycznych pozycji testowych (analiza zgodności wewnętrznej)

– Podejście Cronbacha (o tym więcej w przyszłości)

Estymacja rzetelności