7. Trafność pomiaru testowego

v Pojęcie trafności testu v Rodzaje trafnościv Metody szacowania trafności treściowej i

kryterialnej v Metody szacowania trafności teoretycznej

Przesunięcie akcentu z pojęcia trafności testu natrafność interpretacji wyników danego testu.

Definicja w Standardy .... (1985, s. 33)"pojęcie trafności dotyczy poprawności wniosków wyprowadzonych na podstawie wyników testowych lub innych form badania"

Trafność jest pewnym wnioskiem a nie pomiarem. W podręczniku danej metody mamy podane współczynniki trafności i na ich podstawie wyciągamy wnioski dotyczące trafności konkretnego zastosowania testu.

Trafność pomiaru testem to:

q stopień, w jakim test mierzy cechę, jaką ma mierzyć;inaczej - trafność zorientowana na konstruktTRAFNOŚĆ TEORETYCZNA

q stopień dokładności przewidywania określonychkryteriów praktycznych;inaczej - trafność podejmowanych decyzjiTRAFNOŚĆ KRYTERIALNA

Trzy rodzaje trafności ("Holy Trinity"):a). trafność treściową (wewnętrzną),b). trafność kryterialną (diagnostyczną i prognostyczną),c). trafność teoretyczną(raczej trzy aspekty trafności, trzy sposoby zbierania danych dotyczących trafności).

Rodzaje trafności pomiaru

TrafnośćNajważniejsza właściwość testu.

Zależy od innych właściwości,Trafny test musi spełniać warunki: § rzetelności§ normalizacji§ standaryzacji § obiektywizmuSą to warunki konieczne trafności pomiaru testem, lecz niewystarczające. Trafny test musi być dobrym wskaźnikiem badanej zmiennej latentnej

Określenie trafności danego testu - inaczej walidacja testu - polega na zbieraniu i ocenie danych świadczących o trafności określonej interpretacji testu.

Trafność treściowa (wewnętrzna, logiczna)content validity

Stopień, w jakim treść pozycji testowych jest reprezentatywna dla definicji badanej cechy

Badanie zgodności pomiędzy definicją zmiennej badanej przez test, a zawartością treściową pozycji jest w zasadzie równoznaczne z oceną trafności treściowej testu

"aby potwierdzić trafność treściową zbioru wyników otrzymanych w teście, należy wykazać, że zachowania demonstrowane w badaniu są reprezentatywną próbkązachowań ujawniających się w interesującej badacza sferze" (Standardy ....s. 36).

Zgodność wyników testu z kryterium zewnętrznym, np. powodzenia zawodowego, wypadkowości, diagnozy klinicznej (standard)

Trafność kryterialna obejmuje:trafność diagnostyczną - concurrent validity (stopień, w jakim test pozwala na ocenę aktualnego kryterium) oraz trafność prognostyczną - predictive validity (stopień, w jakim test pozwala na ocenę przyszłego kryterium).

Trafność kryterialnacriterion-related validity

Metody szacowania trafności kryterialnej

na podstawie korelacji między wynikami testua określonym kryterium pozatestowym(obliczmy współczynnik korelacji - r , rho)

v Kluczowym aspektem jest rzetelność (jak i trafność) samego kryterium, użytego do badania trafności testu; kontaminacja kryterium (skażenie) - np. znajomość wyników jakie o.b. uzyskała w teście, może wpłynąć na ocenę tej osoby względem analizowanej zmiennej kryterialnej (MMPI - diagnoza psychiatry)

v Zakres mierzonej cechy wpływa na wielkość korelacji. Im mniejsze zakres (mniejsze rozproszenie wyników), tym niższakorelacja. Ważne w badaniach walidacyjnych (zawężanie grupybadanej).

Trafność kryterialnaszacowana na podstawie korelacji między wynikami testu a określonym kryterium pozatestowym;z tego względu kluczowym aspektem jest rzetelność(jak i trafność) samego kryterium, użytego do badania trafności testu.

Skuteczność testu w diagnozowaniu i /lub prognozowaniu funkcjonowania jednostki w określonej sferze.Autor testu przedstawia dane empiryczne na temat Autor testu przedstawia dane empiryczne na temat trafnotrafnośści kryterialnej testu, lecz to uci kryterialnej testu, lecz to użżytkownik testu musi ytkownik testu musi podjpodjąćąć decyzjdecyzjęę, czy test nadaje si, czy test nadaje sięę do stosowania do do stosowania do okreokreśślonej grupy.lonej grupy.

Zgodność pomiędzy wynikiem testowym a wartościąlatentnej cechy, do pomiaru której test zostałskonstruowany

W jakim stopniu wyniki badań danym testem odzwierciedla cechę psychologiczną (konstrukt), który ma być przedmiotem pomiaru

Trafność teoretyczna jest najważniejszym, podstawowym i koniecznym rodzaj trafności.

Trafność teoretycznaconstruct validity

Konstrukt psychologiczny jest pojjest pojęęciem teoretycznym, ciem teoretycznym, wprowadzonym po to, aby wyjawprowadzonym po to, aby wyjaśśninićć i uporzi uporząądkowadkowaććokreokreśślony fragment wiedzy (co tj. llony fragment wiedzy (co tj. lęęk, inteligencja,k, inteligencja,satysfakcja z satysfakcja z żżycia)ycia)

PojPojęęcia te scia te sąą nieobserwowalnenieobserwowalne, za, zaśś test jest traktowanytest jest traktowanyjako sposjako sposóób ich operacyjnego definiowaniab ich operacyjnego definiowania

Bez potwierdzenia tego, Bez potwierdzenia tego, żże test jest trafny teoretyczniee test jest trafny teoretyczniejego wyniki sjego wyniki sąą psychologicznie bezupsychologicznie bezużżyteczne. yteczne.

Metody szacowania trafności teoretycznej

IstotIstotąą procesu oceny trafnoprocesu oceny trafnośści teoretycznej jest odwoci teoretycznej jest odwołłanie anie sisięę do teorii mierzonej cechy. do teorii mierzonej cechy.

Cronbach i Meehl (2005) wyodrębniają pięćpodstawowych sposobów umożliwiających oszacowanie trafności teoretycznej, a mianowicie:

1. analiza korelacji z innymi testami lub zmiennymi2. badanie wewnętrznej struktury testu3. analiza różnic międzygrupowych4. metoda zmian nieprzypadkowych5. analiza procesu rozwiązywania testu

nn Aby test uznaAby test uznaćć za trafny nie wystarczy tylko wykazaza trafny nie wystarczy tylko wykazaćć, , żże jego wyniki koreluje jego wyniki korelująą odpowiednio wysoko odpowiednio wysoko z wynikami podobnych testz wynikami podobnych testóów (trafnow (trafnośćść zbiezbieżżna) na) i nie koreluji nie korelująą z wynikami testz wynikami testóów mierzw mierząących inne cych inne cechy (trafnocechy (trafnośćść rróóżżnicowa)nicowa)

nn Wskazane ustalenie macierzy Wskazane ustalenie macierzy "wielu cech "wielu cech -- wielu metod".wielu metod".

1. Analiza korelacji z innymi testami lub zmiennymi

Macierz WC-WM (ang. MTMM matrix) jest przygotowywana w celu formalnej oceny trafności konwergencyjnej (zbieżnej)i dyskryminacyjnej (różnicowej) pomiaru testem.Analiza ta wymaga wprowadzenia przynajmniej dwóch metodoraz dwóch cech

Analiza macierzy "Wielu Cech – Wielu Metod"

Rodzaje korelacji w macierzy WC-MM§ Pomiędzy skalami mierzącymi różne cechy w obrębie tej samej

metody (różne cechy, ta sama metoda);§ Pomiędzy skalami mierzącymi te same cechy, ale za pomocą

różnych metod (te same cechy, różne metody);§ Pomiędzy skalami mierzącymi różne cechy za pomocą różnych

metod (różne cechy, różne metody).

Trafność zbieżna i różnicowa (konwergencyjna i dyskryminacyjna)

Zbieżna - pewność, że narzędzie dobrze diagnozuje określone kryterium i tylko to kryterium (np. narzędzie specyficzne dla depresji).

Czy osoby cierpiące na inne zaburzenia psychiczne nie osiągają również wysokich wyników w tym teście? W odpowiednio zaplanowanym badaniu empirycznym należy sprawdzić korelację wyniku testu z diagnoządepresji (aspekt zbieżny trafności kryterialnej) oraz korelację wyniku z diagnozą innych chorób (aspekt różnicowy trafności kryterialnej).

Pojęcie trafności zbieżnej i różnicowej jest kluczowe dlazrozumienia trafności teoretycznej, choć zazwyczaj jestograniczane tylko do analizy macierzy WC-WM.Test powinien mierzyć określoną cechę i nie mierzyć innychcech

Pojęcie trafności konwergencyjnej i dyskryminacyjnej możeodnosić się zarówno do trafności teoretycznej, jak i kryterialnej.Test jest nietrafny, jeśli niczego nie przewiduje lub nie mierzy(brak trafności konwergencyjnej). Test jednak jest także nietrafny, jeśli przewiduje lub mierzywszystko (brak trafności różnicowej).

2. Badanie wewnętrznej struktury testu

n Zgodność wewnętrzna (homogeniczność) oznacza stopień, w jakim dany test można uznać za miaręjednego konstruktu.

n Jedna z metod oszacowania -analiza współczynników korelacji każdej pozycji testu z wynikiem ogólnym.

Analiza czynnikowaAnaliza czynnikowa

Umożliwia wyodrębnienie grup pozycji testowych bądź skal silnieskorelowanych między sobą i relatywnie słabo między grupami.

Grupy pozycji testowych bądź skał, wyróżnione dzięki tej metodzie noszą nazwę czynników. Czynniki interpretowane są jako najważniejsze zmienne odpowiedzialne za zróżnicowanie wyników poszczególnych skalbądź pozycji testowych, składających się na dany czynnik.

Dwie odmiany analizy czynnikowej:eksploracyjna analiza czynnikowakonfirmacyjna analiza czynnikowa.

Eksploracyjna - wyodrębnienie czynników, dzięki czemu zamiast dużej liczby pozycji testowych otrzymujemy relatywnie niewielką liczbę zmiennych.

Umożliwia identyfikację zmiennych mierzonych przez test, jest więc dogodną metodą badania jego trafności.

Konfirmacyjna - ma na celu sprawdzenie, czy dany test składa się z określonej na podstawie teorii psychologicznej liczby czynników, czy wyniki danego testu są zgodne z zakładanąteoretyczną strukturą testu.

Konfirmacyjna analiza czynnikowa dostarcza specjalnych wskaźników dopasowania modelu zakładającego istnienie określonej liczby czynników, na podstawie których można zweryfikować słusznośćtakiego modelu teoretycznego.

qEksploracyjna analiza czynnikowa (empiryczna klasyfikacja treści skal różnych testów);

qKonfirmacyjna analiza czynnikowa (porównanie modelu teoretycznego do danych –analiza dobroci dopasowania modelu do struktury danych testowych).

Analiza czynnikowa testów

§ Wartość testu chi2 (brak istotności)§ Goodness of Fit Index (GFI; powyżej 0,95)§ Adjusted Goodness of Fit Index (AGFI; pow. 0,90)§ Normed Fit Index (NFI – powyżej 0,90);§ Wartości indeksu Watkinsa chi2/df

(poniżej 5,0 – akceptowalne dopasowanie;poniżej 3,0 – znakomite dopasowanie).

Wskaźniki „dobroci dopasowania”

Jeżeli test jest trafną miarą określonego konstruktu, to wyniki otrzymane przez skrajne grupy powinny sięznacząco różnić

3. Analiza różnic międzygrupowych

Testy zdolności – analiza wyników testu inteligencji w różnych grupach zawodowych. Wniosek: im bardziej wymagający sprawności intelektualnej jest dany zawód, tym wyższy poziom inteligencji wykazują pracownicy (testy "t", analiza wariancji).

q Zmiany rozwojowe – wyniki testów zdolności powinnywykazywać systematyczną tendencję wzrostową wrazze wzrostem wieku w dzieciństwie oraz tendencjęregresywną w dorosłości.

4. Analiza zmian nieprzypadkowych

qq SposSposóób oszacowania b oszacowania -- 22--krotne badania tym krotne badania tym samym testem, misamym testem, mięędzy badaniami wprowadza sidzy badaniami wprowadza sięęoddziaoddziałływanie eksperymentalne.ywanie eksperymentalne.

qWyniki niektórych skal osobowości także powinnywykazywać zmiany z wiekiem – aktywnośćtemperamentalna powinna systematycznie malećwraz z wiekiem, z uwagi na malejące zasoby energii.

Polega na analizowaniu zadań testowych z punktuwidzenia procesów przetwarzania informacji.

W sposób eksperymentalny manipuluje się złożonościązadania, dostarcza kolejnych wskazówek do rozwiązywania po to, aby określić, jakie procesy przetwarzania informacji są zaangażowane w rozwiązywanie określonych zadań.

5. Analiza procesu rozwiązywania testu

ZAGADNIENIAZAGADNIENIA1. Pojęcie trafności2. Trafność teoretyczna a kryterialna3. Trafność teoretyczna a fasadowa4. Etapy oceny trafności teoretycznej5. Trafność diagnostyczna i prognostyczna6. Metody szacowania trafności kryterialnej7. Trafność konwergencyjna i dyskryminacyjna8. Homogeniczność testu9. Zastosowanie analizy czynnikowej eksploracyjnej i

konfirmacyjnej10. Wskaźniki dobroci dopasowania11. Analiza różnic międzygrupowych i zmian nieprzypadkowych