ANALIZA CZYNNIKOWAcoin.wne.uw.edu.pl/~jcieciel/FA_PCA_prezentacja v2.pdfANALIZA CZYNNIKOWA...

ANALIZA CZYNNIKOWA

... stanowi zespół metod i procedur statystycznych pozwalających na

badanie wzajemnych relacji między dużą liczbą zmiennych i wykrywanie

ukrytych uwarunkowań, ktore wyjaśniają ich występowanie.

Pozwala na sprowadzenie dużej liczby badanych zmiennych do znacznie

mniejszej liczby wzajemnie niezależnych (nieskorelowanych) czynników.

Wyodrębnione czynniki mają inną interpretację merytoryczną jednocześnie

zachowują znaczną część informacji zawartych w zmiennych pierwotnych.

ANALIZA CZYNNIKOWA

Przykład 1

Ocena nowej czekolady za pomocą zestawu 20 pytań, w których

badani oceniali wiele jej różnych cech (smak, zapach, konsystencja,

kolor, kształt, opakowanie itp.)

Wykorzystując analizę czynnikową można sprawdzić, czy możliwe

jest wyodrębnienie kilku ogólnych, ukrytych czynników,

warunkujących stosunek respondentów do nowego produktu (np.

wymiary "łącznej oceny smaku i zapachu" czy wyglądu).

ANALIZA CZYNNIKOWA

Przykład 2

kwestionariusz dotyczący satysfakcji klientów zwykle zawiera wiele

pytań dotyczących różnych aspektów działania firmy – analizowanie

każdego pytania osobno pozwala uzyskać wiele szczegółowych

informacji. Natomiast zastosowanie analizy czynnikowej pozwala na

uzyskanie ogólnego, syntetycznego obrazu powodów wpływających

na satysfakcję klientów.

CELE ANALIZY CZYNNIKOWEJ

Redukcja liczby zmiennych bez istotnej straty zawartych

w nich informacji

Wykrywanie ukrytych związków między zmiennymi –

formułowanie i weryfikacja hipotez dotyczących istnienia i

charakteru prawidłowości kształtujących związki między

zmiennymi


Tworzenie skal i miar złożonych z kilku pytań

Ustalanie wag określających znaczenie, jakie należy przypisać

poszczególnym zmiennym i czynnikom w trakcie analiz

Ortogonalizacja przestrzeni, w której rozpatrywane są obiekty,

będące przedmiotem badań

Opis zjawisk w kontekście nowych kategorii zdefiniowanychprzez czynniki

Prezentacja graficzna zbioru obserwacji wielowymiarowych


Kiedy stosować?

Analiza eksploracyjnaczynniki są początkowo nieznane i zostają wyodrębnione dzięki analizie: dane grupowane są w zbiory zmiennych najsilniej ze sobą skorelowanych → wykrywanie związków między zmiennymi bez wstępnych założeń

Analiza konfirmacyjna → weryfikacja hipotez co do określonej z góry struktury czynników i estymacja parametrów założonego modelu

OGÓLNY PODZIAŁ METOD ANALIZY CZYNNIKOWEJ

A. Model "klasyczny" analizy czynnikowej (podział wariancjicałkowitej zmiennych na dwie części: wariancję wspólną i wariancjęspecyficzną)‏

klasyczna analiza czynnikowa

analiza kanoniczna

B. Model "komponentowy" analizy czynnikowej (nieuwzględnianie

struktury wariancji)

metoda głównych składowych

analiza współzależności

PROCEDURA

Wybór zmiennych do analizy

Wyznaczenie macierzy korelacji (kowariancji)

Wyznaczenie głównych składowych /czynników

Rotacja głównych składowych /czynników

Interpretacja głównych składowych /czynników

METODA GŁÓWNYCH SKŁADOWYCH

Analiza głównych składowych (principal components

analysis)‏jest metodą transformacji obserwowalnych

zmiennych pierwotnych w nowe, wzajemnie

ortogonalne zmienne, tzw. główne składowe.

Głównych składowych można wyznaczyć tyle, ile było

zmiennych pierwotnych.

Własności głównych składowych

- są liniową kombinacją obserwowalnych zmiennych

- są ortogonalne względem siebie

- kolejne składowe wyjaśniają malejącą ilość łącznej

wariancji zmiennych

- suma wariancji składowych jest równa sumie wariancji

zmiennych pierwotnych


W praktyce chodzi o sprawdzenie, czy kilka nowych

zmiennych wyjaśnia maksymalnie dużo zmienności

wyjściowego układu przy zachowaniu

nieskorelowania, co daje w efekcie redukcję

wymiaru.


Redukcja wymiaru przestrzeni cech, uporządkowanie ich na

podzbiory (główne składowe) jest przydatna głównie ze

względu na możliwość:

zmniejszenia liczby zmiennych w dalszych analizach

interpretacji relacji między składowymi

graficznej prezentacji konfiguracji porównywanych zmiennych

uporządkowania zmiennych według przyjętych cech


W analizie głównych składowych rozwiązywany problem można

przedstawić następująco:


Zmienne pierwotne są zestandaryzowane.

Nowa zmienna powinna wyjaśniać maksymalną ilość

wariancji zmiennych pierwotnych (jej wariancja jest

przedstawiona na rysunku obszarem zacieniowanym).

Wariancja tej nowej zmiennej wyjaśniającej pewną ilość zmienność

zmiennych pierwotnych jest nazywana jej wartością własną (eigenvalue).

PROCEDURA METODY GŁÓWNYCH SKŁADOWYCH

Przedmiot analizy:

macierz danych, zawierająca n realizacji m zmiennych:

Po standaryzacji:

ni

mjxxX ijij

,...,2,1

,...,2,1,0,

Z= [ zij]


Podstawowe równanie metody głównych składowych można zapisać

w postaci układu równań liniowych:

ZT = AGT

G = AT Z

gdzie:

Z - macierz j standaryzowanych zmiennych pierwotnych

A - macierz współczynników składowych głównych

G - macierz składowych głównych


Podstawą do wyznaczania elementów macierzy

współczynników składowych głównych jest macierz korelacji:

mjpzzn

ZZn

rR ij

n

i

ipij ...1,1

'1

1

Wariancje na głównej przekątnej są miarą zasobów

informacyjnych zmiennych pierwotnych.


Każdą z głównych składowych Glmożna przedstawić jako liniową

kombinację pierwotnych zmiennych Z:

Gl= ∑i= 1

k

∑j= 1

m

a i j Z j

gdzie:m – liczba zmiennych pierwotnychk – liczba składowych głównychZ

j– j-ta zmienna standaryzowana (pierwotna)

Gl– l-ta skłądowa główna

ajl

– ładunki czynnikowe


Pierwsza główna składowa G1

jest taką kombinacją zmiennych

pierwotnych, dla której wariancja próbkowa wyraża się wzorem:

ijj1i1

1 1

2

G1 S a a = S

m

i

m

j

i jest największa wśród wszystkich kombinacji liniowych takich, że:

a1

Ta1=1

(warunek jednoznacznego wyznaczenia wektora współczynników).


Druga główną składową można przedstawić w sposób analogiczny.

Jest ona kombinacją liniową zmiennych pierwotnych

maksymalizującą wariancję przy warunkach:

a1

Ta1=1 oraz a

1

Ta2= 0

Drugi z nich zapewnia ortogonalność powstałych składowych.

Konsekwencją tego jest sumowanie się kolejnych wariancji głównych

składowych do wariancji całkowitej.


Każda l-ta główna składowa jest liniowa kombinacją zmiennych

pierwotnych i wyjaśnia i-tą część całkowitej zmienności.

Główne składowe są tak wyznaczane, aby wariancje kolejnych

składowych były coraz mniejsze.

Można wyznaczyć tyle głównych składowych, ile mamy zmiennych

wyjściowych, jednak zazwyczaj kilka pierwszych wystarcza do

wyjaśnienia większości wariancji układu zmiennych.


Znaczenie i użyteczność składowej głównej jest mierzona wielkością

wyjaśnianej przez nią całkowitej zmienności. I tak, jeśli w układzie

sześciu zmiennych pierwsza składowa wyjaśnia np. 85% zmienności,

to znaczy to, że niemal cała zmienność tego układu da się

przedstawić na prostej zamiast w sześciu wymiarach.


W efekcie powstaje nam tyle głównych składowych, ile było

początkowo zmiennych: nadal mamy układ m-wymiarowy. Ale

w praktyce ograniczamy się do kilku pierwszych głównych

składowych, które wyjaśniają z góry ustaloną część wariancji

całkowitej, np. 75%.

PROCEDURA ANALIZY CZYNNIKOWEJ

Analiza czynnikowa to metoda modelowania liniowego – zakłada

się, że zmienne można przedstawić za pomocą liniowej funkcji

zmiennych nieobserwowalnych (czynników), przy czym wszystkie

zmienne przedstawiane są jako funkcje tych samych czynników.

Bazuje na korelacji lub kowariancji między zmiennymi.


Przedmiot analizy: macierz danych, zawierająca n realizacji m zmiennych:

Po standaryzacji :

ni

mjxxX ijij

,...,2,1

,...,2,1,0,

Z= [ zij]


Zakładamy, że pomiędzy zmiennymi Xjzachodzą związki, których

siłę i kierunek określają współczynniki korelacji liniowej Pearsona

zawarte w macierzy korelacji:

mjpzzn

ZZn

rR ij

n

i

ipij ...1,1

'1

1


Zakładamy, że źródłem wzajemnych zależności między zmiennymi

są ukryte wspólne czynniki, które można uznać za nośniki tej

samej informacji, chcemy zatem je wyodrębnić w formie nowych,

syntetycznych zmiennych.

Jednak zakładamy też, że nie cała wariancja zmiennych jest

powodowana tymi ukrytymi wspólnymi czynnikami – każda

zmienna pierwotna charakteryzuje się też pewnymi specyficznymi

właściwościami.


Podstawą identyfikacji składników wspólnych i specyficznych jest wanalizie czynnikowej podział wariancji poszczególnych zmiennych nawariancję wspólną i specyficzną:

h j2

- zasób zmienności wspólnej - część wariancji objaśnionaprzez czynniki wspólne

- zasób zmienności swoistej - pozostałość po odjęciu zasobuzmienności wspólnej od wariancji całkowitejw j

2


Założenia:

- czynniki wspólne nie są skorelowane ze sobą

- czynniki specyficzne również nie są ze sobą skorelowane

- czynniki wspólne nie są skorelowane z czynnikami

specyficznymi


Model analizy czynnikowej można zapisać w postaciw postaci układurównań liniowych:

Z = AF + BU

gdzie:

Z - macierz j standaryzowanych zmiennych pierwotnych

A - macierz ładunków czynnikowych czynników wspólnych

F - macierz czynników wspólnych

B – macierz (disgonalna) ładunków czynnikowych czynników

specyficznych

U - macierz czynników specyficznych


Zatem każda z obserwowalnych zmiennych Z jest funkcją liniową zmiennych nieobserwowalnych (czynników wspólnych) orazpojedynczej zmiennej specyficznej:

Z j= ∑l=1

k

a jl F l b jU j

gdzie:m - liczba zmiennych pierwotnychk - liczba czynników głównych (wspólnych)Z

j- j-ta zmienna standaryzowana (pierwotna)

Fl- l-ty czynnik wspólny

Uj- j-ty czynnik swoisty

ajl

– ładunek czynnikowy l-tego czynnika Fl w j-tej zmiennej obserwowalnej


Dążymy do eliminacji wpływu czynników specyficznych na rzecz

czynników wspólnych. W tym celu zastępujemy w macierzy R

współczynniki korelacji na głównej przekątnej zasobami zmienności

wspólnej, otrzymując tzw. zredukowaną macierz korelacji :

~~

~Rr r dla i j

r h dla i j

ij ij

ij j

2


Wartości hj

2 ustala się na poziomie:

średniej arytmetycznej współczynników korelacji danej zmiennej z

innymi zmiennymi: hj

2 =

najwyższego co do modułu współczynnika korelacji j-tej zmiennej

z pozostałymi: hj

2 = max [|rij |], i ≠ j

współczynnik determinacji wielorakiej R2 danej zmiennej z innymi

zmiennymi

m

i

ijrm 1

1


Zatem podstawowe zadanie analizy czynnikowej sprowadza się do

rozwiązania równania:

ze względu na macierz A, czyli wyznaczenia ładunków czynnikowych

czynników wspólnych.

TAAR~


Uporządkowane malejąco wartości własne macierzy~R

oraz odpowiadające im wektory własne V:

posłużą do wyznaczenia ładunków czynnikowych l-tego czynnikaw zmiennych pierwotnych:

m

j

jl

jl

jl

v

va

1

2/121

] [

1...m)(j ][ jll vV

1...m)(l ][ l


Kolejne wartości i wektory własne posłużą do uzyskania ładunkówczynnikowych kolejnych czynników.

Ładunki te odzwierciedlają korelację pomiędzy j-tą zmienną

pierwotną i l-tym wspólnym czynnikiem.

Znalezienie tego rozwiązania kończy właściwą analizę czynnikową.

ROTACJA CZYNNIKÓW

Uzyskana macierz ładunków czynnikowych A nie jest jednymmożliwym rozwiązaniem analizy czynnikowej.

Poprzez obrót układu wzajemnie ortogonalnych osi - czynników

głównych - można wygenerować nieskończenie wiele różnych

macierzy ładunków.

Dokonanie takiej rotacji pozwala często na takie ustalenie osi, aby

odpowiadająca mu macierz ładunków zapewniła możliwie

najłatwiejszą interpretację czynników.

ROTACJA CZYNNIKÓW

Rotacja polega na znalezieniu ortogonalnej macierzy S (macierzy transformacji) spełniającej warunek:

A1

T = S A0

T

gdzie:

A0 ,A1 - to wyjściowa i końcowa macierz ładunków,

ROTACJA CZYNNIKÓW

Elementy macierzy transformacji S określają kąty, o jakie należyobrócić układ osi - czynników wspólnych tak, aby:

- zmaksymalizować liczbę ładunków zerowych w każdej kolumnie

macierzy czynników

- zmaksymalizować korelacje między jak najmniejszą liczbą

zmiennych, a każdym wyodrębnionym czynnikiem głównym

ROTACJA CZYNNIKÓW

Innymi słowy - rotacja polega na sprowadzeniu struktury ładunków czynnikowych do prostej struktury, w której punkty reprezentujące zmienne skupiają się wokół osi czynników.

Istotne jest, że wskutek rotacji zasoby zmienności wspólnej hj2

określające udział wszystkich czynników wspólnych w wyjaśnianiu

wariancji zmiennej Xj nie ulegają zmianie.

ROTACJA CZYNNIKÓW

Najczęściej stosuje się procedury rotacji ortogonalnej, z których najbardziej znanymi są varimax i quartimax.

VARIMAX upraszcza interpretację czynników (minimalizuje liczbę

zmiennych potrzebnych do wyjaśnienia danego czynnika)

QUARTIMAX upraszcza interpretację zmiennych (minimalizuje liczbę

czynników potrzebnych do wyjaśnienia danej zmiennej).

WYZNACZENIE WARTOŚCI CZYNNIKÓW

Na koniec najczęściej potrzebny jest sposób wyznaczeniawartości poszczególnych czynników dla kolejnych obserwacji.Obliczanie realizacji czynników wspólnych odbywa się woparciu o formułę:

F = AT Z

ILE CZYNNIKÓW?

Problemem w stosowaniu analizy czynnikowej jest określenie liczby czynników głównych

Najczęściej spotykane techniki określania liczby czynników

wspólnych to:

a/ metoda "wartości własnej (lambda) większej od jedności"

b/ metoda procentu wariancji tłumaczonej przez czynniki główne

c/ metoda testu osypiska

ILE CZYNNIKÓW?

a/ metoda "wartości własnej (lambda) większej od jedności"

najczęściej spotykana – jej podstawą jest to, że każdy czynnik

powinien wyjaśniać zmienność co najmniej jednej zmiennej

pierwotnej. Metoda ta powinna być stosowana gdy ilość zmiennych

jest większa od 20. Gdy liczba zmiennych jest mniejsza istnieje

tendencja wyodrębniania zbyt małej ilości czynników.

ILE CZYNNIKÓW?

b/ metoda procentu wariancji tłumaczonej przez czynniki główne

do ogólnej liczby wybranych czynników zalicza się te czynniki, które

w sumie wyjaśniają 75%, 80% lub 90% wariancji, a żaden następny

nie tłumaczy więcej niż 5% wariancji.

ILE CZYNNIKÓW?

c/ metoda testu osypiska

polega na sporządzeniu wykresu, na którym na osi poziomej

wyznaczana jest ilość czynników a na osi pionowej - uzyskane

wartości własne. Podstawowym zadaniem jest znalezienie "punktów

załamania", w których rozpoczynają się kolejne "rumowiska" (w tych

punktach zmienia się kąt załamania krzywej). Punkty te określają

liczbę czynników kwalifikujących się do dalszej analizy. Metoda ta

jest nieco bardziej "liberalna" niż metoda >1, pozwala włączyć do

dalszej analizy nieco większą liczbę czynników.

INTERPRETACJA CZYNNIKÓW

Interpretacja nowych zmiennych (czynników) odbywa się na bazie

ładunków czynnikowych: należy wyodrębnić zmienne o najwyższych

ładunkach czynnikowych względem danych czynników i znaleźć

wspólne ich odniesienie do danego czynnika.

PCA / FA

Obie służą sprowadzaniu informacji zawartych w wielu

zmiennych do stosunkowo niewielkiej liczby

wyjaśniających je wymiarów.

Pomimo że w praktyce wyniki uzyskiwane przy pomocy obu

z nich są zbliżone, to nie są to warianty tej samej

metody, ale różne metody oparte na odmiennych

założeniach.

PCA / FA

Analiza czynnikowa Analiza głównych składowych

Ch. Spearman (1904), L.L. Thurstone (1913) H. Hotteling (1933)

Obejmuje pewną część wariancji zmiennych, zwaną wariancją wspólną

Obejmuje wariancję całkowitą zmiennych

orientacja kowariancyjna: punktem wyjścia jest zredukowana macierz korelacji

orientacja wariancyjna: punktem wyjścia jest zwykła macierz korelacji

Zmienna pierwotna jest funkcją czynników wspólnych i swoistych

Główna składowa jest funkcją zmiennych pierwotnych

Celem analizy jest identyfikacja ukrytych zmiennych

Celem analizy jest uproszczenie struktury danych

Czynniki mogą być zarówno niezależne, jak i skorelowane

Główne składowe są zawsze niezależne

ANALIZA CZYNNIKOWAcoin.wne.uw.edu.pl/~jcieciel/FA_PCA_prezentacja v2.pdfANALIZA CZYNNIKOWA...

Documents

Transcript of ANALIZA CZYNNIKOWAcoin.wne.uw.edu.pl/~jcieciel/FA_PCA_prezentacja v2.pdfANALIZA CZYNNIKOWA...