ANALIZA CZYNNIKOWA

... stanowi zespół metod i procedur statystycznych pozwalających na badanie wzajemnych relacji między dużą liczbą zmiennych i wykrywanie ukrytych uwarunkowań, ktore wyjaśniają ich występowanie.

Pozwala na sprowadzenie dużej liczby badanych zmiennych do znacznie

mniejszej liczby wzajemnie niezależnych (nieskorelowanych) czynników.

Wyodrębnione czynniki mają inną interpretację merytoryczną jednocześnie

zachowując znaczną część informacji zawartych w zmiennych pierwotnych.

ANALIZA CZYNNIKOWA

Przykład 1.

Ocena nowej czekolady za pomocą zestawu 20 pytań, w których

badani oceniali wiele jej różnych cech (smak, zapach, konsystencja,

kolor, kształt, opakowanie itp.)

Wykorzystując analizę czynnikową można sprawdzić, czy możliwe

jest wyodrębnienie kilku ogólnych, ukrytych czynników,

warunkujących stosunek respondentów do nowego produktu (np.

wymiary "łącznej oceny smaku i zapachu" czy wyglądu).

ANALIZA CZYNNIKOWA

Przykład 2.

kwestionariusz dotyczący satysfakcji klientów danej firmy

zwykle zawiera wiele pytań dotyczących różnych aspektów działania

firmy – analizowanie każdego pytania osobno pozwala uzyskać wiele

szczegółowych informacji

Zastosowanie analizy czynnikowej pozwala zaś na uzyskanie

ogólnego, syntetycznego obrazu powodów wpływających na

satysfakcję klientów / identyfikujących generalne nastawienie

klientów.

CELE ANALIZY CZYNNIKOWEJ

Redukcja liczby zmiennych bez istotnej straty zawartych w nich informacji Transformacja układu zmiennych w jakościowo nowy układ

czynników głównych Tworzenie skal i miar złożonych z kilku pytań Ustalanie wag określających znaczenie, jakie należy przypisać

poszczególnym zmiennym i czynnikom w trakcie analiz Ortogonalizacja przestrzeni, w której rozpatrywane są obiekty,

będące przedmiotem badań

CELE ANALIZY CZYNNIKOWEJ

Wykrywanie ukrytych związków między zmiennymi – formułowanie i weryfikacja hipotez dotyczących istnienia i charakteru prawidłowości kształtujących związki między zjawiskami Opis zjawisk w kontekście nowych kategorii zdefiniowanych przez

czynniki Prezentacja graficzna zbioru obserwacji wielowymiarowych

CELE ANALIZY CZYNNIKOWEJ

Kiedy stosować? cel eksploracyjny – rozpoznanie struktury zbioru danych

gdy nie dysponujemy potencjalnym modelem „głębokiej” struktury

czynników wyjaśniających związki między danymi

dla zastosowania wykrytych czynników w dalszych analizach

wielowymiarowych

dla jednoznacznego wyliczenia wartości skal reprezentujących

wymiary mierzone przez zestaw zmiennych

OGÓLNY PODZIAŁ METOD ANALIZY CZYNNIKOWEJ

A. Model "klasyczny" analizy czynnikowej (podział wariancji całkowitej zmiennych na dwie części: wariancję wspólną i wariancję specyficzną) klasyczna analiza czynnikowa analiza kanoniczna

B. Model "komponentowy" analizy czynnikowej (nieuwzględnianie

struktury wariancji) metoda głównych składowych analiza współzależności

PROCEDURA ANALIZY CZYNNIKOWEJ

Kroki:

1. wyodrębnienie czynników

2. rotacja czynników w celu łatwiejszej interpretacji

Analiza czynnikowa to metoda modelowania liniowego

Wymaga danych mierzonych na skali interwałowej, ale mogą być

też skale Likerta (min. 5-cio punktowe)

Bazuje na korelacji i kowariancji między zmiennymi.

PROCEDURA ANALIZY CZYNNIKOWEJ

Przedmiot analizy: macierz danych, zawierająca n realizacji m zmiennych:

W wyniku standaryzacji wartości zmiennych uzyskujemy zmienne o wartości oczekiwanej równej zero i jednostkowym odchyleniu standardowym:

[ ]nimj

xxX ijij ,...,2,1,...,2,1

,0,==

≥=

Z=[ zij ]

PROCEDURA ANALIZY CZYNNIKOWEJ

Zakładamy, że pomiędzy zmiennymi Xj zachodzą związki, których siłę i kierunek określają współczynniki korelacji liniowej Pearsona zawarte w macierzy korelacji:

[ ] ( )mjpzzn

ZZn

rR ij

n

iipij ...1,1'1

1==== ∑

=

PROCEDURA ANALIZY CZYNNIKOWEJ

W analizie czynnikowej przyjmuje się, że źródłem wzajemnych zależności między zmiennymi są ukryte wspólne czynniki, które można uznać za nośniki tej samej informacji.

Możliwe jest zatem ich wyodrębnienie i zastąpienie nowymi,

syntetycznymi zmiennymi.

Ale zakładamy też, że nie cała wariancja zmiennych jest

powodowana tymi ukrytymi czynnikami – każda zmienna pierwotna

charakteryzuje się też pewnymi specyficznymi właściwościami.

PROCEDURA ANALIZY CZYNNIKOWEJ

Podstawą identyfikacji składników wspólnych i specyficznych jest w analizie czynnikowej podział wariancji poszczególnych zmiennych na wariancję wspólną i specyficzną:

h j2 - zasób zmienności wspólnej - część wariancji objaśniona

przez czynniki wspólne

- zasób zmienności swoistej - pozostałość po odjęciu zasobu zmienności wspólnej od wariancji całkowitejw j

2

PROCEDURA ANALIZY CZYNNIKOWEJ

Dalsze założenia:

- czynniki wspólne nie są skorelowane ze sobą

- czynniki specyficzne również nie są ze sobą skorelowane

- czynniki wspólne nie są skorelowane z czynnikami

specyficznymi

- czynniki wspólne są zestandaryzowane,

E(Fj)=0 i Var(Fj)=1

PROCEDURA ANALIZY CZYNNIKOWEJ

Model analizy czynnikowej można zapisać w postaciw postaci układu równań liniowych:

Z = AF + BUgdzie:

Z - macierz j standaryzowanych zmiennych pierwotnych

A - macierz ładunków czynnikowych czynników wspólnych

F - macierz czynników wspólnych

B - macierz ładunków czynnikowych czynników specyficznych

U - macierz czynników specyficznych

PROCEDURA ANALIZY CZYNNIKOWEJ

Zatem każda z obserwowalnych zmiennych Z jest funkcją liniową zmiennych nieobserwowalnych (czynników wspólnych) oraz pojedynczej zmiennej specyficznej:

Z j=∑l=1

k

a jl F lb jU j

gdzie:m - liczba zmiennych pierwotnychk - liczba czynników głównych (wspólnych)Zj - j-ta zmienna standaryzowana (pierwotna)Fl - l-ty czynnik wspólnyUj - j-ty czynnik swoistyajl – ładunek czynnikowy l-tego czynnika Fl w j-tej zmiennej obserwowalnej

PROCEDURA ANALIZY CZYNNIKOWEJ

W celu wyznaczenia współczynników modelu – ładunków czynnikowych – w kolejnym kroku zastępuje się w macierzy R elementy głównej przekątnej zasobami zmienności wspólnej (usuwamy z równania składnik reprezentujący wariancję specyficzną)

~ ~~Rr r dla i jr h dla i j

ij ij

ij j=

= ≠= =

2

i otrzymujemy tzw. zredukowaną macierz korelacji R

PROCEDURA ANALIZY CZYNNIKOWEJ

hj2 ustala się na poziomie:

średniej arytmetycznej najwyższego co do modułu współczynnika korelacji j-tej zmiennej

z pozostałymi hj2 = max [|rij |], i <> j

korelacji przeciętnej hj2 = 1

1 1mrij

i

k

− =∑

PROCEDURA ANALIZY CZYNNIKOWEJ

Zatem podstawowe zadanie analizy czynnikowej sprowadza się do rozwiązania równania:

ze względu na macierz A, czyli wyznaczenia ładunków czynnikowych składników wspólnych.

TAAR =~

PROCEDURA ANALIZY CZYNNIKOWEJ

Uporządkowane malejąco wartości własne macierzy ~R

oraz odpowiadające im wektory własne V:

posłużą do wyznaczenia ładunków czynnikowych l-tego czynnika w zmiennych pierwotnych:

∑=

= m

jjl

jljl

v

va

1

2/121

][λ

][ jll vV = )...1( mj =

1...m)(l ][ == lλλ

PROCEDURA ANALIZY CZYNNIKOWEJ

Kolejne wartości i wektory własne posłużą do uzyskania ładunków czynnikowych kolejnych czynników.

Ładunki te odzwierciedlają korelację pomiędzy j-tą zmienną

pierwotną i l-tym wspólnym czynnikiem.

Znalezienie tego rozwiązania kończy właściwą analizę czynnikową.

ROTACJA CZYNNIKÓW

Uzyskana macierz ładunków czynnikowych A nie jest jednym możliwym rozwiązaniem analizy czynnikowej.

Poprzez obrót układu wzajemnie ortogonalnych osi - czynników

głównych - można wygenerować nieskończenie wiele różnych

macierzy ładunków.

Dokonanie takiej rotacji pozwala często na takie ustalenie osi, aby

odpowiadająca mu macierz ładunków zapewniła możliwie

najłatwiejszą interpretację czynników.

ROTACJA CZYNNIKÓW

Rotacja polega na znalezieniu ortogonalnej macierzy S (macierzy transformacji) spełniającej warunek:

A1

T = S A0

T

gdzie:

A0 ,A1 - to wyjściowa i końcowa macierz ładunków,

ROTACJA CZYNNIKÓW

Elementy macierzy transformacji S określają kąty, o jakie należy obrócić układ osi - czynników wspólnych tak, aby:

- zmaksymalizować liczbę ładunków zerowych w każdej kolumnie

macierzy czynników

- zmaksymalizować korelacje między jak najmniejszą liczbą

zmiennych, a każdym wyodrębnionym czynnikiem głównym

ROTACJA CZYNNIKÓW

Innymi słowy - rotacja polega na sprowadzeniu struktury ładunków czynnikowych do prostej struktury, w której punkty reprezentujące zmienne skupiają się wokół osi czynników.

Istotne jest, że wskutek rotacji zasoby zmienności wspólnej hj2

określające udział wszystkich czynników wspólnych w wyjaśnianiu

wariancji zmiennej Xj nie ulegają zmianie.

ROTACJA CZYNNIKÓW

Najczęściej stosuje się procedury rotacji ortogonalnej, z których najbardziej znanymi są varimax i quartimax.

VARIMAX upraszcza interpretację czynników (minimalizuje liczbę

zmiennych potrzebnych do wyjaśnienia danego czynnika)

QUARTIMAX upraszcza interpretację zmiennych (minimalizuje liczbę

czynników potrzebnych do wyjaśnienia danej zmiennej).

WYZNACZENIE WARTOŚCI CZYNNIKÓW

Na koniec najczęściej potrzebny jest sposób wyznaczenia wartości poszczególnych czynników dla kolejnych obserwacji. Obliczanie realizacji czynników wspólnych odbywa się w oparciu o formułę:

F = AT Z

ILE CZYNNIKÓW?

Problemem w stosowaniu analizy czynnikowej jest określenie liczby czynników głównych

Najczęściej spotykane techniki określania liczby czynników

wspólnych to:

a/ metoda "wartości własnej (lambda) większej od jedności"b/ metoda procentu wariancji tłumaczonej przez czynniki głównec/ metoda testu osypiska

ILE CZYNNIKÓW?

a/ metoda "wartości własnej (lambda) większej od jedności"

najczęściej spotykana – jej podstawą jest to, że każdy czynnik

powinien wyjaśniać zmienność co najmniej jednej zmiennej

pierwotnej. Metoda ta powinna być stosowana gdy ilość zmiennych

jest większa od 20. Gdy liczba zmiennych jest mniejsza istnieje

tendencja wyodrębniania zbyt małej ilości czynników.

ILE CZYNNIKÓW?

b/ metoda procentu wariancji tłumaczonej przez czynniki główne

do ogólnej liczby wybranych czynników zalicza się te czynniki, które

w sumie wyjaśniają 75%, 80% lub 90% wariancji, a żaden następny

nie tłumaczy więcej niż 5% wariancji.

ILE CZYNNIKÓW?

c/ metoda testu osypiska

polega na sporządzeniu wykresu, na którym na osi poziomej

wyznaczana jest ilość czynników a na osi pionowej - uzyskane

wartości własne. Podstawowym zadaniem jest znalezienie "punktów

załamania", w których rozpoczynają się kolejne "rumowiska" (w tych

punktach zmienia się kąt załamania krzywej). Punkty te określają

liczbę czynników kwalifikujących się do dalszej analizy. Metoda ta

jest nieco bardziej "liberalna" niż metoda >1, pozwala włączyć do

dalszej analizy nieco większą liczbę czynników.

NAZWY CZYNNIKÓW

Nadawanie nazw nowym zmiennym (czynnikom)

– na bazie ładunków czynnikowych:

należy wyodrębnić zmienne o najwyższych ładunkach czynnikowych

względem danych czynników i poprzez analizę nazw zmiennych

znaleźć wspólne ich odniesienie do danego, głębszego wymiaru

METODA GŁÓWNYCH SKŁADOWYCH

A n al i z a g ó w n y c h sk ad o w y c h ł ł (ang. principal components analysis)

j est m et o d t r an sf o rm ac j i zm i en n y c h p i er w o tn y c h w e w zaj em n i e ą

o r t o g o n a l n e, n o w e zm i en n e, t zw . główne składowe.

METODA GŁÓWNYCH SKŁADOWYCH

Redukcja wymiaru przestrzeni cech, uporządkowanie ich na

podzbiory (główne składowe) jest przydatna głównie ze względu na

możliwość zinterpretowania relacji między składowymi, graficznej

prezentacji konfiguracji porównywanych zmiennych, a wreszcie

uporządkowania tych zmiennych według przyjętych cech.

METODA GŁÓWNYCH SKŁADOWYCH

W analizie głównych składowych rozwiązywany problem można

przedstawić następująco:

METODA GŁÓWNYCH SKŁADOWYCH

Wszystkie zmienne pierwotne są poddane standaryzacji, a to

oznacza, że ich wariancje są równe jedności (koła reprezentujące

zmienne pierwotne mają jednakową średnicę). Nowa zmienna

powinna wyjaśniać maksymalną ilość wariancji zmiennych

pierwotnych (jej wariancja jest przedstawiona na rysunku obszarem

zacieniowanym).

Wariancja tej nowej zmiennej wyjaśniającej pewną ilość zmienność

zmiennych pierwotnych jest nazywana jej wartością własną

(eigenvalue).

PROCEDURA METODY GŁÓWNYCH SKŁADOWYCH

Przedmiot analizy – jak poprzednio:

macierz danych, zawierająca n realizacji m zmiennych:

W wyniku standaryzacji wartości zmiennych uzyskujemy zmienne o wartości oczekiwanej równej zero i jednostkowym odchyleniu standardowym:

[ ]nimj

xxX ijij ,...,2,1,...,2,1

,0,==

≥=

Z=[ zij ]

PROCEDURA METODY GŁÓWNYCH SKŁADOWYCH

Zakładamy, że pomiędzy zmiennymi Xj zachodzą związki,

których siłę i kierunek określają współczynniki korelacji liniowej

Pearsona zawarte w macierzy korelacji:

[ ] ( )mjpzzn

ZZn

rR ij

n

iipij ...1,1'1

1==== ∑

=

Przy czym punkt wyjścia stanowi nieprzekształcona macierz

korelacji

PROCEDURA METODY GŁÓWNYCH SKŁADOWYCH

Podstawowe równanie metody głównych składowych można zapisać

w postaciw postaci układu równań liniowych:

ZT = AGT

G = AT Zgdzie:

Z - macierz j standaryzowanych zmiennych pierwotnych

A - macierz ładunków czynnikowych składowych głównych

G - macierz składowych głównych

PROCEDURA METODY GŁÓWNYCH SKŁADOWYCH

Zatem każdy z wyodrębnionych czynników głównych Gl jest liniową kombinacją obserwowalnych zmiennych Z:

Gl=∑i=1

k

∑j=1

m

a i j Z j

gdzie:m – liczba zmiennych pierwotnychk – liczba składowych głównych (wszystkich skłądowych jest tyle ile zmiennych pierwotnych)

Zj – j-ta zmienna standaryzowana (pierwotna)Gl – l-ta skłądowa głównaajl – ładunki czynnikowe

PROCEDURA METODY GŁÓWNYCH SKŁADOWYCH

Rozwiązanie polega, podobnie jak poprzednio, na wyznaczeniu

ładunków ajl, tak aby składowa główna wyjaśniała maksymalną

część wariancji zmiennych pierwotnych.

Każda l-ta główna składowa jest liniowa kombinacją zmiennych

pierwotnych i wyjaśnia i-tą część całkowitej zmienności.

METODA GŁÓWNYCH SKŁADOWYCH

Pierwsza główna składowa G1 jest taką kombinacją dla której

wariancja próbkowa jest największa i wyraża się wzorem:

ijj1i11 1

2G1 S a a = S ∑ ∑

= =

m

i

m

j

i jest największa wśród wszystkich kombinacji liniowych takich, że: a1

Ta1=1(warunek jednoznacznego wyznaczenia wektora współczynników).

METODA GŁÓWNYCH SKŁADOWYCH

Druga główną składową można przedstawić w sposób analogiczny.

Jest ona kombinacja liniową zmiennych pierwotnych

maksymalizującą wariancję przy warunkach:a1

Ta1=1 oraz a1Ta2 = 0

Drugi z nich zapewnia ortogonalność powstałych składowych.

Konsekwencją tego jest sumowanie się kolejnych wariancji głównych

składowych do wariancji całkowitej.

METODA GŁÓWNYCH SKŁADOWYCH

Znaczenie i użyteczność składowej głównej jest mierzona wielkością

wyjaśnianej przez nią całkowitej zmienności. I tak, jeśli w układzie

sześciu zmiennych pierwsza składowa wyjaśnia np. 85% zmienności,

to znaczy to, że prawie cała zmienność tego układu da się

przedstawić na prostej zamiast w sześciu wymiarach.

METODA GŁÓWNYCH SKŁADOWYCH

W efekcie powstaje nam tyle głównych składowych, ile było

początkowo zmiennych (podobnie jak czynników w klasycznej

analizie czynnikowej): nadal mamy układ m-wymiarowy. Ale w

praktyce ograniczamy się do kilku pierwszych głównych

składowych, które wyjaśniają z góry ustaloną część wariancji

całkowitej, np. 75%.

Własności głównych składowych

- są liniową kombinacją obserwowalnych zmiennych

- są ortogonalne względem siebie

- kolejne składowe wyjaśniają malejącą ilość łącznej wariancji zmiennych

- suma wariancji składowych jest równa sumie wariancji zmiennych pierwotnych

PCA / FA

Obie służą sprowadzaniu informacji zawartych w wielu

zmiennych do stosunkowo niewielkiej liczby wyjaśniających

je wymiarów.

Pomimo że w praktyce wyniki uzyskiwane przy pomocy obu z

nich są zbliżone, to nie są to warianty tej samej metody, ale

różne metody oparte na odmiennych założeniach.

PCA / FA

Analiza czynnikowa Analiza głównych składowych

Ch. Spearman (1904), L.L. Thurstone (1913) H. Hotteling (1933)

Obejmuje wariancję całkowitą zmiennych

Główne składowe są zawsze niezależne

Obejmuje pewną część wariancji zmiennych, zwaną wariancją wspólną

orientacja kowariancyjna: punktem wyjścia jest zredukowana macierz korelacji

orientacja wariancyjna: punktem wyjścia jest zwykła macierz korelacji

Zmienna pierwotna jest funkcją czynników wspólnych i swoistych

Główna składowa jest funkcją zmiennych pierwotnych

Celem analizy jest identyfikacja ukrytych zmiennych

Celem analizy jest uproszczenie struktury danych

Czynniki mogą być zarówno niezależne, jak i skorelowane