Wykªad 6: Model logitowy -...

Idea Model logitowy Predykcja z modelu logitowego

Wykªad 6: Model logitowyEkonometria Stosowana � SGH

Andrzej Torój

Model logitowy 1 / 18

Plan ¢wicze«

1 Modele zmiennej jako±ciowej � idea

2 Model logitowy

Specy�kacja i interpretacja parametrów

Dopasowanie i restrykcje

3 Predykcja z modelu logitowego

Andrzej Torój

Plan prezentacji

2 Model logitowy

Andrzej Torój

Zastosowanie modeli zmiennej jako±ciowej

Zmienna obja±niana nie jest mierzona na skali ci¡gªej:dwumianowy model logitowy (o nim dzisiaj): gdy zmiennaobja±niana mo»e przyj¡¢ jedn¡ z dwóch warto±ci (TAK/NIE,DOBRZE/�LE, PRZE�Y�/NIE PRZE�Y� itp.)wielomianowy uporz¡dkowany model logitowy: gdy zmiennaobja±niana mo»e przyj¡¢ jedn¡ ze sko«czonej (i w praktyceniewielkiej) liczby mo»liwo±ci, wy»szej ni» 2, które mo»na logicznieuporz¡dkowa¢ (np. BARDZO �LE / �LE / NEUTRALNIE /DOBRZE / BARDZO DOBRZE, ZUPE�NIE SI� NIE ZGADZAM /NIE ZGADZAM SI� / NIE MAM ZDANIA / ZGADZAM SI� /CA�KOWICIE SI� ZGADZAM itp.)wielomianowy nieuporz¡dkowany model logitowy: ...gdy mo»liwo±cinie da si¦ logicznie uporz¡dkowa¢ (np. partia popierana przezankietowanego, jego ulubiony napój itd.)

W zale»no±ci od dokªadnej specy�kacji, zamiast modeli

logitowych mo»emy rozwa»a¢ równie» modele probitowe.

Andrzej Torój

Przykªad

Przykªad: zbiór danych o pasa»erach Titanica

Zmienna obja±niana: Survived (czy prze»yª?)

Zmienne obja±niaj¡ce:

Age: wiekFare: cena za biletParch: liczba rodziców i dzieci pasa»era obecnych na pokªadzieSibSp: liczba rodze«stwa i wspóªmaª»onków pasa»eraobecnych na pokªadziePclass: klasa, w której podró»owaª pasa»er(wysoka/±rednia/niska)Sex: pªe¢ pasa»eraEmbark: miasto, w którym pasa»er wsiadª na pokªad

Andrzej Torój

Przykªad

Przykªad: zbiór danych o pasa»erach Titanica

Zmienna obja±niana: Survived (czy prze»yª?)

Zmienne obja±niaj¡ce:

Age: wiekFare: cena za biletParch: liczba rodziców i dzieci pasa»era obecnych na pokªadzieSibSp: liczba rodze«stwa i wspóªmaª»onków pasa»eraobecnych na pokªadziePclass: klasa, w której podró»owaª pasa»er(wysoka/±rednia/niska)Sex: pªe¢ pasa»eraEmbark: miasto, w którym pasa»er wsiadª na pokªad

Andrzej Torój

Plan prezentacji

2 Model logitowy

Andrzej Torój

Model logitowy (1)

Zmienna obja±niana: yi o warto±ciach ∈ {0; 1}.Prawdopodobie«stwo przyj¦cia warto±ci 1 przez yi zale»y od

wektora cech i-tej jednostki, xi , i wyra»a si¦ wzorem:

pi =eβ0+β1x1,i+β2x2,i+...+βk xk,i

1+eβ0+β1x1,i+β2x2,i+...+βk xk,i

Dodatni znak parametru mówi, »e wzrost zmiennej zwi¦ksza

prawdopodobie«stwo przyj¦cia przez zmienn¡ y warto±ci 1.

(Ujemny znak: wzrost zmiennej zwi¦ksza prawdopodobie«stwo

warto±ci 0).

Istotno±¢ zmiennych mo»na testowa¢ (podobnie jak w modelu

regresji liniowej).

Andrzej Torój

Model logitowy (1)

warto±ci 0).

regresji liniowej).

Andrzej Torój

Model logitowy (1)

warto±ci 0).

regresji liniowej).

Andrzej Torój

Model logitowy (1)

warto±ci 0).

regresji liniowej).

Andrzej Torój

Model logitowy (2)

Pytanie 1

Które czynniki istotnie zwi¦kszaªy, a które zmniejszaªy

prawdopodobie«stwo prze»ycia katastrofy?

Pytanie 2

Wyznacz prawdopodobie«stwo prze»ycia dla 20-letniego m¦»czyzny,

podró»uj¡cego bez »adnych bliskich, w niskiej klasie, który wsiadª w

Southampton (przyjmij cen¦ biletu na poziomie ±rednim w próbie).

Andrzej Torój

Model logitowy (2)

Pytanie 1

Które czynniki istotnie zwi¦kszaªy, a które zmniejszaªy

prawdopodobie«stwo prze»ycia katastrofy?

Pytanie 2

Wyznacz prawdopodobie«stwo prze»ycia dla 20-letniego m¦»czyzny,

podró»uj¡cego bez »adnych bliskich, w niskiej klasie, który wsiadª w

Southampton (przyjmij cen¦ biletu na poziomie ±rednim w próbie).

Andrzej Torój

Interpretacja parametrów w modelu logitowym (1)

Logit to liniowe wyra»enie w wykªadniku:

ln pi1−pi

= β0 + β1x1,i + β2x2,i + ...+ βkxk,i

Wzrost x1 o jednostk¦ zwi¦ksza logit o β1 (ceteris paribus).

Nieintuicyjna interpretacja! Mamy dwa inne sposoby.

Andrzej Torój

Sposób 1.

Iloraz szans to stosunek prawdopodobie«stwa »e yi = 1 doprawdopodobie«stwa yi = 0:

pi1−pi

= eβ0+β1x1,i+β2x2,i+...+βkxk,i

Iloraz szans dla zmiennej: eβj

Uzasadnienie: eβ0+β1(x1,i+1)+β2x2,i+...+βkxk,i =eβ0+β1x1,i+β2x2,i+...+βkxk,i eβ1 = pi

1−pieβ1

Wzrost x1 o 1 zmienia iloraz szans razy eβ1 . Np. je»elieβ1 = 1, 05, to zwi¦ksza go o 5%, a gdy eβ1 = 0, 97, tozmniejsza go o 3%.

Andrzej Torój

Pytanie 3

Oblicz i zinterpretuj ilorazy szans dla zmiennych oznaczaj¡cych

wiek i klas¦.

Andrzej Torój

Sposób 2. Efekt kra«cowy dla ±rednich.

O ile zmienia si¦ prawdopodobie«stwo »e yi = 1 przy wzro±ciezmiennej o jednostk¦?Odpowied¹ nie jest tak ªatwa, bo zale»y od poziomuwszystkich zmiennych obja±niaj¡cych.

∂pi∂xj,i

= βjpi (1− pi ) = βjeβ0+β1x1,i+β2x2,i+...+βk xk,i

(1+eβ0+β1x1,i+β2x2,i+...+βk xk,i )2

W praktyce cz¦sto posªugujemy si¦ t¡ miar¡ wyznaczon¡ przywszystkich warto±ciach xj na poziomie ±rednim w próbie.

Andrzej Torój

Pytanie 4

Wyznacz i zinterpretuj efekty kra«cowe dla zmiennych

oznaczaj¡cych pªe¢ i wiek przy zaªo»eniu, »e wszystkie zmienne

obja±niaj¡ce s¡ na poziomie ±rednim w próbie.

Pytanie 5

Wyznacz i zinterpretuj efekt kra«cowy dla zmiennej oznaczaj¡cej

wiek w przypadku 17-letniej kobiety, podró»uj¡cej z narzeczonym,

bez rodze«stwa, z matk¡, w klasie 1, która wsiadªa w Southampton

(cena biletu na poziomie ±rednim w próbie).

Andrzej Torój

Pytanie 4

Wyznacz i zinterpretuj efekty kra«cowe dla zmiennych

oznaczaj¡cych pªe¢ i wiek przy zaªo»eniu, »e wszystkie zmienne

obja±niaj¡ce s¡ na poziomie ±rednim w próbie.

Pytanie 5

Wyznacz i zinterpretuj efekt kra«cowy dla zmiennej oznaczaj¡cej

wiek w przypadku 17-letniej kobiety, podró»uj¡cej z narzeczonym,

bez rodze«stwa, z matk¡, w klasie 1, która wsiadªa w Southampton

(cena biletu na poziomie ±rednim w próbie).

Andrzej Torój

Diagnostyka modelu (1)

Niech:

ln L � logarytm warto±ci funkcji wiarygodno±ci dla rozwa»anego

modelu

ln L∗ � logarytm warto±ci funkcji wiarygodno±ci dla modelu

tylko ze staª¡

Miara dopasowania pseudo-R2 (im wy»ej, tym lepsze dopasowanie

do danych):

pseudoR2 = 1− ln Lln L∗

Test ilorazu wiarygodno±ci:

2 (ln L− ln L∗) ∼ χ2 (k)H0 : caªy zestaw zmiennych obja±niaj¡cych nieistotny

Odrzucamy H0 przy wysokich warto±ciach statystyki

(prawostronny obszar krytyczny).

Andrzej Torój

Pytanie 6

Czy nasz model poprawia jako±¢ prognoz w stosunku do naiwnej

predykcji, przypisuj¡cej ka»demu pasa»erowi prawdopodobie«stwo

prze»ycia ok. 40% na podstawie danych o liczbie osób uratowanych

w katastro�e?

Andrzej Torój

Plan prezentacji

2 Model logitowy

Andrzej Torój

Predykcja

Dla ka»dej jednostki i mo»emy wyznaczy¢ prawdopodobie«stwo pizdarzenia yi = 1.

Ustalamy warto±¢ progow¡ δ i prognozujemy:

{1 dla pi > δ

0 dla pi < δ

Intuicyjnie: δ = 0, 5. Ale taki sposób jest dobry jedynie

wówczas, gdy oba warianty yi s¡ mniej wi¦cej równoliczne.

Optymalnie: δ =∑

Pytanie 7

Czy b¦dziemy prognozowa¢, »e m¦»czyzna z pytania 2 prze»yª, czy

Andrzej Torój

Predykcja

Dla ka»dej jednostki i mo»emy wyznaczy¢ prawdopodobie«stwo pizdarzenia yi = 1.

Ustalamy warto±¢ progow¡ δ i prognozujemy:

{1 dla pi > δ

0 dla pi < δ

Intuicyjnie: δ = 0, 5. Ale taki sposób jest dobry jedynie

wówczas, gdy oba warianty yi s¡ mniej wi¦cej równoliczne.

Optymalnie: δ =∑

Pytanie 7

Czy b¦dziemy prognozowa¢, »e m¦»czyzna z pytania 2 prze»yª, czy

Andrzej Torój

Predykcja

Tablica trafno±ci

Y przewidywane yi0 1

zaobserwowane yi0 n00 n011 n10 n11

zliczeniowe R2 = n00+n11n00+n01+n10+n11

Pytanie 8

W ilu % przypadków nasz model prognozowaª poprawnie?

Andrzej Torój

Predykcja

Tablica trafno±ci

Y przewidywane yi0 1

zaobserwowane yi0 n00 n011 n10 n11

zliczeniowe R2 = n00+n11n00+n01+n10+n11

Pytanie 8

W ilu % przypadków nasz model prognozowaª poprawnie?

Andrzej Torój

Wykªad 6: Model logitowy -...

Documents

Transcript of Wykªad 6: Model logitowy -...