Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Klasyczny Model Regresji LiniowejZaj ↪ecia 5

Natalia Nehrebecka

04 maja, 2010

N. Nehrebecka 5. KMRL



Pytania teoretyczne

Plan zaj ↪ec1 Klasyczny Model Regresji Liniowej

Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL

2 Estymator macierzy kowariancji estymatora MNKEstymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b

3 Kombinacja liniowa parametrowEstymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βk

Przyk lad - Estymator wariancji i odchylenia standardowego βk

4 PrognozaPrecyzja prognozyPrzyk lad - prognoza

5 Pytania teoretyczne




Pytania teoretyczne


KMRL: Uk lad za lozen na temat b l ↪edow losowych w modelu,pozwalaj ↪acy na okreslenie statystycznych w lasnosciMNK




Pytania teoretyczne


1 yi = x1iβ1 + · · ·+ xKiβK + εi , zapisie macierzowym:y = Xβ + ε

2 Zmienne objasniaj ↪ace x1i , . . . , xki s ↪a nielosowe dla i = 1, . . . ,N

3 E (εi ) = 0 dla i = 1, . . . ,N, zapisie macierzowym: E (ε) = 0

4 Cov(εi , εj) = 0 dla i 6= j (brak autokorelacji b l ↪edu losowego)

5 Var(εi ) = σ2 dla i = 1, . . . ,N (homoskedastycznosc6=heteroskedastycznosc b l ↪edu losowego)




Pytania teoretyczne


Zaburzenia losowe ε s ↪a sferyczne.

Oznacza to, ze warunkowa macierz wariancji-kowariancjiwektora zaburzen przy danej macierzy X ma postac:

Var(ε) = σ2I =

Var(ε1) Cov(ε2, ε1) · · · Cov(εN , ε1)

Cov(ε1, ε2) Var(ε2) · · ·...

......

. . ....

Cov(ε1, εN) Cov(ε2, εN) · · · Var(εN)

=

σ2 · · · 0...

. . ....

0 · · · σ2




Pytania teoretyczne


Sta losc wariancji zaburzen nazywamy homoskedastycznosci ↪azaburzen.

Jesli wariancje nie by lyby jednakowe, to sytuacj ↪e tak ↪anazywamy heteroskedastycznosci ↪a.




Pytania teoretyczne





Pytania teoretyczne


Przypadek zerowych kowariancji dla roznych zaburzenlosowych εi oraz εj nazywamy brakiem autokorelacji zaburzen.Oznacza to, ze zaburzenia losowe dla roznych obserwacji s ↪aniezalezne, a przez to nieskorelowane,

a wi ↪ec nie maj ↪a tendencji do gromadzenia si ↪e np. woko ldodatnich lub ujemnych (lub naprzemiennie dodatnich iujemnych) wartosci




Pytania teoretyczne





Pytania teoretyczne


1 Nieobci↪

azonosc: E (b) = β

2 Efektywnosc:Twierdzenie (Gaussa-Markowa) Dla spe lnionych za lozenKMRL estymator MNK jest najlepszym estymatoremparametrow β w klasie liniowych i nieobci ↪azonychestymatorow tego parametru.




Pytania teoretyczne

Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b

Wektor oszacowan (estymator) parametrow jest wektoremlosowym, moze wi ↪ec odbiegac od prawdziwych wartosciparametrow

Precyzj ↪e oszacowania mierzy si ↪e za pomoc ↪a miar rozrzutu,dyspersji

Najpopularniejsz ↪a miar ↪a rozrzutu jest macierzwariancji-kowariancji




Pytania teoretyczne


Wyprowadzenie wzoru

Wazne za lozenia KMRL: brak autokorelacji (cov(εi , εj) = 0dla i 6= j ) i homoskedastycznosc (var(εi ) = σ2 dlai = 1, . . . ,N)

Var(b) = Var((X ′X )−1X ′y) = Var((X ′X )−1X ′(Xβ + ε)

= Var(β + (X ′X )−1X ′ε) = (X ′X )−1X ′ Var(ε)︸︷︷︸σ2I

X (X ′X )−1

= σ2(X ′X )−1X ′X (X ′X )−1 = σ2(X ′X )−1 = Σ




Pytania teoretyczne


Oszacowanie wariancji estymatora parametrow Σ uzyskamy,jesli uda si ↪e znalezc estymator wariancji b l ↪edu losowego σ2




Pytania teoretyczne


Oszacowanie b l ↪edow losowych w MNK - reszty

Dlatego estymator wariancji b l ↪edow losowych buduje si ↪e napodstawie wariancji reszt




Pytania teoretyczne


Podstawowa macierz idempotentna

e = y − Xb = y − X(X′X)−1X′y =

(I − X(X′X)−1X′)y =MX y




Pytania teoretyczne


W lasnosci macierzy MX

1 MX jest macierz ↪a:

1 idempotentn ↪a: MX MX = MX

2 symetryczn ↪a: MX = M′X

2 Kolumny macierzy MX s ↪a ortogonalne do kolumn macierzy X:MX X = 0




Pytania teoretyczne


Zaleznoscmi ↪edzy resztami a b l ↪edami losowymi

e = MX y = MX (Xβ︸︷︷︸0

+ε) = MX ε

st ↪ade′e = ε′MX ε




Pytania teoretyczne


suma kwadratow reszt jest skalarem, wi ↪ec

e′e = tr(e′e) = tr(ε′MX ε)

aletr(ε′MX ε) = tr(MX εε

′)

st ↪ad (korzystaj ↪ac z za lozenia o homoskedastycznosci)

E (e′e) = E (trMX εε′) = tr(MX E (εε′)︸︷︷︸

σ2I

) = σ2tr(MX )

ale

tr(MX ) = N − K

czyliE (e ′e) = σ2(N − K )




Pytania teoretyczne


Nieobci ↪azony estymator wariancji

Poniewaz

E (e′e

N − K) = σ2

Dlatego nieobci ↪azonym estymatorem wariancji b l ↪edu losowego jest

s2 =e′e

N − K




Pytania teoretyczne


Liczba stopni swobody

df︸︷︷︸stopnie swodoby

= N︸︷︷︸liczba obserwacji

− K︸︷︷︸liczba estymowanych parametrow




Pytania teoretyczne


Σ = s2(X′X)−1




Pytania teoretyczne


Nieobci ↪azonym estymatorem wariancji b l ↪edu losowego jest:

s2 = e′eN−K = 306,34918

1083−5 = 0, 284183 (Mean Squared Error)

s =√

s2 =√

0, 284183 = 0, 53309 (Root of Mean SquaredError)




Pytania teoretyczne





Pytania teoretyczne

Estymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βkPrzyk lad - Estymator wariancji i odchylenia standardowego βk

Z punktu widzenia pytania badawczego interesuj ↪ace s ↪a nietylko wielkosci oszacowanych parametrow, ale rowniezoszacowania pewnych funkcji tych parametrow.Jakie w lasnosci ma tak uzyskane oszacowanie i jaka jest jegowariancja?W lasnosci estymatora MNK kombinacji liniowej parametrow β:

δ′β =K∑

k=1

δkβk

nieobci ↪azonym estymatorem δ′β:

E (δ′b) = δ′E (b) = δ′β

wariancja kombinacji liniowej parametrow:

Var(δ′b) = E[(δ′b − δ′β)(δ′b − δ′β)′

]=

= E[δ′(b − β)(b − β)′δ

]= δ′Σbδ




Pytania teoretyczne


Estymatorem wariancji kombinacji liniowej parametrow

δ′Σbδ




Pytania teoretyczne


Model dla dochodu z uwgl ↪ednionymi interakcjami mi ↪edzy p lci ↪ai wykszta lceniem:

log(dochod) = β0 + β1wiek + β2wiek2 + β3plec+

+β4srednie + β5wyzsze + β6plec × srednie + β7plec × wyzsze + ε

Korzysc z uzyskania wyzszego wykszta lcenia w stosunku dowykszta lcenia podstawowego dla kobiet: β5 + β7




Pytania teoretyczne


b5 + b7 = 0, 866966 + (−0, 3459179) = 0, 521048




Pytania teoretyczne


szczegolnym przypadkiem kombinacji liniowej elemtow wektoraβ jest kombinacja, ktora daje k-ty element tego wektora.

δ =[

0 · · · 0 1 0 · · · 0]

δ′β = βk

nieobci ↪azonym estymatorem βk jest:

δ′b = bk

estymatorem wariancji βk jest:

δ′Σbδ =[Σb

]kk

se(bk) - oszacowanie odchylenia b l ↪edu standardowego bk ,ktore wykorzystuje si ↪e do mierzenia precyzji oszacowanparametrow.

se(bk) =

√[Σb

]kk




Pytania teoretyczne


Model dla dochodu:

log(dochod) = β0+β1wiek +β2plec +β3srednie +β4wyzsze +ε

Oszacowanie β1 rowne b1 = 0,004746

Oszacowanie Var(b1) = 2, 665e − 06

Oszacowanie se(b1) = 0, 0016325




Pytania teoretyczne

Precyzja prognozyPrzyk lad - prognoza

Prognoza przewidywana przez model wartosc yf dla danegowektora zmiennych objasniaj ↪acych xf . Nieobci ↪azon ↪aprognoz ↪a wartosci yf w KMRL jest

yf = xf b (1)

B l ↪ad prognozy ef = yf − yf

Zadanie

Pokaz, ze prognoza uzyskiwana z MNK na podstawie wzoru (1)jest nieobci ↪azona, tzn. E (ef ) = 0




Pytania teoretyczne


Wariancja prognozy zwi ↪azana ze zmiennosci ↪a prognoz:

Var(yf ) = Var(xf b) = xf Var(b)x′f = xf Σbx ′f

Wariancja b l ↪edu prognozy zwi ↪azana ze zmiennosci ↪a odchylenprognozy od wartosci obserwowanych:

Var(ef ) = E [(yf − yf )(yf − yf )′]

= xf Var(b)x′f + σ2 = xf Σbx′f + σ2

= Var(yf )︸︷︷︸b l ↪ad estymacji

+ σ2︸︷︷︸b l ↪ad losowy

(przy za lozeniu braku autokorelacji)




Pytania teoretyczne


Nieobci ↪azony estymator wariancji b l ↪edu prognozy

Zadanie

Podaj wzor na nieobci ↪azony estymator wariancji b l ↪edu prognozy




Pytania teoretyczne





Pytania teoretyczne


Model dla dochodu:

log(dochod)i = 6, 47 + 0, 0046× wieki − 0, 32× pleci

Prognoz ↪e wysokosci dochodu dla kobiety w wieku 35 lat.

Wektor zmiennych egzogenicznych:x f =[

1 35 1]

log(dochod)f = 6, 47 + 0, 0046× 35− 0, 32× 1 = 6, 311




Pytania teoretyczne


Wariancja prognozy:

xf Σbx ′f =

[1 35 1

] 0, 00478652 0, 0001092 −0, 00043010, 0001092 2, 892e − 06 −3, 562e − 06−0, 0004301 −3, 562e − 06 0, 0011713

1351

=

= 0, 00064698

Oszacowanie b l ↪edu standardowego odchylenia losowego:s2 = (0, 56179)2

Wariancja b l ↪edu prognozy:

xf Σbx′f + s2 = 0, 00064698 + (0, 56179)2 = 0, 316255

Odchylenie standardowe prognozy:√

0, 316255 = 0, 562366




Pytania teoretyczne

1 Wymienic za lozenia Klasycznego Modelu Regresji Liniowej(KMRL).

2 Udowodnic, ze, w KMRL estymator b jest nieobci ↪azony.3 Wyprowadzic postac macierzy wariancji kowariancji b i podac

interpretacj ↪e jej elementow.4 Podac (s lowami) tresc twierdzenia Gaussa-Markowa i wyjasnic

jego znaczenie.5 Pokazac, ze s2 jest nieobci ↪azonym estymatorem σ2.6 Udowodnic, ze s2(X ′X )−1 jest nieobci ↪azonym estymatorem

Var(b).7 Podac postac estymatora dla kombinacji liniowej δ′β i

udowodnic, ze jest on nieobci ↪azony.8 Co to jest prognoza? Udowodnic, ze prognoza postaci xf b jest

nieobci ↪azona.9 Podac dwa zrod la b l ↪edu prognozy i wzor na wariancj ↪e b l ↪edu

prognozy.N. Nehrebecka 5. KMRL

Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski

Documents

Transcript of Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski