Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Klasyczny Model Regresji LiniowejZaj ↪ecia 5

Natalia Nehrebecka

04 maja, 2010

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Plan zaj ↪ec1 Klasyczny Model Regresji Liniowej

Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL

2 Estymator macierzy kowariancji estymatora MNKEstymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b

3 Kombinacja liniowa parametrowEstymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βk

Przyk lad - Estymator wariancji i odchylenia standardowego βk

4 PrognozaPrecyzja prognozyPrzyk lad - prognoza

5 Pytania teoretyczne

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL

KMRL: Uk lad za lozen na temat b l ↪edow losowych w modelu,pozwalaj ↪acy na okreslenie statystycznych w lasnosciMNK

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL

1 yi = x1iβ1 + · · ·+ xKiβK + εi , zapisie macierzowym:y = Xβ + ε

2 Zmienne objasniaj ↪ace x1i , . . . , xki s ↪a nielosowe dla i = 1, . . . ,N

3 E (εi ) = 0 dla i = 1, . . . ,N, zapisie macierzowym: E (ε) = 0

4 Cov(εi , εj) = 0 dla i 6= j (brak autokorelacji b l ↪edu losowego)

5 Var(εi ) = σ2 dla i = 1, . . . ,N (homoskedastycznosc6=heteroskedastycznosc b l ↪edu losowego)

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL

1 yi = x1iβ1 + · · ·+ xKiβK + εi , zapisie macierzowym:y = Xβ + ε

2 Zmienne objasniaj ↪ace x1i , . . . , xki s ↪a nielosowe dla i = 1, . . . ,N

3 E (εi ) = 0 dla i = 1, . . . ,N, zapisie macierzowym: E (ε) = 0

4 Cov(εi , εj) = 0 dla i 6= j (brak autokorelacji b l ↪edu losowego)

5 Var(εi ) = σ2 dla i = 1, . . . ,N (homoskedastycznosc6=heteroskedastycznosc b l ↪edu losowego)

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL

1 yi = x1iβ1 + · · ·+ xKiβK + εi , zapisie macierzowym:y = Xβ + ε

2 Zmienne objasniaj ↪ace x1i , . . . , xki s ↪a nielosowe dla i = 1, . . . ,N

3 E (εi ) = 0 dla i = 1, . . . ,N, zapisie macierzowym: E (ε) = 0

4 Cov(εi , εj) = 0 dla i 6= j (brak autokorelacji b l ↪edu losowego)

5 Var(εi ) = σ2 dla i = 1, . . . ,N (homoskedastycznosc6=heteroskedastycznosc b l ↪edu losowego)

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL

1 yi = x1iβ1 + · · ·+ xKiβK + εi , zapisie macierzowym:y = Xβ + ε

2 Zmienne objasniaj ↪ace x1i , . . . , xki s ↪a nielosowe dla i = 1, . . . ,N

3 E (εi ) = 0 dla i = 1, . . . ,N, zapisie macierzowym: E (ε) = 0

4 Cov(εi , εj) = 0 dla i 6= j (brak autokorelacji b l ↪edu losowego)

5 Var(εi ) = σ2 dla i = 1, . . . ,N (homoskedastycznosc6=heteroskedastycznosc b l ↪edu losowego)

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL

1 yi = x1iβ1 + · · ·+ xKiβK + εi , zapisie macierzowym:y = Xβ + ε

2 Zmienne objasniaj ↪ace x1i , . . . , xki s ↪a nielosowe dla i = 1, . . . ,N

3 E (εi ) = 0 dla i = 1, . . . ,N, zapisie macierzowym: E (ε) = 0

4 Cov(εi , εj) = 0 dla i 6= j (brak autokorelacji b l ↪edu losowego)

5 Var(εi ) = σ2 dla i = 1, . . . ,N (homoskedastycznosc6=heteroskedastycznosc b l ↪edu losowego)

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL

Zaburzenia losowe ε s ↪a sferyczne.

Oznacza to, ze warunkowa macierz wariancji-kowariancjiwektora zaburzen przy danej macierzy X ma postac:

Var(ε) = σ2I =

Var(ε1) Cov(ε2, ε1) · · · Cov(εN , ε1)

Cov(ε1, ε2) Var(ε2) · · ·...

......

. . ....

Cov(ε1, εN) Cov(ε2, εN) · · · Var(εN)

=

σ2 · · · 0...

. . ....

0 · · · σ2

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL

Sta losc wariancji zaburzen nazywamy homoskedastycznosci ↪azaburzen.

Jesli wariancje nie by lyby jednakowe, to sytuacj ↪e tak ↪anazywamy heteroskedastycznosci ↪a.

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL

Przypadek zerowych kowariancji dla roznych zaburzenlosowych εi oraz εj nazywamy brakiem autokorelacji zaburzen.Oznacza to, ze zaburzenia losowe dla roznych obserwacji s ↪aniezalezne, a przez to nieskorelowane,

a wi ↪ec nie maj ↪a tendencji do gromadzenia si ↪e np. woko ldodatnich lub ujemnych (lub naprzemiennie dodatnich iujemnych) wartosci

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL

1 Nieobci↪

azonosc: E (b) = β

2 Efektywnosc:Twierdzenie (Gaussa-Markowa) Dla spe lnionych za lozenKMRL estymator MNK jest najlepszym estymatoremparametrow β w klasie liniowych i nieobci ↪azonychestymatorow tego parametru.

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b

Wektor oszacowan (estymator) parametrow jest wektoremlosowym, moze wi ↪ec odbiegac od prawdziwych wartosciparametrow

Precyzj ↪e oszacowania mierzy si ↪e za pomoc ↪a miar rozrzutu,dyspersji

Najpopularniejsz ↪a miar ↪a rozrzutu jest macierzwariancji-kowariancji

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b

Wyprowadzenie wzoru

Wazne za lozenia KMRL: brak autokorelacji (cov(εi , εj) = 0dla i 6= j ) i homoskedastycznosc (var(εi ) = σ2 dlai = 1, . . . ,N)

Var(b) = Var((X ′X )−1X ′y) = Var((X ′X )−1X ′(Xβ + ε)

= Var(β + (X ′X )−1X ′ε) = (X ′X )−1X ′ Var(ε)︸ ︷︷ ︸σ2I

X (X ′X )−1

= σ2(X ′X )−1X ′X (X ′X )−1 = σ2(X ′X )−1 = Σ

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b

Oszacowanie wariancji estymatora parametrow Σ uzyskamy,jesli uda si ↪e znalezc estymator wariancji b l ↪edu losowego σ2

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b

Oszacowanie b l ↪edow losowych w MNK - reszty

Dlatego estymator wariancji b l ↪edow losowych buduje si ↪e napodstawie wariancji reszt

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b

Podstawowa macierz idempotentna

e = y − Xb = y − X(X′X)−1X′y =

(I − X(X′X)−1X′)y =MX y

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b

W lasnosci macierzy MX

1 MX jest macierz ↪a:

1 idempotentn ↪a: MX MX = MX

2 symetryczn ↪a: MX = M′X

2 Kolumny macierzy MX s ↪a ortogonalne do kolumn macierzy X:MX X = 0

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b

Zaleznoscmi ↪edzy resztami a b l ↪edami losowymi

e = MX y = MX (Xβ︸ ︷︷ ︸0

+ε) = MX ε

st ↪ade′e = ε′MX ε

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b

suma kwadratow reszt jest skalarem, wi ↪ec

e′e = tr(e′e) = tr(ε′MX ε)

aletr(ε′MX ε) = tr(MX εε

′)

st ↪ad (korzystaj ↪ac z za lozenia o homoskedastycznosci)

E (e′e) = E (trMX εε′) = tr(MX E (εε′)︸ ︷︷ ︸

σ2I

) = σ2tr(MX )

ale

tr(MX ) = N − K

czyliE (e ′e) = σ2(N − K )

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b

Nieobci ↪azony estymator wariancji

Poniewaz

E (e′e

N − K) = σ2

Dlatego nieobci ↪azonym estymatorem wariancji b l ↪edu losowego jest

s2 =e′e

N − K

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b

Liczba stopni swobody

df︸︷︷︸stopnie swodoby

= N︸︷︷︸liczba obserwacji

− K︸︷︷︸liczba estymowanych parametrow

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b

Σ = s2(X′X)−1

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b

Nieobci ↪azonym estymatorem wariancji b l ↪edu losowego jest:

s2 = e′eN−K = 306,34918

1083−5 = 0, 284183 (Mean Squared Error)

s =√

s2 =√

0, 284183 = 0, 53309 (Root of Mean SquaredError)

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Estymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βkPrzyk lad - Estymator wariancji i odchylenia standardowego βk

Z punktu widzenia pytania badawczego interesuj ↪ace s ↪a nietylko wielkosci oszacowanych parametrow, ale rowniezoszacowania pewnych funkcji tych parametrow.Jakie w lasnosci ma tak uzyskane oszacowanie i jaka jest jegowariancja?W lasnosci estymatora MNK kombinacji liniowej parametrow β:

δ′β =K∑

k=1

δkβk

nieobci ↪azonym estymatorem δ′β:

E (δ′b) = δ′E (b) = δ′β

wariancja kombinacji liniowej parametrow:

Var(δ′b) = E[(δ′b − δ′β)(δ′b − δ′β)′

]=

= E[δ′(b − β)(b − β)′δ

]= δ′Σbδ

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Estymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βkPrzyk lad - Estymator wariancji i odchylenia standardowego βk

Estymatorem wariancji kombinacji liniowej parametrow

δ′Σbδ

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Estymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βkPrzyk lad - Estymator wariancji i odchylenia standardowego βk

Model dla dochodu z uwgl ↪ednionymi interakcjami mi ↪edzy p lci ↪ai wykszta lceniem:

log(dochod) = β0 + β1wiek + β2wiek2 + β3plec+

+β4srednie + β5wyzsze + β6plec × srednie + β7plec × wyzsze + ε

Korzysc z uzyskania wyzszego wykszta lcenia w stosunku dowykszta lcenia podstawowego dla kobiet: β5 + β7

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Estymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βkPrzyk lad - Estymator wariancji i odchylenia standardowego βk

b5 + b7 = 0, 866966 + (−0, 3459179) = 0, 521048

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Estymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βkPrzyk lad - Estymator wariancji i odchylenia standardowego βk

szczegolnym przypadkiem kombinacji liniowej elemtow wektoraβ jest kombinacja, ktora daje k-ty element tego wektora.

δ =[

0 · · · 0 1 0 · · · 0]

δ′β = βk

nieobci ↪azonym estymatorem βk jest:

δ′b = bk

estymatorem wariancji βk jest:

δ′Σbδ =[Σb

]kk

se(bk) - oszacowanie odchylenia b l ↪edu standardowego bk ,ktore wykorzystuje si ↪e do mierzenia precyzji oszacowanparametrow.

se(bk) =

√[Σb

]kk

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Estymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βkPrzyk lad - Estymator wariancji i odchylenia standardowego βk

Model dla dochodu:

log(dochod) = β0+β1wiek +β2plec +β3srednie +β4wyzsze +ε

Oszacowanie β1 rowne b1 = 0,004746

Oszacowanie Var(b1) = 2, 665e − 06

Oszacowanie se(b1) = 0, 0016325

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Precyzja prognozyPrzyk lad - prognoza

Prognoza przewidywana przez model wartosc yf dla danegowektora zmiennych objasniaj ↪acych xf . Nieobci ↪azon ↪aprognoz ↪a wartosci yf w KMRL jest

yf = xf b (1)

B l ↪ad prognozy ef = yf − yf

Zadanie

Pokaz, ze prognoza uzyskiwana z MNK na podstawie wzoru (1)jest nieobci ↪azona, tzn. E (ef ) = 0

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Precyzja prognozyPrzyk lad - prognoza

Wariancja prognozy zwi ↪azana ze zmiennosci ↪a prognoz:

Var(yf ) = Var(xf b) = xf Var(b)x′f = xf Σbx ′f

Wariancja b l ↪edu prognozy zwi ↪azana ze zmiennosci ↪a odchylenprognozy od wartosci obserwowanych:

Var(ef ) = E [(yf − yf )(yf − yf )′]

= xf Var(b)x′f + σ2 = xf Σbx′f + σ2

= Var(yf )︸ ︷︷ ︸b l ↪ad estymacji

+ σ2︸︷︷︸b l ↪ad losowy

(przy za lozeniu braku autokorelacji)

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Precyzja prognozyPrzyk lad - prognoza

Nieobci ↪azony estymator wariancji b l ↪edu prognozy

Zadanie

Podaj wzor na nieobci ↪azony estymator wariancji b l ↪edu prognozy

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Precyzja prognozyPrzyk lad - prognoza

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Precyzja prognozyPrzyk lad - prognoza

Model dla dochodu:

log(dochod)i = 6, 47 + 0, 0046× wieki − 0, 32× pleci

Prognoz ↪e wysokosci dochodu dla kobiety w wieku 35 lat.

Wektor zmiennych egzogenicznych:x f =[

1 35 1]

log(dochod)f = 6, 47 + 0, 0046× 35− 0, 32× 1 = 6, 311

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

Precyzja prognozyPrzyk lad - prognoza

Wariancja prognozy:

xf Σbx ′f =

[1 35 1

] 0, 00478652 0, 0001092 −0, 00043010, 0001092 2, 892e − 06 −3, 562e − 06−0, 0004301 −3, 562e − 06 0, 0011713

1351

=

= 0, 00064698

Oszacowanie b l ↪edu standardowego odchylenia losowego:s2 = (0, 56179)2

Wariancja b l ↪edu prognozy:

xf Σbx′f + s2 = 0, 00064698 + (0, 56179)2 = 0, 316255

Odchylenie standardowe prognozy:√

0, 316255 = 0, 562366

N. Nehrebecka 5. KMRL

Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK

Kombinacja liniowa parametrowPrognoza

Pytania teoretyczne

1 Wymienic za lozenia Klasycznego Modelu Regresji Liniowej(KMRL).

2 Udowodnic, ze, w KMRL estymator b jest nieobci ↪azony.3 Wyprowadzic postac macierzy wariancji kowariancji b i podac

interpretacj ↪e jej elementow.4 Podac (s lowami) tresc twierdzenia Gaussa-Markowa i wyjasnic

jego znaczenie.5 Pokazac, ze s2 jest nieobci ↪azonym estymatorem σ2.6 Udowodnic, ze s2(X ′X )−1 jest nieobci ↪azonym estymatorem

Var(b).7 Podac postac estymatora dla kombinacji liniowej δ′β i

udowodnic, ze jest on nieobci ↪azony.8 Co to jest prognoza? Udowodnic, ze prognoza postaci xf b jest

nieobci ↪azona.9 Podac dwa zrod la b l ↪edu prognozy i wzor na wariancj ↪e b l ↪edu

prognozy.N. Nehrebecka 5. KMRL