Ekonometria 1 2. Metoda Najmniejszych Kwadratówmrubas/Econometrics/pdf/EI_T2PL.pdf ·...

Ekonometria 12. Metoda Najmniejszych

Kwadratów

1

Katarzyna Bech-WysockaSzkoła Główna Handlowa w Warszawie

Katarzyna Bech-Wysocka, Ekonometria I, MNK

Prosty model regresji liniowej

(simple linear regression model)

Ekonomiści interesują się związkami między zmiennymi, np. teoria ekonomcizna mówi, że wydatki na dane dobro y (np. jedzenie) zależą od dochodu x.

W ekonometrii, y jest zmienną losową i należy wykorzystać dane, żeby zrozumieć tę zależność między wydatkami a dochodem.

Model ekonometryczny pozwala na oszacowanie warunkowej wartości oczekiwanej E(y|x)= μy|x

oraz warunkowej wariancji σ2 zmiennej y.

Parametry μy|x i σ2 dostarczają wartościowych informacji o populacji, którą analizujemy.

2



3



4



W celu analizy związku między wydatkami a dochodami wykorzystujemy model ekonomiczny

wraz z odpowiednim modelem ekonometrycznym (lub modelem regresji):� � � � ��|� � � ��

lub

gdzie β0 to wyraz wolny, a β1 współczynnik kierunkowy (funkcji liniowej).

Jest to model prosty, nie dlatego, że łatwo się go analizuje, ale dlatego, że mamy w nim tylko jedną zmienną objaśniającą (jeden x po prawej stronie równania).

Współczynnik kierunkowy modelu to:

czyli pochodna warunkowej wartości

oczekiwanej y (warunkując po x).

5

� � � ��

2

( | ) ( | )β

E y x dE y x

x dx

∆= =∆1


Szacowanie parametrów regresji

6

Idea szacowania parametrów: wykorzystując obserwacje w próbie � � , � , � � 1, … , ��, znajdź liniową kombinację 1, � , która odpowiednio dobrze odzwierciedla wartości � .



7

Wybierz dowolną kombinację � � �� ,

parametry a i b dobierz tak, żeby odległość między dopasowaną linią, a prawdziwą wartością y była mała. W celu określenia co oznacza „mała”

możemy wykorzystać różne miary.



Dopasowana linia (oszacowany model):

� � � � � �� a reszty określamy jako:

� � � � � � � � � � � � ��

Wartości estymatorów � i �� minimalizują sumę kwadratów reszt:

�� ̂� � � � � � � �� !�"

#�

"

#�

FOCs (nazywane normal equations):

$$%&� ∑ � � � � �� !�" #� =0

$$%(� ∑ � � � � �� !�" #� =0



9

Rozwiązanie:�� ∑ � � �̅! � � �+!" #�

∑ � � �̅!�" #�

i � � �+- �� ̅.

Estymatory MNK w prostym modelu regresji liniowej



Model empiryczny:

� � � � � �� . Załóżmy, że:

.//0_2�3 4 � 83.42 � 10.21�:;/<2 .

Jak zinterpretować oszacowane wartości parametrów tego modelu?

10


Szacowanie parametrów regresji: przykład

Na podstawie danych w bweight.gdt oszacowano wpływ wieku matki (mage, w latach) na wagę urodzeniową noworodka (bweight, w gramach).

Czy oszacowany wyraz wolny ma ekonomiczną interpretację? O ile zmieni się waga urodzeniowa dziecka, jeżeli wiek matki wzrośnie o 1 jednostkę (1 rok)?

11

Model 1: OLS, using observations 1-4642 Dependent variable: bweight

Coefficient Std. Error t-ratio p-value

const 3074.06 40.7441 75.45 <0.0001 *** mage 10.8519 1.50383 7.216 <0.0001 ***

Mean dependent var 3361.680 S.D. dependent var 578.8196 Sum squared resid 1.54e+09 S.E. of regression 575.6608 R-squared 0.011098 Adjusted R-squared 0.010885 F(1, 4640) 52.07250 P-value(F) 6.22e-13 Log-likelihood −36088.03 Akaike criterion 72180.06 Schwarz criterion 72192.95 Hannan-Quinn 72184.59


Model liniowej regresji wielorakiej

(multiple linear regression model)

W modelu regresji wielorakiej, zmienna objaśniana y zależy od (więcej niż jednej) kilku zmiennych objaśniających x1, x2, …, xK w równaniu:

Pojedynczy parameter βk mierzy wpływ zmiany wartości zmiennej xk na wartość oczekiwaną y, przy założeniu ceteris paribus.

W modelu w notacji macierzowej

estymator MNK = minimalizuje sumę kwadratów reszt:

= � arg min C�� arg min � � D!′ � � D! FOC to:

FC��F � �2DG� � 2DGD � 0

i otrzymujemy:

= � DGD! H�DG�

12

� � � �� ⋯ � J�J � � .

� � D � �

Estymatory MNK w modelu liniowej regresji wielorakiej


Model liniowej regresji wielorakiej

Załóżmy, że posiadamy dodatkowe informacje o innych determinantach wydatków na jedzenie, które możemy włączyć jako dodatkowe zmiennej objaśniające do naszego modelu. Po oszacowaniu parametrów tego rozszerzonego modelu otrzymujemy:

.//0_2�3 4 � 75.14 � 9.12�:;/<2 � 0.12.NO�;2P:02� � 16.83.�O<2O ,

gdzie .NO�;2P:02� to indeks cen jedzenia, a .�O<2O to zmienna zero-jedynkowa, przyjmująca wartośc 1 dla rolników.

Jak możemy zinterpretować oszacowane parametry tego modelu?

13


Model liniowej regresji wielorakiej: przykład

Na podstawie danych w bweight.gdt oszacowano wpływ wieku matki (mage, w latach), wieku ojca (fage, w latach) oraz rasy matki (mhisp=1 jeżeli matka jest Latynoską, mrace=1 jeżeli matka jest biała) na wagę urodzeniową noworodka (bweight, w gramach).

Czy oszacowany wyraz wolny ma ekonomiczną interpretację? O ile zmieni się waga urodzeniowa dziecko, jeżeli wiek matki wzrośnie o 1 jednostkę (1 rok)? Jak zinterpretować pozostałe oszacowania?

14



const 2901.60 42.3930 68.45 <0.0001 *** mage 5.93910 1.80970 3.282 0.0010 *** fage 1.79069 1.08443 1.651 0.0987 * mhisp −34.4813 46.1281 −0.7475 0.4548 mrace 303.374 23.0942 13.14 <0.0001 ***



Założenia

Założenie 1

Prawdziwy jest model

A1 oznacza, że:

Poprawnie dobrano postać funkcyjną modelu.

Odpowiednio dobrano zbiór regresorów, tj. nie pominięto żadnej zmiennej, która jest ważna w objaśnianiu zmienności zmiennej zależnej (brak omitted variables).

Odpowiednio dobrano zbiór regresorów, tj. nie włączono do zbioru regresorów niepotrzebnych zmiennych, czyli takich, które nie wpływają na y (brak irrelevant regressors)

Założenie 2

� � � 0Niespełnienia założenia A2 (pewnej zmodyfikowanej wersji tego założenia) nazywamy endogenicznością. Będziemy ten problem omawiać pod koniec semestru.

15

� � D � �


Założenia

Założenie 3

R�O � � S�PZłamanie A3 oznacza, że wariancja jest heteroskedastyczna lub, że występuje korelacja składników losowych z różnych obserwacji.

Założenie 4

X jest nielosową macierzą : T U � 1! z rzędem O�:V D � U � 1! W �.Złamanie A4 oznacza, że regresory są współliniowe.

Założenie 5 (opcjonalne)�~� 0, S�P!

Założenie A5 nie jest konieczne do zapewnienia odpowiednich własności estymatorów MNK, ale jest potrzebne do przeprowadzania testów (tylko w małych próbach).

16


Własności estymatorów MNK

Możemy zbadać własności estymatorów MNK, jeżeli spełnione są założenia A1-A4 i odpowiedzieć na pytania:

1. Skoro estymatory MNK są zmiennymi losowymi, to jaka jest ich wartość oczekiwana, wariancja, kowariancje oraz rozkład prawdopodobieństwa?

2. Jak możemy porównać estymatory MNK do estymatorów otrzymanych z innych (niż MNK) metod estymacji?

Zaczynamy od najważniejszej własności estymatora, czyli nieobciążoności.

� = � � DGD H�DG� � � DGD H�DG D � �! � � � DGD H�DG� � � DGD H�DG� � � .

WAŻNE: nieobciążoność nie oznacza, że wartość estymatora (estimate) z jednej próby losowej jest bliska prawdziwej wartości parametru! (pamiętaj, że estimate Y estimator).

17

Jeżeli spełnione są założenia A1-A4 to estymatory MNK są nieobciążone.


Własności estymatorów MNK

Jaka jest wariancja estymatora MNK?

R�O = � � = � � = = � � = ′ � S� DGD!H�

to macierz wariancji-kowariancji, a wariancje poszczególnych Z� to elementy na głównej przekątnej tej macierzy.

1. Im większa wariancja składnika losowego σ2 , tym większa jest niepewność modelu ekonometrycznego oraz większa wariancja (i kowariancje) estymatorów MNK.

2. Im większa liczebość próby N, tym mniejsza jest wariancja (i kowariancje) estymatorów MNK.

18


Twierdzenie Gaussa - Markova

Jeżeli spełnione są założenia A1-A4, to estymator MNK ma najmniejszą wariancję wśród wszystkich liniowych, nieobciążonych estymatorów (jest najefektywniejszy). Mówimy wtedy, że jest Best Linear

Unbiased Estimators (BLUE).

Zauważ, że:

1. Estymatory MNK są „najlepsze” w porównaniu do innych liniowych, nieobciążonych estymatorów – twierdzenie nie mówi o wszystkich możliwych estymatorach.

2. Estymatory MNK są „najlepsze”, bo mają najmniejsze wariancje.

3. Twierdzenie jest prawdziwe tylko, jeżeli spełnione są założenia A1-A4. Jeżeli którekolwiek z nich jest niespełnione, to estymatory MNK nie są BLUE.

ASIDE: Jeżeli dodatkowo spełnione jest założenie A5, to zamiast estymacji metodą MNK możemy wykorzystać Metodą Największej Wiarygodności (Maximum Likelihood Estimation). Jeżeli spełnione są wszystkie założenia to estymatory MLE są algebraicznie identyczne jak estymatory MNK. Możemy wtedy wykorzystać Cramer-Rao Lower Bound, żeby udowodnić, że estymatory MLE=MNK są BUE- Best Unbiased Estimators.

19


Wariancja składnika losowego

W celu oszacowania wariancji estymatorów MNK musimy zastąpić nieznaną wartość wariancji składnika losowego oszacowaniem. Oczywistym estymatorem wariancji składnika losowego jest (średnia arytmetyczna kwadratów reszt):

S�� 1� � � ��

"

#�

Niestety, możemy pokazać, że ten estymator jest obciążony. Niebciążony estymator dany jest wzorem:

[� � 1� � U � 1! � � ��

"

#�Idea: mianownik (N � U � 1!) to korekta stopni swobody. W celu obliczenia [�, musimy oszacować U � 1 bet, tj. tracimy U � 1! stopnie swobody.

Pierwiastek kwadratowy z [� nazywamy błędem standardowym regresji.

20


Oszacowana wariancja estymatorów MNK

Zastąpmy nieznaną wartość σ2 estymatorem, żeby otrzymać:

R�O� = � [� DGD!H�

Pierwiastki kwadratowe tych oszacowanych wariancji nazywamy błędami standardowymi

estymatorów MNK:

[2 =Z � ]�O =Z!4

Błąd standardowy może być wykorzystany do mierzenia precyzji otrzymanych oszacowań MNK.

Możemy skonstruować relatywny błąd standardowy jako

�Z^ � [2 =Z|=Z| T 100%.

Jeżeli wartość tej statystyki jest <50%, to możemy być zadowoleni z precyzji naszych oszacowań.

21


Szacowanie przedziałowe

Błędy standardowe mogą być również wykorzystane do konstrukcji przedziałów ufności (lub oszacowań przedziałowych), tj. przedziału wartości, do którego z określonym prawdopodobieństwem należy prawdziwa wartość parametru.

Jeżeli spełnione jest założenie A5, to:

=Z~� Z , R�O =Z!!lub

=Z � Z

R�O =Z!~� 0,1!

Jeżeli znalibyśmy S� to

oznacza, że

N =Z � 1.96 R�O =Z ` Z ` =Z � 1.96 R�O =Z! � 0.95

22

( ) 95.096.196.1 =≤≤− ZP


Szacowanie przedziałowe

Niestety, nie znamy S� i musimy ją zastąpić przez [�, a wtedy:

=Z � Z[2 =Z! ~a"H Jb�!

co oznacza

N =Z � ac[2 =Z! ` Z ` =Z � ac[2 =Z! � 0.95

Przedział =Z d ac[2 =Z! nazywamy 100 1 � e!% przedziałem ufności dla parametru Z.

23


Szacowanie przedziałowe: przykład

Na podstawie danych w bweight.gdt otrzymano następujący wynik estymacji:

95% przedział ufności dla fghi to (7.90363, 13.8001). Jak obliczono ten przedział? Spróbuj

obliczyć go samodzielne.

24



const 3074.06 40.7441 75.45 <0.0001 *** mage 10.8519 1.50383 7.216 <0.0001 ***



Dopasowanie modelu: R-kwadrat (R-square)

Jak ocenić jakość modelu?

Możemy rozdzielić � na � � � � � � gdzie � � to część wyjaśniona, a � to część losowa, niewyjaśniona.

Na podstawie modelu empirycznego mamy:

� � � � � � �lub jako odchylenie od średniej:

� � �+ � � � � �+! � � � .

„Total sample variation” lub total sum of squares (TSS) można rozdzielić na sumę kwadratów objaśnioną w modelu i sumę kwadratów reszt:

∑ � � �+!�� ∑ � � � �+!�� ∑ � ��

TSS=SSR+RSS

• Współczynnik determinacji C� zdefiniowany jest jako proporcja zmienności y wyjaśniona przez model:

C� � ��Cj�� 1 � C��

j�� .• C� przyjmuje wartości od 0 do 1. Im bliżej 1, tym lepiej.

25


Dopasowanie modelu: adjusted R-square

Problemem miary C� jest fakt, że miara ta rośnie (nie maleje), jeżeli dodajemy do modelu kolejne regresory, nawet jeżeli te zmienne nie wpływają na y. Dlatego, w celu porównywania alternatywnych specyfikacji modeli korzystamy ze skorygowanego C+�:

C+� � 1 � C��/ � � U!j��/ � � 1!

który wprowadza „karę” za liczbę parametrów i rośnie tylko wtedy, gdy nowo-dodane zmienne są ważne w wyjaśnianiu zmienności y.

Pamiętaj: gdy porównujemy alternatywne specyfikacje modelu, wybierz tę z wyższą wartością skorygowanego R-kwadrat.

Można też porównywać modele wykorzystując kryteria informacyjne: Akaike Information Criterion (AIC), Baysian- Schwartz Information Criterion (BIC) or Hannan-Quinn Information Criterion (HIC).

Pamiętaj: gdy porównujemy alternatywne specyfikacje modelu, wybierz tę z niższą wartością kryteriów informacyjnych.

26

Zadania

27


Zadania

Zadanie 2.1.

Niełatwo jest zrozumieć, że estymatory MNK to zmienne losowe i ich wartości zależą od zbioru danych, z którym pracujemy.

Wygenerujemy syntetyczne obserwacje (jeden zbiór danych dla każdego studenta w sali). Załóżmy, że dane pochodzą z procesu:

D~� 5,2�~� 0,1

l � 5 � 0.5 ∗ D � �.Wygeneruj taką próbę z N=50 obserwacjami.

Oszacuj parametry modelu:� � � ��

i zapisz otrzymane wartości estymatorów MNK.

Czy wszyscy otrzymali identyczne wyniki?

28


Zadania

Zadanie 2.2.

Jak zmiana jednostek miary zmiennych wpływa na oszacowania?

Załóżmy, że szacujemy parametru prostego modelu liniowego:� � � �� ℇ

a) Jeżeli wartości x pomnożymy przez 10, a nie zmienimy wartości y, co stanie się z wartościami parametrów � �? Co stanie się z wartościami estymatorów MNK? Co stanie się z wariancją składnika losowego?

b) Jeżeli wartości y pomnożymy przez 10, a nie zmienimy wartości x, co stanie się z wartościami parametrów � �? Co stanie się z wartościami estymatorów MNK? Co stanie się z wariancją składnika losowego?

29


Zadania

Zadanie 2.3.

Lorraine Jenkins jest dyrektorem firmy produkującej ciasteczka. Poprosiła swojego asystenta o zebranie danych dotyczących produktywności pracowników firmy. Zebrano informacje o:

Produktywności (mierzonej jako odchylenie od średniej)

Poziomie wykształcenia (zmienna kategoryczna z 7 wartościami: 1 najniższy poziom, 7 najwyższy poziom)

Wrodzonej inteligencji (IQ, mierzone jako odchylenie od średniej)

Płci (zmienna zero-jedynkowa, 1 dla kobiet)

Stanie cywilnym (zmienna zero-jedynkowa, 1 dla zamężnych/żonatych).

Lorraine jest samotną matką i nie podoba jej się nowa polityka działu HR promująca pracowników pozostających w związkach małżeńskich. Lorraine chce wykorzystać dane, żeby udowodnić, że niezamężni/nieżonaci pracownicy są równie produktywni co ci w związkach małżeńskich.

Model, który Lorraine chce oszacować to:

3O/0o;a�]�a� � � �20o;�a�/: � �Pp � q<�OO�20 � � .

30


Zadania

Wyniki (na podstawie 2649 obserwacji) to:

a) Zinterpretuj oszacowania parametrów.

b) Skoro Lorraine chce głównie mierzyć różnice w produktywności singli i osób w związkach małżeńskich mogłaby oszacować prostszy model:

3O/0o;a�]�a� � � �<�OO�20 � � .Wyjaśnij dlaczego to jest zły pomysł.

c) Lorraine otrzymała C� � 0.1401 � C+� � 0.1391. Jak możemy zinterpretowac te wartości? Dlaczego są inne?

31

coefficient standard error

� -0.3281 0.0255

�� 0.1080 0.0082

�� 0.0054 0.0011

q� 0.0622 0.0177


Zadania

d) Lorraine dodała do modelu zmienną „płeć”:

3O/0o;a�]�a� � � �20o;�a�/: � �Pp � q<�OO�20 � rs2:02O � � .Otrzymała następujące wyniki:

Co możemy powiedzieć na temat produktywności kobiet?

32


� -0.2960 0.0255

�� 0.1093 0.0081

�� 0.0051 0.0011

q� 0.0604 0.0178

r� -0.0690 0.0167


Zadania

e) Lorraine oszacowała ponownie oryginalny model, ale tylko dla kobiet i otrzymała:

Porównując te wyniki do (d) czy widzisz jakieś nieścisłości? Czy zamężne kobiety są bardziej czy mniej produktywne niż kobiety niezamężne?

f) Biorąc pod uwagę wszystkie wyniki otrzymane przez Lorraine, czy polityka działu HR i promowanie zamężnych/żonatych pracowników ma sens?

33


� -0.2859 0.0291

�� 0.0813 0.0093

�� 0.0052 0.0012

q� 0.0525 0.0195


Zadania

Zadanie 2.4.

Chcemy oszacować wpływ dochodu (P - w $) i ceny (N - w $) na konsumpcję czekolady (tℎ/; - w 100g). Podstawowe równanie to

tℎ/; � � �P � �N � � .Otrzymano następujące wyniki:

� � 27[ � 0.19

tℎ/; 4 � 1.17 � 0.4P � 0.95N

i macierz wariancji-kowariancji:

[� DGD!H��0.11 �0.02 0.002

�0.02 0.02 �0.010.002 �0.01 0.01

.

Zinterpretuj wartości oszacowań. Dla każdego oszacowania oblicz relatywny błąd standardowy i określ precyzję tego oszacowania. Podaj 99% przedziały ufności dla � /O�v �.

34


Zadania

Zadanie 2.5.

Na podstawie pliku Q3_data.xlsx. Anna jest naukowcem zajmującym się badaniem zdolności językowych dzieci. Stawia hipotezę, że bogactwo słownictwa dzieci zależy od bogactwa słownictwa jakie matka używa mówiąc do dziecka. Anna przez 5 lat zbierała informacje na temat dwóch interesujących zmiennych. Po pierwsze, zebrała informację o liczbie różnych słów wypowiadanych przez matkę do dziecka w pierwszym roku jego życia – zmienna W. Po drugie, zebrała dane o wyniku testu słownictwa dzieci, który odbywa się w pierwszym roku szkoły – zmienna S (mierzona w skali 1-100).

1. Zapisz model regresji pozwalający na zbadanie związku, którym Anna jest zainteresowana.

2. Na podstawie danych zebranych przez Annę, oszacuj parametry tego modelu.

3. Zinterpretuj wyniki.

35


Zadania

Lola również zajmuje się badaniem zdolności językowych dzieci. Lola wykorzystuje dane zgromadzone przez Annę, ale zamiast mierzyć wynik testu dzieci w skali 1-100 używa skali 1-60.

4. Na podstawie danych Loli oszacuj model z punktu (1).

5. Opisz zależność między oszacowaniami z punktu (2) i (4).

Maria jest kolejnym badaczem zdolności językowych dzieci, który również korzysta z danych zebranych przez Annę. Maria nie pracuje jednak bezpośrednio ze zmienną W, ale używa odchylenia wartości od średniej – zmienna w∗ � w � wx .6. Na podstawie danych Marii oszacuj parametry modelu.

7. Porównaj wyniki z (6) z wynikami z (2) oraz (4).

36


Zadania

Zadanie 2.6.

Jak edukacja wpływa na zarobki? Plik cps5.gdt zawiera dane o stawce godzinowej, edukacji i innych zmiennych zebranych w 2008 Current Population Survey (CPS).

1. Oblicz statystyki opisowe i zbuduj histogramy dla zmiennych WAGE i EDUC. Opis charakterystykę tych danych.

2. Oszacuj model liniowy wpływu edukacji na zarobki. Zinterpretuj wyniki.

3. Oszacuj reszty i zbuduj wykres reszt względem edukacji. Czy coś na tym wykresie wygląda niepokojąco? Czy obserwujemy jakiś wzór? Jeżeli spełnione są założenia A1-A4, to czy powinnismy obserwować jakiś wzór w rozkładzie reszt?

4. Dodaje zmienne black, exper, female, faminc and south jako dodatkowe zmienne objaśniające. Oszacuj parametry tego modelu i zinterpretuj wpływ poszczególnych zmiennych na zarobki.

5. Dla każdego oszacowania oblicz relatywny błąd standardowy i oceń prezycję tych oszacowań.

6. Porównaj skorygowany R-kwadrat między modelem prostym, a tym z wieloma regresorami. Który model jest lepiej dopasowany do danych?

7. Porównaj AIC między modelem prostym, a tym z wieloma regresorami. Który model jest lepiej dopasowany do danych?

37


Zadania

Zadanie 2.7.

Dane o nieruchomościach sprzedawanych w Stockton, California zawarte są w pliku stockton5.gdt. Dostępne zmienne to SPRICE ($) – cena domu, LIVAREA (hundreds of square feet) - powierzchnia, BEDS- liczba sypialni, BATHS – liczba łazienek, LGELOT – 1, jeżeli powierzchnia działki jest większa niż 0.5 ara, AGE – wiek domu i POOL- 1, jeżeli jest basen.

1. Stwórz histogram dla zmiennej PRICE. Co obserwujesz?

2. Oszacuj parametry modelu wyjaśniającego PRICE pozostałymi zmiennymi. Zinterpretuj oszacowania.

3. Zinterpretuj wartość R-kwadrat. Jeżeli mielibysmy dostęp do innych zmiennych, to jakie czynniki (inne niż te wykorzystane w zadaniu) mają wpływ na cenę mieszkań? Jak możemy je zmierzyć?

4. Dla każdego regresora, podaj 95% przedział ufności dla parametru. Formalnie zinterpretuj te przedziały.

38

Ekonometria 1 2. Metoda Najmniejszych Kwadratówmrubas/Econometrics/pdf/EI_T2PL.pdf ·...

Documents

Transcript of Ekonometria 1 2. Metoda Najmniejszych Kwadratówmrubas/Econometrics/pdf/EI_T2PL.pdf ·...