STATYSTYCZNE METODY OPRACOWANIA POMIARÓW - 2users.uj.edu.pl/~ufkamys/BK/bb_zakladki.pdf ·...

STATYSTYCZNE METODY OPRACOWANIA

POMIARÓW - 2

B. Kamys

Spis tre±ci

1 Wstep - podstawowe poj¦cia 4

2 Wielowymiarowe zmienne losowe 112.1 Rozkªad prawdopodobie«stwa funkcji wielowymiarowej zmiennej losowej . . 152.2 Momenty rozkªadu wielowymiarowej zmiennej losowej . . . . . . . . . . . 172.3 Przybli»one wzory na momenty funkcji wielowymiarowej zmiennej . . . . . 21

3 Rozkªad normalny (Gaussa) 233.1 Wielowymiarowy rozkªad normalny . . . . . . . . . . . . . . . . . . . . 263.2 Dwuwymiarowy rozkªad normalny . . . . . . . . . . . . . . . . . . . . . 27

4 Estymacja parametrów 30

5 Estymacja punktowa E(x), σ2(x), σ(x) i %(x, y) 335.1 Estymator E(x) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335.2 Estymator wariancji σ2(x) . . . . . . . . . . . . . . . . . . . . . . . . 345.3 Estymator odchylenia standardowego σ(x) . . . . . . . . . . . . . . . . 365.4 Estymator wspóªczynnika korelacji %(x, y) . . . . . . . . . . . . . . . . 38

6 Estymacja przedziaªowa E(x), σ2(x) i σ(x) 416.1 Estymacja przedziaªowa warto±ci oczekiwanej Ex - znane σx . . . . 426.2 Estymacja przedziaªowa warto±ci oczekiwanej Ex - nieznane σx . . 456.3 Estymacja przedziaªowa wariancji i odchylenia standardowego . . . . . . . 46

7 Estymacja punktowa E~y(~x) i macierzy kowariancji ~y(~x) 49

8 Metody szukania estymatorów o po»¡danych wªasno±ciach 528.1 Metoda momentów (MM) . . . . . . . . . . . . . . . . . . . . . . . . 528.2 Metoda najwiekszej wiarygodno±ci (MNW) . . . . . . . . . . . . . . . 56

8.2.1 Oszacowanie bªedu parametru znalezionego MNW . . . . . . . . . 618.3 Metoda najmniejszych kwadratów (MNK) . . . . . . . . . . . . . . . . 62

8.3.1 Oszacowanie bªedu parametru znalezionego MNK . . . . . . . . . 668.3.2 Regresja liniowa . . . . . . . . . . . . . . . . . . . . . . . . . . 678.3.3 Regresja przy pomocy wielomianów ortogonalnych . . . . . . . . . 73

1

SMOP-2 B.Kamys: 2016/17 2

9 Testowanie hipotez statystycznych 789.1 Denicje elementarnych poj¦¢ . . . . . . . . . . . . . . . . . . . . . . . 789.2 Schemat postepowania przy testowaniu hipotez . . . . . . . . . . . . . . 809.3 Hipotezy dotyczace warto±ci oczekiwanej . . . . . . . . . . . . . . . . . 82

9.3.1 Porównanie E(X) z liczba (H0 : E(X) = X0) . . . . . . . . . . 829.3.2 Warto±ci oczekiwane dwu populacji (H0 : E(X) = E(Y )) . . . . 84

9.4 Hipotezy dotyczace wariancji . . . . . . . . . . . . . . . . . . . . . . . 869.4.1 Porównanie wariancji X z liczba (H0 : σ2(X) = σ2

0) . . . . . . . 869.4.2 Porównanie wariancji dwu populacji (H0 : σ2(X) = σ2(Y )) . . . 86

9.5 Moc testu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 889.6 Test normalno±ci rozkªadu . . . . . . . . . . . . . . . . . . . . . . . . . 91

9.6.1 Test zerowania sie wspóªczynnika asymetrii i kurtozy . . . . . . . . 919.6.2 Test zgodno±ci λ - Koªmogorowa . . . . . . . . . . . . . . . . . . 939.6.3 Test zgodno±ci χ2 - Pearsona . . . . . . . . . . . . . . . . . . . 969.6.4 Wykres normalny . . . . . . . . . . . . . . . . . . . . . . . . . 98

9.7 Testy nieparametryczne hipotez porównujacych populacje . . . . . . . . . 1009.7.1 Test Smirnowa . . . . . . . . . . . . . . . . . . . . . . . . . . . 1009.7.2 Test znaków . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1039.7.3 Test serii Walda-Wolfowitza . . . . . . . . . . . . . . . . . . . . 1049.7.4 Test sumy rang Wilcoxona-Manna-Whitneya . . . . . . . . . . . . 1079.7.5 Wykres kwantyl-kwantyl . . . . . . . . . . . . . . . . . . . . . . 108

9.8 Hipoteza jednorodno±ci wariancji . . . . . . . . . . . . . . . . . . . . . 1109.8.1 Test Bartletta . . . . . . . . . . . . . . . . . . . . . . . . . . . 1109.8.2 Test Cochrana . . . . . . . . . . . . . . . . . . . . . . . . . . . 1119.8.3 Test Fmax Hartleya . . . . . . . . . . . . . . . . . . . . . . . . 111

9.9 Analiza wariancji (ANOVA) - klasykacja jednoczynnikowa . . . . . . . . 1129.9.1 Inne sformuªowanie hipotezy zerowej . . . . . . . . . . . . . . . . 1149.9.2 Praktyczne rachunki w ANOVA . . . . . . . . . . . . . . . . . . 1169.9.3 Stabilizacja wariancji . . . . . . . . . . . . . . . . . . . . . . . . 116

9.10 Analiza wariancji (ANOVA) - klasykacja dwuczynnikowa . . . . . . . . . 1199.11 Test wspóªzale»no±ci statystycznej pomiedzy cechami jako±ciowymi . . . . 123

9.11.1 Test dokªadny (Fishera) dla tablic kontyngencji 2x2 . . . . . . . . 1249.11.2 Test χ2 dla tablic kontyngencji 2x2 . . . . . . . . . . . . . . . . 1299.11.3 Wspóªczynnik korelacji rang % Spearmana . . . . . . . . . . . . . 1329.11.4 Wspóªczynnik korelacji rang τ Kendalla . . . . . . . . . . . . . . 1349.11.5 Analiza asocjacyjna . . . . . . . . . . . . . . . . . . . . . . . . 1399.11.6 Miary siªy zwiazku nominalnych zmiennych jako±ciowych . . . . . . 142

9.12 Test istotno±ci dla wspóªczynnika korelacji Pearsona . . . . . . . . . . . . 1469.13 Test istotno±ci dla stosunku korelacyjnego . . . . . . . . . . . . . . . . . 148

10 Metoda Monte Carlo 15210.1 Liczenie caªek metoda Monte Carlo . . . . . . . . . . . . . . . . . . . . 15210.2 Zmniejszanie bªedu caªki . . . . . . . . . . . . . . . . . . . . . . . . . . 15510.3 Generacja liczb losowych . . . . . . . . . . . . . . . . . . . . . . . . . . 158

10.3.1 Generacja liczb o rozkªadzie równomiernym . . . . . . . . . . . . 158


10.3.2 Generacja liczb losowych o dowolnych rozkªadach prawdopodobie«stwa16010.3.3 Generacja wielowymiarowych zmiennych losowych . . . . . . . . . 168

10.4 Modelowanie komputerowe . . . . . . . . . . . . . . . . . . . . . . . . 17010.4.1 Modelowanie przechodzenia neutronów przez o±rodek symulacja . . 17010.4.2 Modelowanie przez zastosowanie wag statystycznych . . . . . . . . 17710.4.3 Modelowanie przechodzenia neutronów przez o±rodek wagi staty-

styczne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179


1 WSTEP - podstawowe poj¦cia

W tym wst¦pie zostan¡ przypomniane podstawowe pojecia teorii prawdopodobie«stwa.Nie powtarzamy wszystkich niezbednych denicji (mo»na je znale¹¢ w notatkach do wy-kªadu ze Statystycznych Metod Opracowania Pomiarów I na stronie internetowej IFUJ).

1. Zdarzenia losowe. Badane zdarzenia traktujemy jako zdarzenia losowe. Denicjezdarze« losowych omawiali±my na SMOP1 a tu przypomnijmy tylko intuicyjne okre-±lenie; sa to takie zdarzenia o których nie mo»emy z góry wyrokowa¢ czyzajda czy te» nie . To intuicyjne okre±lenie nie uwzgl¦dnia zdarzenia pewnego(zachodz¡cego zawsze) i zdarzenia niemo»liwego (nie zachodz¡cego nigdy), któreformalnie nale»¡ do zdarze« losowych.

2. Ka»demu zdarzeniu losowemu mo»emy przypisa¢ prawdopodobie«stwo, które jestmiara czesto±ci pojawiania sie zdarzenia w okre±lonych warunkach (de-nicje tak»e poznali±my na wykªadzie SMOP-1). Prawdopodobie«stwo i metodypracy z prawdopodobie«stwem stanowia dziaª matematyki nazywany teoria praw-dopodobie«stwa, na której opieraj¡ si¦ wszystkie rozwa»ania statystyki tak jak roz-wa»ania zyki opieraj¡ si¦ na formali¹mie matematyki.

3. Zmienne losowe to dodatkowe (poza prawdopodobie«stwem) charakterystyki zda-rze« losowych. W zyce zajmujemy sie tylko wielko±ciami, które mog¡ by¢ zmierzonetzn. takimi, które moga by¢ ilo±ciowo porównane z wielko±ci¡ tego samego rodzajuprzyj¦t¡ za jednostke. Dlatego te» w zyce wystepuja tylko ilo±ciowe zmiennelosowe.

W przyrodniczych dziedzinach wiedzy zwiazanych z organizmami »ywymi, wprowa-dza sie tak»e jako±ciowe zmienne losowe. Zmienne te dzielimy na zmienne nomi-nalne, dla których okre±lona jest jedynie relacja identyczny - ró»ny i zmienneporzadkowe, dla których dodatkowo mo»na wprowadzi¢ relacje uporzadkowania(lepszy ni» , bardziej bolesny , itp.). Dla zmiennych nominalnych i porzadko-wych stosuje si¦ specyczne metody statystyczne.

Warto przypomnie¢, »e obok powy»szego podziaªu wprowadzone sa inne klasyka-cje, np. zmienne mierzalne dzieli sie na zmienne ciagªe i zmienne dyskretne zewzgledu na przyjmowany zbiór warto±ci (oczywi±cie moga równie» istnie¢ zmienneo charakterze mieszanym, tzn. przyjmujace w pewnych przedziaªach zmienno±ciwarto±ci dyskretne a w innych warto±ci ciagªe). Inny jeszcze podziaª zmiennychmierzalnych to podziaª na zmienne przedziaªowe, dla których nie jest okre±lonenaturalne zero skali (np. temperatura w skali Celsjusza) oraz zmienne stosunkowegdzie zero skali jest naturalnym a nie umownym zerem (np. temperatura w skalibezwzglednej). Dla pierwszego typu zmiennych istotne sa tylko przyrosty zmien-nej a nie ma sensu bezwzgledna warto±¢ tych zmiennych a wiec w szczególno±ci niemo»na liczy¢ ilorazów warto±ci tych zmiennych w odró»nieniu od zmiennych sto-sunkowych gdzie ilorazy sa dobrze okre±lone i moga by¢ poprawnie interpretowane.Stad wªa±nie pochodza przytoczone nazwy.


4. Statystyka jest dziaªem nauki, który posªugujac sie metodami teorii prawdopodo-bie«stwa zajmuje sie zdarzeniami losowymi badanymi w praktyce do±wiadczalnej iobserwacyjnej. W szczególno±ci statystyka podaje przepisy jak na podstawie sko«-czonej grupy obserwacji czy pomiarów wnioskowa¢ o wszystkich mo»liwych obser-wacjach i pomiarach (teoria estymacji) i okre±la reguªy stawiania hipotez i ichsprawdzania na podstawie sko«czonej liczby obserwacji czy pomiarów (testowaniehipotez statystycznych). W obu tych podstawowych dziaªach statystyki trzebastosowa¢ specyczne metody je»eli mamy do czynienia ze zmiennymi nominalnymii porzadkowymi.

5. Metoda Monte Carlo to bardzo rozpowszechniona ostatnio metoda rozwi¡zywaniaró»nych zada« matematyki i nauk przyrodniczych przez przyporz¡dkowanie ory-ginalnemu problemowi równowa»nego zagadnienia z teorii prawdopodobie«stwa irozwi¡zania tego problemu metodami statystycznymi.

6. Rozkªad prawdopodobie«stwa, funkcja gesto±ci prawdopodobie«stwa i dys-trybuanta zwana tak»e przez statystyków funkcja rozkªadu sa wielko±ciami u»y-wanymi do okre±lenia, jakie jest prawdopodobie«stwo pojawiania sie ró»nych warto-±ci (mierzalnej) zmiennej losowej. Odpowiednie denicje poznali±my na wykªadzieSMOP1.

DEFINICJA:Przypomnijmy tutaj, »e rozkªad prawdopodobie«stwa to przyporzadkowanie dys-kretnym warto±ciom zmiennej losowej prawdopodobie«stw - stosowany jest wiectylko dla dyskretnych zmiennych losowych:

P (xk) = pk, k = 1, 2, . . . (1)

PRZYKAD:Rozkªad dwumianowy (Bernoulliego) to rozkªad prawdopodobie«stwa pojawieniasi¦ k pozytywnych wyników w serii n niezale»nych prób je»eli wiadomo, »e prawdo-podobie«stwo otrzymania pozytywnego wyniku w pojedynczej próbie wynosi p:

P (k) =

(nk

)·pk ·(1− p)n−k (2)

Zmienna k przyjmuje warto±ci od zera do n.


Jak ªatwo sprawdzi¢ suma prawdopodobie«stw wszystkich (wykluczaj¡cych si¦) wy-ników na warto±¢ zmiennej k jest równa jedno±ci bo zgodnie ze wzorem Newtonataka suma jest równa n-tej pot¦dze dwumianu; [p+(1−p)]n , który to»samo±cioworówny jest jedno±ci.

DEFINICJA:Funkcja gesto±ci prawdopodobie«stwa okre±la jakie jest prawdopodobie«stwoprzyjmowania przez zmienna ciagªa X warto±ci z przedziaªu [x, x+ dx]:

f(x)dx ≡ P (x ≤ X ≤ x+ dx) (3)

Stad mo»na ªatwo wydedukowa¢ nastepujace, wa»ne wªasno±ci funkcji gesto±ci praw-dopodobie«stwa:

• f(x) ≥ 0

• wymiar f(x) to 1/(wymiar x)

• f(x) jest unormowana:∫ +∞−∞ f(x)dx = 1.

DEFINICJA:Najbardziej ogólna wielko±cia, która mo»na zastosowa¢ zarówno do zmiennychciagªych jak i dyskretnych jest dystrybuanta zdeniowana nastepujaco:

F (x) ≡ P (X < x) (4)

przy czym dla zmiennych ciagªych istnieje nastepujaca relacja pomiedzy dystrybu-anta i funkcja gesto±ci prawdopodobie«stwa:

F (x) =

∫ x

−∞f(t)dt

oraz

f(x) =dF (x)

dx.

7. Warto±¢ oczekiwana,wariancja,odchylenie standardowe to podstawowe wielko-±ci, które zawieraja w sobie wa»ne informacje o rozkªadzie prawdopodobie«stwa(funkcji gesto±ci prawdopodobie«stwa). Znajomo±¢ tych wielko±ci musi nam czesto


zastapi¢ znajomo±¢ rozkªadu prawdopodobie«stwa, który znacznie trudniej wyzna-czy¢ z do±wiadczenia.

DEFINICJA:Warto±¢ oczekiwana x deniowana jest dla zmiennych ciagªych jako:

E(x) ≡∫x · f(x)dx (5)

oraz dla zmiennych dyskretnych jako:

E(x) ≡∑i

xi · p(xi) (6)

WASNOCI:

• Warto±¢ oczekiwana jest ta warto±cia, dookoªa której gromadza siewarto±ci zmiennej losowej - wynika to z nierówno±ci Czebyszewa po-danej poni»ej (po denicji wariancji).

• Warto zapamieta¢, »e warto±¢ oczekiwana kombinacji liniowej jest kombinacjaliniowa warto±ci oczekiwanych bo operator caªkowania i operator sumy sa ope-ratorami liniowymi:

E(∑j

Cjxj) ≡∑j

Cj · E(xj)

• Cz¦sto wykorzystuje si¦ fakt, »ewarto±¢ oczekiwan¡ pewnej funkcji zmien-nej x ; g(x), mo»na policzy¢ korzystaj¡c z funkcji g¦sto±ci prawdopodobie«-stwa (rozkªadu prawdopodobie«stwa) samego argumentu x:

E(g(x)) =

∫g(x) · f(x)dx

=∑i

g(xi) · p(xi)DEFINICJA:Wariancja, oznaczana var(x) lub σ2(x) deniowana jest jako warto±¢ oczekiwanakwadratu odchylenia zmiennej od jej warto±ci oczekiwanej:


var(x) ≡ E[(x− E(x))2] (7)

Prosze zapamieta¢ trzy nastepujace wªasno±ci wariancji, które czesto wykorzystujesie w praktyce:

• Wariancja nie zmienia sie przy przesunieciu zera skali zmiennej x (lub jak ktowoli nie zmienia sie przy dodaniu dowolnej staªej do zmiennej x),

• Zmiana jednostki skali o czynnik C (lub inaczej pomno»enie zmiennej x przezstaªe C) powoduje pomno»enie wariancji przez czynnik C2.

• Czesto wygodnie jest liczy¢ wariancje zmiennej x jako ró»nice warto±ci ocze-kiwanej kwadratu zmiennej x i kwadratu warto±ci oczekiwanej x:

var(x) = E(x2)− E2(x)

Dwie pierwsze wªasno±ci wynikaja w prosty sposób z denicji wariancji oraz z faktu,»e w pierwszym przypadku dodanie staªej warto±ci C do zmiennej x powoduje do-danie tej samej warto±ci C do warto±ci oczekiwanej E(x) (a wiec ró»nica x−E(x)nie zmienia sie) a w drugim przypadku pomno»enie zmiennej x przez staªy czyn-nik C powoduje pomno»enie warto±ci oczekiwanej x przez ten czynnik a operacjapodnoszenia do kwadratu, wystepujaca w denicji wariancji, powoduje pojawieniesie czynnika C2. Trzecia wªasno±¢ ªatwo otrzyma¢ rozpisujac jawnie kwadrat ró»-nicy wystepujacy w denicji wariancji a nastepnie dziaªajac operatorem warto±cioczekiwanej na poszczególne wyrazy.

DEFINICJA:Odchylenie standardowe σ(x) z denicji jest pierwiastkiem arytmetycznym (liczbanieujemna) z wariancji.

Wariancja lub/i odchylenie standardowe u»ywane sa jako miary rozrzutuwarto±ci zmiennej losowej x dookoªa jej warto±ci oczekiwanej co mo»nawywnioskowa¢ z nierówno±ci Czebyszewa:

Nierówno±¢ Czebyszewa gªosi, »e dla ka»dej zmiennej losowej, która posiada skon-czona wariancje (a wiec i warto±¢ oczekiwana) zachodzi zwiazek (∀ k > 0):

P (|x− E(x)| ≥ k · σ(x)) ≤1

k2. (8)

Skoro warto±¢ oczekiwana i odchylenie standardowe zmiennej x maja interpretacjecentrum rozkªadu i naturalnej jednostki zmiennej x to jest oczywiste, »e dla celówpraktycznych wygodnie jest wprowadzi¢ tzw. zmienna standaryzowana, którazdeniowana jest jako:


z ≡x− E(x)

σ(x)(9)

Jak ªatwo sprawdzi¢ warto±¢ oczekiwana zmiennej standaryzowanej równa jest zero:E(z) = 0 a odchylenie standardowe równe jest jedno±ci: σ(z) = 1. Zgodnie ztwierdzeniem Czebyszewa warto±ci zmiennej standaryzowanej gromadzasie dookoªa warto±ci zerowej na odcinku równym kilku jednostkom .

8. Kwantyle (albo fraktyle) to nastepne wa»ne i wygodne wielko±ci charakteryzujacerozkªad prawdopodobie«stwa (funkcje gesto±ci prawdopodobie«stwa).

DEFINICJA:Kwantylem na poziomie q nazywamy taka warto±¢ zmiennej losowej xq, dla którejspeªniona jest relacja:

p(X < xq) = q (10)

Korzystajac z denicji dystrybuanty F (x) mo»emy ten zwiazek zapisa¢ nastepujaco:

F (xq) = q.

Kwantyle u»ywane sa bardzo czesto przy testowaniu hipotez statystycznych atak»e przy estymacji przedziaªowej.

DEFINICJA:Specycznymi kwantylami sa decyle, tj. kwantyle na poziomie 0,1, 0,2, 0,3 ... orazpercentyle, tj. kwantyle na poziomie 0,01, 0,02, ...

DEFINICJA:U»ywa sie równie» specjalnej nazwy na okre±lenie kwantyla x0.5 (mediana) oraz naokre±lenie kwantyli x0.25 i x0.75 (dolny kwartyl i górny kwartyl).

Mediana sªu»y do okre±lania gdzie grupuja sie warto±ci zmiennej (poªowa warto-±ci zmiennej jest mniejsza od mediany a poªowa wieksza) a wiec mediana mo»eby¢ zastosowana w tym samym celu co warto±¢ oczekiwana . U»ywa sie jejszczególnie wtedy gdy pojawiaja sie warto±ci zmiennej losowej silnie odró»niajace

SMOP-2 B.Kamys: 2016/17 10

sie od pozostaªych (nawet gdy pojawiaja sie one rzadko maja zwykle silny wpªywna warto±¢ oczekiwana a znacznie mniejszy na mediane). Dotyczy to przede wszyst-kim zmiennych dyskretnych oraz, co jest bardzo wa»ne, oszacowa« (estymatorów)warto±ci oczekiwanej i mediany na podstawie niewielkiej próby.

Kwartyle u»ywane sa dla scharakteryzowania rozrzutu warto±ci badanej zmiennejlosowej (podobnie jak odchylenie standardowe) bo ich ró»nica daje pojecie o zakresiezmienno±ci rozwa»anej zmiennej.

SMOP-2 B.Kamys: 2016/17 11

2 WIELOWYMIAROWE ZMIENNE LOSOWE

Wielowymiarowa zmienna losowa deniowana jest analogicznie jak jednowymiarowa(skalarna), tzn. mo»na ja traktowa¢ jako wektor, którego skªadowe sa jednowymiarowymizmiennymi losowymi.

DEFINICJA:Dystrybuanta :

F (x1, .., xN) = P (X1 < x1, ..., XN < xN) (11)

DEFINICJA:Funkcja gesto±ci prawdopodobie«stwa:

f(x1, ..., xN).dx1...dxN = P (x1 ≤ X1 < x1 + dx1, ..., xN ≤ XN < xN + dxN) (12)

Oprócz funkcji gesto±ci prawdopodobie«stwa dla caªego wektora losowego (X1, .., XN )mo»na zdeniowa¢ jeszcze :

• Rozkªad brzegowy gesto±ci prawdopodobie«stwa i

• Rozkªad warunkowy gesto±ci prawdopodobie«stwa.

DEFINICJA:Brzegowy rozkªad gesto±ci prawdopodobie«stwazmiennej Xi ( i tej skªadowej wektora losowego) to wynik wycaªkowania funkcji gesto±ciprawdopodobie«stwa dla caªej wielowymiarowej zmiennej po wszystkich skªadowych zwyjatkiem Xi:

fb(Xi) =

∫dx1..dxi−1.dxi+1...dxN .f(x1, ..., xN)

(13)

Oczywi±cie mo»na stworzy¢ rozkªady brzegowe dla dwuwymiarowych zmiennych (je»eliN > 2) caªkujac po wszystkich zmiennych z wyjatkiem tych dwu wybranych,rozkªad

SMOP-2 B.Kamys: 2016/17 12

brzegowy dla trzywymiarowych (je»eli N > 3) caªkujac po wszystkich z wyjatkiem tychtrzech zmiennych, itd.

Rozkªad warunkowy fw zmiennych (X1, .., Xi) pod warunkiem, »e zmienne (Xi+1, .., XN )przyjmuja warto±¢ w niesko«czenie maªym przedziale (xi+1 ≤ Xi+1 < xi+1, .., xN ≤XN < xN) deniowany jest nastepujaco:

fw(x1, .., xi|xi+1 , .., xN) =f(x1, .., xN)

fb(xi+1, .., xN)(14)

Rozkªad ten nie jest okre±lony, gdy rozkªad brzegowy wystepujacy w mianowniku zerujesie. Wska¹niki w i b zostaªy u»yte w tym wzorze aby podkre±li¢, »e posta¢ funkcyjnatych rozkªadów jest w ogólno±ci inna ni» rozkªadu f(x1, .., xN).

Rozkªad warunkowy mo»na tworzy¢ dla ró»nych zespoªów skªadowych wektora loso-wego, np. mogliby±my zdeniowa¢ rozkªad warunkowy pojedynczej zmiennej XN podwarunkiem, »e pozostaªe zmienne przyjmuja okre±lone warto±ci.

Rozkªad prawdopodobie«stwa wielowymiarowej dyskretnej zmiennej losowej jestoczywistym uogólnieniem rozkªadu jednowymiarowego, a brzegowy rozkªad prawdo-podobie«stwa i warunkowy rozkªad prawdopodobie«stwa tworzy sie tak jak ichodpowiedniki dla zmiennej ciagªej zastepujac caªkowanie sumowaniem po warto±ciach od-powiednich skªadowych.

Warto równie» pamieta¢, »e mo»na tworzy¢ brzegowa dystrybuante i warunkowadystrybuante (zarówno dla zmiennej ciagªej jak i skokowej).

Niezale»ne zmienne losowe to takie, »e rozkªad warunkowy zmiennej (mo»e to by¢wielowymiarowa zmienna) pod warunkiem, »e druga zmienna przyjmuje konkretne warto-±ci (ta zmienna te» mo»e by¢ wielowymiarowa) równy jest rozkªadowi brzegowemu pierw-szej zmiennej:

fw(~x1|~x2) = fb(~x1) (15)

Warunkiem koniecznym i wystarczajacym niezale»no±ci zmiennych losowychjest aby ich wspólna funkcja gesto±ci prawdopodobie«stwa (dla zmiennej ciagªej) lub ichwspólny rozkªad prawdopodobie«stwa (dla zmiennej dyskretnej) faktoryzowaªy sie tzn.

f(x1, ...xN) = f1(x1).f2(x2)....fN(xN) (16)

SMOP-2 B.Kamys: 2016/17 13

UWAGA:Zale»no±¢ statystyczna zmiennych jest sªabsza ni» zwiazek funkcyjny bo oznacza tylko,»e rozkªad prawdopodobie«stwa a nie warto±¢ jednej ze zmiennych zale»y od warto±cidrugiej zmiennej. Co wiecej, zale»no±¢ statystyczna nie oznacza zwiazku przyczynowego.Najlepiej wida¢ to z faktu, »e gdy zmienna x nie zale»y statystycznie od y to au-tomatycznie y nie zale»y statystycznie od x a tak wcale nie musi by¢ przy zwiazkuprzyczynowym, np. z faktu, »e wiek czªowieka nie zale»y przyczynowo od wzrostu niewynika, »e wzrost nie zale»y przyczynowo od wieku.

PRZYKADdla 2-wymiarowej zmiennej losowej:

Wspólna funkcja gesto±ci prawdopodobie«stwa X1 i X2 jest staªa (wynosi 1/2) w kwa-dracie o wierzchoªkach (-1,0),(0,1),(1,0) i (0,-1) a zeruje sie poza kwadratem.

Rozkªad brzegowy X1:

fb(X1) =

0 dla X1 ≤ −1X1 + 1 dla −1 ≤ X1 ≤ 0−X1 + 1 dla 0 ≤ X1 ≤ +10 dla X1 ≥ +1

Jest to rozkªad trójkatny zwany rozkªadem Simpsona . Mo»na wyobrazi¢ sobiepogladowo, »e w powy»szym przykªadzie liczenie rozkªadu brzegowego jest równowa»nezsypywaniu punktów jednorodnego rozkªadu w kwadracie na o±X1 co powoduje, »e roz-kªad brzegowy ma ksztaªt trójkata (w kwadracie zmiennych X1, X2 najwiecej punktówma wspóªrzedna X1 bliska zeru a ilo±¢ punktów z wiekszymi lub mniejszymi warto±ciamitej wspóªrzednej maleje liniowo.

Rozkªad warunkowy X1 pod warunkiem X2.

fw(X1|X2 ) =12

fb(X2)

Wzór ten wa»ny jest dla nastepujacego przedziaªu zmiennej X1:

−X2 − 1 ≤ X1 ≤ +X2 + 1 gdy − 1 ≤ X2 ≤ 0+X2 − 1 ≤ X1 ≤ −X2 + 1 gdy 0 ≤ X2 ≤ +1

Jak wida¢ rozkªad warunkowy X1 jest rozkªadem równomiernym w przedziale, któregodªugo±¢ zale»y od warto±ci X2, co oznacza, »e zmienne sa zale»ne . Mo»emy to uja¢inaczej: Poniewa» fw(X1|X2 ) 6= fb(X1) to zmienne X1 i X2 sa zale»ne ! .

Wyznaczanie rozkªadu warunkowego fw(X1|X2 ) mo»na sobie wyobrazi¢ jako ogladanie(patrzac wzdªu» osiX2) przekroju prostopadªo±cianu wykonanego wzdªu» linii równolegªejdo osiX1 i przechodzacej przez punkt o okre±lonej warto±ciX2. Przekrój ten to prostokat,którego jeden bok - przedziaª zmienno±ci X1 - zale»y od X2 a poniewa» ze wzgledu na

SMOP-2 B.Kamys: 2016/17 14

normalizacje pole tego przekroju musi by¢ równe jedno±ci to i drugi bok prostokata -warto±¢ warunkowej funkcji gesto±ci prawdopodobie«stwa fw(X1|X2 ) = 1/(2 ·fb(X2))musi zale»e¢ od X2.

Wychodzac z takiej interpretacji rozkªadu warunkowego wida¢, »e gdyby kwadrat, w któ-rym staªa funkcja gesto±ci prawdopodobie«stwa zmiennych (X1, X2) jest ró»na od zera,miaª boki równolegªe do osi X1 i X2 to rozkªad warunkowy jednej ze zmiennych nie za-le»aªby od warto±ci drugiej zmiennej a wiec zmienne byªyby niezale»ne statystycznie.

SMOP-2 B.Kamys: 2016/17 15

2.1 ROZKAD PRAWDOPODOBIESTWA FUNKCJIWIELOWYMIAROWEJ ZMIENNEJ LOSOWEJ

Bardzo czesto interesuje nas rozkªad zmiennej losowej, która jest funkcja wielowy-miarowej zmiennej losowej, np. rozkªad sumy Z=X1+X2, iloczynu Z=X1· X2, itd. Wszczególno±ci mo»emy by¢ zainteresowani rozkªadem wielowymiarowej zmiennej losowej,która jest funkcja innej wielowymiarowej zmiennej losowej. Poni»ej podany jest wzór,który stanowi uogólnienie wzoru na rozkªad skalarnej funkcji skalarnego losowego argu-mentu:

g(Y ) = f(X(Y ))

∣∣∣∣dX(Y )

dY

∣∣∣∣Wzór ten stosowaª sie dla monotonicznej funkcji g(Y ) - w przypadku niemonotonicz-nej funkcji nale»y rozpatrywa¢ oddzielnie odcinki warto±ci argumentu, gdzie funkcja jestmonotoniczna. Analogiem dla wektorowej funkcji wektorowego argumentu losowego (obawektory o tym samym wymiarze) jest:

g(~Y ) = f( ~X(~Y ))

∥∥∥∥∥∂Xi(~Y )

∂Yj

∥∥∥∥∥ (17)

Jak wida¢ oba wzory sa bardzo podobne, z tym »e moduª pochodnej zostaª zastapionymoduªem jakobianu. Wzór ten podobnie jak jego skalarny analog stosuje sie dla monoto-nicznych relacji pomiedzy zmiennymi.

Je»eli znamy rozkªad wektorowej zmiennej losowej ~X to mo»emy otrzyma¢ rozkªad ska-larnej zmiennej Y = y( ~X) wykonujac nastepujace dziaªania:

• Tworzymy nowa wektorowa zmienna losowa ~Y o takim samym wymiarze jak ~X przyczym jedna ze skªadowych wektora ~Y jest interesujaca nas skalarna zmienna Y apozostaªe skªadowe sa dowolne. Warunkiem na nie nakªadanym jest tylko istnieniejakobianu ∂Xi

∂Yj.

• Caªkujemy po pomocniczych zmiennych traktujac interesujaca nas skalarna zmiennajako staªa (bedzie to oczywi±cie caªka po krzywej Y=const w przestrzeni zmien-nych ~Y ). Ten rozkªad brzegowy wielowymiarowego rozkªadu zmiennej ~Y jest szu-kanym rozkªadem skalarnej zmiennej Y.

Oczywi±cie, taka sama procedure mo»na zastosowa¢, gdy szukamy rozkªadu zmiennejwektorowej ~Y ′, o wymiarze mniejszym ni» wymiar ~Y .

SMOP-2 B.Kamys: 2016/17 16

Dla prostych funkcji takich jak suma, ró»nica, iloczyn i iloraz dwu zmiennych z = x+ y, z = y − x, z = x · y i z = y/x mo»na poda¢ ogólne wzory:

g(z ≡ x+ y) =

+∞∫−∞

f(x, z − x)dx =

+∞∫−∞

f(z − y, y)dy (18)

g(z ≡ y − x) =

+∞∫−∞

f(x, z + x)dx =

+∞∫−∞

f(y − z, y)dy (19)

g(z ≡ x · y) =

+∞∫−∞

1

|x|f(x,

z

x)dx =

+∞∫−∞

1

|y|f(z

y, y)dy (20)

g(z ≡ y/x) =

+∞∫−∞

|x| f(x, zx)dx =

+∞∫−∞

|y|z2f(y

z, y)dy (21)

Szczególnie prosto wygladaja te wzory, gdy x i y sa niezale»ne - wówczas funkcja f(x, y)wystepujaca pod caªka wyra»a sie przez iloczyn dwu funkcji f1(x) i f2(y). Wartopamieta¢ o obu wersjach ka»dego wzoru, gdy» mo»e sie zdarzy¢, »e niektóre tylko caªkidaja sie ªatwo policzy¢.

W praktyce do±wiadczalnej rzadko mamy do czynienia z taka sytuacja, »e potramywyznaczy¢ dystrybuante wielowymiarowej zmiennej czy te» funkcje gesto±ci prawdopodo-bie«stwa (dla zmiennej ciagªej) lub rozkªad prawdopodobie«stwa (dla zmiennej dyskret-nej). Dlatego musimy sie zadowala¢ mniej peªnymi informacjami zawartymi w momen-tach rozkªadu. Dla zmiennych wielowymiarowych deniowane s¡ nowe typy momentów,które nie tylko informuj¡ o ksztaªcie i poªo»eniu rozkªadu ale s¡ szczególnie istotne dlabadania zale»no±ci statystycznej pomi¦dzy zmiennymi losowymi. Do tego celu najlepiejnadaja sie nastepujace wielko±ci: macierz kowariancji oraz krzywe regresji zdeniowaneponi»ej.

SMOP-2 B.Kamys: 2016/17 17

2.2 MOMENTY ROZKADU WIELOWYMIAROWEJZMIENNEJ LOSOWEJ

Momentem wielowymiarowej zmiennej losowejX (X1,...,XN) rzedu k1+...+kN wzgledempunktu X0 (X01,...,X0N) nazywamy wielko±¢ zdeniowana wzorem:

mk1+...+kN (X01, ..., X0N) =

∫dX1...dXN .f(X1, ..., XN).(X1−X01)k1...(XN−X0N)kN

(22)

Ten wzór jest sªuszny dla zmiennej ciagªej a dla dyskretnej trzeba caªke zamieni¢ na sumei funkcje gesto±ci prawdopodobie«stwa na rozkªad prawdopodobie«stwa.

Najwa»niejsze momenty dla celów analizy statystycznej danych to:

Warto±¢ oczekiwana czyli pierwszy moment wzgledem poczatku ukªadu wspóªrzednych:

E ~X = (m10...0(0, .., 0), ...,m0...01(0, ..., 0))

jest to wektor o skªadowych równych warto±ciom oczekiwanym poszczególnych zmiennych

E ~X = (EX1, EX2, ...EXN) (23)

Wariancja czyli drugi moment wzgledem warto±ci oczekiwanej:

varX1 = m20...0 (EX1, ..., EXN).............

varXN = m00...2 (EX1, ..., EXN)(24)

Kowariancja czyli drugi moment mieszany wzgledem warto±ci oczekiwanej:

covX1, X2 = m1100..0(EX1, .., EXN),covX1, X3 = m1010..0(EX1, .., EXN),

.....(25)

SMOP-2 B.Kamys: 2016/17 18

Poniewa» wariancje mo»na uwa»a¢ za kowariancje policzona dla dwukrotnie powtórzonejzmiennej varXi = covXi,Xi to wygodnie jest zgromadzi¢ wariancje i kowariancje wjeden zespóª wielko±ci zwany macierza kowariancji.

• Na gªównej przekatnej macierzy kowariancji znajduja sie wariancje a poza przekatnakowariancje.

• Macierz kowariancji jest: rzeczywista, symetryczna i dodatnio okre±lona .Mo»na ja wiec zawsze zdiagonalizowa¢ przez liniowa transformacje zmiennych po-zostawiajac jedynie wariancje na diagonali.

Czesto zamiast macierzy kowariancji tworzy sie macierz korelacji.

Macierz ta skªada sie ze wspóªczynników korelacji ρ(Xi,Xj) zdeniowanych nastepujaco:

ρ(Xi, Xj) =covXi, Xj√

varXi.varXj(26)

Oczywi±cie diagonalne elementy macierzy korelacji to jedynki a pozadiagonalne to odpo-wiednie wspóªczynniki korelacji.

Wªasno±ci wspóªczynnika korelacji

© Wspóªczynnik korelacji przyjmuje warto±ci z przedziaªu [-1,+1]

© Je»eli zmienne sa niezale»ne to wspóªczynnik korelacji jest równy zero.

© Gdy wspóªczynnik korelacji równy jest zero (mówimy wtedy, »e zmienne sanieskorelowane) to zmienne sa niezale»ne liniowo ale moga by¢ zale»ne i to nawetfunkcyjnie.

© Je»eli zmienne X i Y sa zwiazane funkcyjnym zwiazkiem liniowym ; Y=aX+b to wspóªczynnik korelacji jest równy jedno±ci co do moduªu a jego znak jest takisam jak znak wspóªczynnika kierunkowego prostej.

© Je»eli moduª wspóªczynnika korelacji jest równy jedno±ci to X i Y zwiazanesa funkcyjnym zwiazkiem liniowym Y= aX+b a znak wspóªczynnika kierunkowego prostejjest taki sam jak znak wspóªczynnika korelacji.

Badanie wspóªczynników korelacji daje nam pewna informacje o zale»no±ci liniowejzmiennych gdy warto±¢ wspóªczynnika korelacji jest co do moduªu bliska jedno±ci. Zni-kanie wspóªczynnika korelacji mówi nam jedynie, »e zmienne sa niezale»ne liniowo ale nie

SMOP-2 B.Kamys: 2016/17 19

pozwala jednoznacznie stwierdzi¢ czy zmienne sa statystycznie niezale»ne.

Inny rodzaj informacji o spodziewanym zwiazku pomiedzy zmiennymi (niekonieczniezwiazku liniowym) mo»na otrzyma¢ badajac jak zachowuje sie warto±¢ oczekiwana jed-nej zmiennej gdy potraktujemy ja jako funkcje warto±ci drugiej zmiennej. Taka funkcjenazywamy funkcja regresji a denicje podajemy poni»ej:

DEFINICJA:Regresja (lub regresja pierwszego rodzaju ) zmiennej Y wzgledem X nazywamy wa-runkowa warto±¢ oczekiwana EY |X traktowana jako funkcja zmiennejX. Oczywi±ciewarunkowa warto±¢ oczekiwana EX|Y nazywamy regresja pierwszego rodzaju zmien-nej X wzgledem Y .

Podstawowa wªasno±¢ funkcji regresji EY |X polega na tym, »e warto±¢ oczekiwanakwadratu odchyle« zmiennej losowej Y od dowolnej funkcji u(X) jest minimalna, gdyjako te funkcje przyjmiemy funkcje regresji EY |X:

E(Y − u(X))2

≥ E

(Y − EY |X)2

(27)

Dowód:

E(Y − u(X))2 =

∫dX · dY · f(X,Y ) · (Y − u(X))2

=∫dX · f1(X)

∫dY · f2(Y |X) · (Y − u(X))2

Wewnetrzna caªka I jest warto±cia oczekiwana kwadratu odchylenia zmiennej Y od pew-nej staªej (u(X) jest staªa je»eli idzie o caªkowanie wzgledem zmiennej Y ). Mo»emy wieczapisa¢ te caªke nastepujaco (oznaczamy u(X) ≡ c):

I ≡∫dY · f2(Y |X) · (Y − u(X))2 =

= E(Y − c)2 =

= E(Y − EY + EY − c)2 =

= E(Y − EY )2 + 2(Y − EY )(EY − c) + (EY − c)2 =

= E(Y − EY )2+ 2E(Y − EY )(EY − c)+ E(EY − c)2 =

= E(Y − EY )2 + 0 + E(EY − c)2.

Drugi wyraz zniknaª bo EY − EY ≡ 0 a pozostaªa suma warto±ci oczekiwanychz kwadratów (Y − EY )2 i (EY − c)2 bedzie miaªa minimum gdy EY ≡ c.

SMOP-2 B.Kamys: 2016/17 20

Poniewa» we wzorach powy»ej c ≡ u(x) oraz EY ≡ EY |X to wida¢, »e minimumosi¡gane jest dla u(x) = EY |X. c.b.d.o.

UWAGI:

• Metoda estymacji parametrów oparta na omówionej powy»ej wªasno±ci funkcji re-gresji nazywana jest metoda najmniejszych kwadratów.

• Funkcja regresji zmiennej Y wzgl¦dem X (EY |X) zwykle nie pokrywa si¦ zfunkcj¡ regresji zmiennej X wzgl¦dem Y (EX|Y ) co jest spowodowane tym,»e pierwsza z nich minimalizuje sum¦ kwadratów odchyle« wzdªu» osi Y a drugawzdªu» osi X. Krzywe reprezentuj¡ce obie regresje pokrywaj¡ si¦ tylko wtedy, gdyzale»no±¢ pomi¦dzy Y i X jest zale»no±ci¡ funkcyjn¡ a nie statystyczn¡.

Regresja liniowa zwana równie» regresja drugiego rodzaju to linia prosta przybli»ajacazale»no±¢ regresji EY |X od X, przy czym parametry tej prostej dobiera sie tak abybyªa speªniona podstawowa wªasno±¢ regresji tzn. aby warto±¢ oczekiwana sumy kwadra-tów odchyle« warto±ci Y od linii prostej byªa minimalna.

W szczególnym przypadku dwuwymiarowego rozkªadu normalnego funkcja regresjiEY |X jest linia prosta a wiec funkcja regresji drugiego rodzaju jest równie» funkcjaregresji pierwszego rodzaju.

Regresja krzywoliniowa to funkcja nieliniowa argumentuX przybli»ajaca regresjeEY |Xprzy czym parametry funkcji dobierane sa metoda najmniejszych kwadratów. W tymprzypadku nale»y rozró»ni¢ dwie sytuacje:

• Parametry wchodza liniowo do funkcji , np. przybli»enie EY |X przez sze-reg wielomianów lub innych funkcji tworzacych ukªad zupeªny. Odpowiada to tzw.liniowej metodzie najmniejszych kwadratów i pozwala znale¹¢ warto±ci paramet-rów jako rozwiazania ukªadu równa« liniowych przy czym dla unikniecia niestabil-no±ci numerycznych zalecane jest stosowanie funkcji, które sa ortogonalne na danymodcinku lub na zbiorze warto±ci zmiennej X. W szczególno±ci mo»na posªu»y¢ siewielomianami ortonormalnymi na zbiorze warto±ci zmiennej X.

• Parametry wchodza nieliniowo do formuª . Wtedy optymalne warto±ci para-metrów sa rozwiazaniami ukªadu równa« nieliniowych, które rozwiazuje sie ró»nymisposobami. Jedna z popularnych metod jest szukanie rozwiaza« iteracyjnie znaj-dujac w kolejnych iteracjach poprawki do startowych parametrów w sposób analo-giczny jak dla liniowego przypadku metody najmniejszych kwadratów. Osiaga sieto rozwijajac nieliniowa formuªe w szereg Taylora dokoªa startowych warto±ci pa-rametrów i obcina sie szereg na wyrazach liniowych. Dla zapewnienia zbie»no±ciprocedury iteracyjnej uzupeªnia sie te metode o szereg pragmatycznych reguª przy-±pieszajacych zbie»no±¢ i okre±lajacych kiedy nale»y przerwa¢ poszukiwanie warto±ciparametrów.

SMOP-2 B.Kamys: 2016/17 21

2.3 Przybli»one wzory na momenty funkcji wielowymiarowej zmien-nej

Cz¦sto zachodzi potrzeba oszacowania warto±ci oczekiwanej i wariancji wektorowej funkcji~Y od wektorowego argumentu ~X gdy znamy dokªadnie warto±¢ oczekiwan¡ E( ~X) orazmacierz kowariancji C( ~X).

Dla oszacowania warto±ci oczekiwanej funkcji wielu zmiennych losowych stosujesie standardowo poni»sze przybli»enie:

E(~y) ≈ ~y(E(x1), E(x2), ..E(xN)) (28)

gdzie x1, x2, ..., xN to skªadowe wektora ~X.

Dla oszacowania macierzy kowariancji zmiennej ~Y stosuje si¦ wzór:

cov(yk, yq) ≈∑

i,j

(∂yk

∂xi

)~x=E(~x)

(∂yq

∂xj

)~x=E(~x)

cov(xi, xj). (29)

Powy»szy wzór nazywa si¦ cz¦sto propagacj¡ bª¦dów.

W zapisie macierzowym wzór ten wygl¡da bardzo prosto:

C(~y) ≈ TC(~x)T T (30)

gdzie

Cij(~x) = covxi, xjCij(~y) = covyi, yj

Tij =

(∂yi

∂xj

)~x=E(~x)

Oba wzory s¡ ±cisªe tylko dla liniowego zwi¡zku pomi¦dzy wektorami ~X i ~Y .Powstaªy one przez rozwini¦cie funkcji ~Y ( ~X) w szereg Taylora dokoªa warto±ci oczeki-wanej wektora ~X i obci¦ciu szeregu do wyrazów liniowych.

SMOP-2 B.Kamys: 2016/17 22

Wyprowadzenie :

• Rozwijamy w szereg Taylora skªadowe wektora ~Y dokoªa wektora E~x obcinajacrozwiniecie na wyrazach liniowych

yi ≈ yi(E~x) +∑

j

(∂yi

∂xj

)~x=E(~x)

· (xj − Exj).

• Poniewa» warto±¢ oczekiwana z ró»nicy ~x−E~x to»samo±ciowo znika wiec warto±¢oczekiwana wektora ~y równa jest y(E~x), tzn. dostajemy podany wy»ej wzór nawarto±¢ oczekiwana

E(~y) ≈ y(E~x).

• Z tego równie» wynika, »e

yi − yi(E~x) ≈∑

j

(∂yi

∂xj

)~x=E(~x)

· (xj − Exj)

a wiec kowariancja yk i yq , która jest warto±cia oczekiwana

cov(yk, yq) ≡ E [(yk − Eyk) · (yq − Eyq)]

liczona jest jako warto±¢ oczekiwana iloczynu analogicznych sum zawierajacych po-chodne i wyra»enia (xj − Exj) co po prostym przeliczeniu daje szukany wzór:

cov(yk, yq) ≈∑

i,j

(∂yk

∂xi

)~x=E(~x)

(∂yq

∂xj

)~x=E(~x)

cov(xi, xj).

UWAGA: Ostatnio coraz bardziej popularna staje si¦ estymacja momentów wektoro-wej funkcji wektorowego losowego argumentu na podstawie próby skªadaj¡cej si¦ ze zbioruwarto±ci funkcji otrzymanych ze zbioru warto±ci argumentów wygenerowanego metod¡Monte Carlo zgodnie z zaªo»onym rozkªadem prawdopodobie«stwa (zwykle wielowymia-rowym rozkªadem Gaussa).

SMOP-2 B.Kamys: 2016/17 23

3 ROZKAD NORMALNY (Gaussa)

DEFINICJA:Ciagªa zmienna losowa X, której funkcja gesto±ci prawdopodobie«stwa ma posta¢:

f(X) =1

√2π B

exp

[−(X −A)2

2B2

](31)

nazywa sie zmienna o rozkªadzie normalnym N(A,B).

WASNOCI:

E(X) = A (32)

σ(X) = B (33)

m3(E(X)) = 0 (34)

m4(E(X)) = 3 · σ4(X) (35)

UWAGA:

• Rozkªad normalny jest caªkowicie okre±lony przez parametryA iB a wiec caªkowicieokre±lony przez warto±¢ oczekiwana E(X) i odchylenie standardowe σ(X).

• Znikanie trzeciego momentu centralnego jest oczywi±cie równowa»ne znikaniuwspóª-czynnika asymetrii:

γ1 ≡ m3(E(X))/σ3(X) (36)

i oznacza, »e rozkªad jest symetryczny dookoªa E(X).

• Wprowadza sie dla porównania rozkªadu danej zmiennej z rozkªadem normalnym,tzw. wspóªczynnik przewy»szenia zwany tak»e kurtoza lub wspóªczynnikiemekscesu:

γ2 ≡ m4(E(X))/σ4(X)− 3 (37)

Dla rozkªadu normalnego ten wspóªczynnik zeruje sie.

SMOP-2 B.Kamys: 2016/17 24

Dystrybuanta rozkªadu normalnego nie wyra»a sie przez funkcje elementarne.

Warto zapamieta¢ nastepujace nierówno±ci, speªniane przez zmienna X o rozkªadzie nor-malnym:

P (E(X)− σ(X) ≤ X < E(X) + σ(X)) = 0.6827

P (E(X)− 2σ(X) ≤ X < E(X) + 2σ(X)) = 0.9545

P (E(X)− 3σ(X) ≤ X < E(X) + 3σ(X)) = 0.9973

W biologii i naukach z nia zwiazanych czesto u»ywa sie dla warto±ci zmiennej le»acych

w pierwszym z trzech powy»szych przedziaªów okre±lenia: warto±ci charakterystyczne.

Dla tych, które nale»a do drugiego przedziaªu okre±lenia warto±ci typowe a dla tych, które

nale»a do trzeciego przedziaªu ale nie nale»a do przedziaªu drugiego - warto±ci nietypowe.

Dla warto±ci zmiennej bardziej odchylajacych sie od warto±ci oczekiwanej ni» trzy odchylenia

standardowe rezerwuje sie nazwe warto±ci wyjatkowe.

UWAGA:Dowolna zmienna Y o rozkªadzie normalnym mo»na standaryzowa¢ tworzac wielko±¢ Zo rozkªadzie standardowym normalnym N(0, 1):

Z = (Y − E(Y ))/σ(Y )

Standaryzacja jest wa»na ze wzgledu na mo»liwo±¢ tablicowania zarówno funkcji gesto±ciprawdopodobie«stwa, jak i dystrybuanty rozkªaduN(0, 1) a potem wykorzystania faktu,»e majac zmienna X o rozkªadzie N(0, 1) mo»emy stworzy¢ zmienna Y o rozkªadzieN(A,B) przez prosta transformacje: Y = B ·X +A .

TWIERDZENIE:Centralne Twierdzenie Graniczne w wersji podanej przez Lapunowa:

Niech X1, X2, ...Xn bedzie ciagiem niezale»nych zmiennych losowych których roz-kªady posiadaja:

• warto±¢ oczekiwana E(Xk),

• wariancje var(Xk),

SMOP-2 B.Kamys: 2016/17 25

• trzeci moment centralny µ3(Xk), oraz

• absolutny trzeci moment centralny tj.

bk ≡ E(| Xk − E(Xk) |3) dla k = 1, ..., n.

Wówczas ciag dystrybuant standaryzowanych zmiennych losowych zdeniowanychnastepujaco:

Z =n∑k=1

Xk − E(Xk)√∑ni=1 var(Xi)

speªnia zale»no±¢:

limn→∞

Fn(Z) =1√

2π

∫ Z

−∞dt · exp(−

t2

2)

je»eli jest speªniony warunek:

limn→∞

3√∑n

k=1 bk2√∑n

k=1 var(Xk)= 0

Centralne Twierdzenie Graniczne (Intuicyjne sformuªowanie)

Zmienna Z bedaca standaryzowana suma niezale»nych zmiennych losowych bedzie miaªastandardowy rozkªad normalny gdy liczba skªadników w sumie da»y do niesko«czono±cioraz w sumie nie wystepuja zmienne o wariancjach dominujacych w stosunku do resztyskªadników.

Wªa±nie to twierdzenie powoduje, »e rozkªad normalny jest wyró»nionym rozkªadem -bardzo czesto stosowanym w statystyce.

SMOP-2 B.Kamys: 2016/17 26

3.1 WIELOWYMIAROWY ROZKAD NORMALNY

Jest to najwa»niejszy z rozkªadów w statystyce. Wektorowa zmienna losowa ~Y (Y1, ...YN)ma wielowymiarowy rozkªad normalny gdy jej funkcja gesto±ci prawdopodobie«stwa manastepujaca posta¢:

f(~Y ) =

√det(B)

(2π)Nexp

[−

1

2

(~Y − ~A

)TB(~Y − ~A

)](38)

gdzie wektor ~A to wektor warto±ci oczekiwanych (EY1, ..EYN) a macierz B tomacierz odwrotna do macierzy kowariancji skªadowych wektora ~Y .

Wªasno±ci:

• Wielowymiarowy rozkªad normalny jest caªkowicie okre±lony przez podanie wektorawarto±ci oczekiwanych (EY1, ..EYN) i macierzy kowariancji tych zmiennych

• Dowolny rozkªad brzegowy (rzut na podzespóª zmiennych Y1, ..YN) tego rozkªadujest rozkªadem normalnym

• Dowolny rozkªad warunkowy (przekrój wzdªu» podzespoªu zmiennych Y1, ..YN) jestrozkªadem normalnym

• Poziomice funkcji gesto±ci (linie o staªej warto±ci gesto±ci) speªniaja warunek:

(~Y − ~A

)TB(~Y − ~A

)= const

Wielko±¢ wystepujaca po lewej stronie równania to zmienna losowa o rozkªadziechi-kwadrat o N stopniach swobody.

Dwuwymiarowy rozkªad normalny jest najprostszym rozkªadem, który posiada wszyst-kie cechy wielowymiarowego rozkªadu a równocze±nie jest na tyle nieskomplikowany, »emo»na go sobie ªatwo wyobrazi¢. Poni»ej omówimy go jako przykªad wielowymiarowegorozkªadu normalnego.

SMOP-2 B.Kamys: 2016/17 27

3.2 DWUWYMIAROWY ROZKAD NORMALNY

Parametrami rozkªadu jest wektor ~A = (Ey1, Ey2) oraz macierz B bedaca od-wrotno±cia macierzy kowariancji.

Odwrotna macierz mo»e by¢ znaleziona przez policzenie wyznacznika wyj±ciowej ma-cierzy i podzielenia macierzy uzupeªnie« algebraicznych wyj±ciowej macierzy przez tenwyznacznik.

Ostatecznie dostajemy:

B =1

σ2(y1)σ2(y2)− cov(y1, y2)2

[σ2(y2) −cov(y2, y1)−cov(y1, y2) σ2(y1)

]Wtedy dwuwymiarowy rozkªad normalny ma nastepujaca posta¢:

f(y1, y2) = 1

2π·σ1·σ2

√1−%2

exp g(y1, y2)

g(y1, y2) = −12(1−%2)

[(y1−Ey1)2

σ21

− 2% (y1−Ey1)·(y2−Ey2)σ1σ2

+ (y2−Ey2)2σ22

] (39)

gdzie obok odchyle« standardowych σi oraz warto±ci oczekiwanych Eyi pojawiª siewspóªczynnik korelacji % ≡ %(y1, y2).

WASNOCI:

• Rozkªad jest caªkowicie okre±lony przez 5 parametrów: warto±ci oczekiwane E(y1),E(y2), odchylenia standardowe σ1, σ2 i wspóªczynnik korelacji %.

• Gdy wspóªczynnik korelacji znika to rozkªad sie zamienia na iloczyn dwu rozkªadówbrzegowych (jednowymiarowych rozkªadów normalnych). A wiec wida¢ tu unikalnaceche wielowymiarowego rozkªadu normalnego; zmienne które nie sa skorelo-wane (czyli sa niezale»ne liniowo) sa automatycznie niezale»ne .

• Poziomice funkcji gesto±ci prawdopodobie«stwa to elipsy, których póªosie równe saodchyleniom standardowym. Ustawienie osi elipsy w stosunku do osi wspóªrzednychy1 i y2 zale»y od warto±ci wspóªczynnika korelacji. Gdy wspóªczynnik korelacjiznika osie elipsy sa równolegªe do osi wspóªrzednych. Gdy wspóªczynnik korelacjijest dodatni to dªu»sza o± elipsy przechodzi przez pierwsza i trzecia ¢wiartke ukªaduwspóªrzednych a gdy jest ujemny to przechodzi przez druga i czwarta ¢wiartke.

SMOP-2 B.Kamys: 2016/17 28

Rozkªad brzegowy dwuwymiarowego rozkªadu normalnegoto jednowymiarowy rozkªad normalny:

fb(y1) =1

√2π.σ1

exp

−1

2σ21

[y1 − E(y1)]2

(40)

WASNOCI:

• Okre±lony caªkowicie przez E(y1) i σ1 .

• Funkcja ksztaªtu dzwonu symetryczna dokoªa E(y1), spadajaca bardzo szybko dozera dla warto±ci y1 oddalonych od warto±ci oczekiwanej.

Rozkªad warunkowy dwuwymiarowego rozkªadu normalnego:

fw(y1|y2) =1

√2π · σ1 ·

√1− %2

exp

−

1

2σ21(1− %2)

[y1 −

(E(y1) +

% · σ1

σ2

(y2 − E(y2))

]2(41)

WASNOCI:

• Rozkªad warunkowy dwuwymiarowego rozkªadu normalnego okre±lony jest przez tesame 5 parametrów co dwuwymiarowy rozkªad normalny.

• Gdy wspóªczynnik korelacji znika to rozkªad warunkowy przechodzi w rozkªad brze-gowy (jednowymiarowy rozkªad normalny) a wiec brak korelacji jest równowa»nyniezale»no±ci zmiennych - zgodnie z tym co obserwowali±my dla peªnego rozkªadu.

• Posta¢ rozkªadu jest identyczna jak dla rozkªadu brzegowego (jednowymiarowegorozkªadu Gaussa) ale parametry tego rozkªadu, tj. wariancja i warto±¢ oczekiwanawyra»aja sie nastepujaco:

SMOP-2 B.Kamys: 2016/17 29

Wariancja:

σ2(y1|y2) = σ21(1− %2) (42)

UWAGA: wariancja warunkowa σ2(y1|y2) → 0 gdy % → 1 a wi¦c wtedypunkty (y1, y2) le»¡ dokªadnie na prostej (y1 nie ma rozrzutu dla ustalonegoy2). Z kolei gdy %→ 0 to σ2(y1|y2)→ σ2

1 czyli rozrzut warto±ci y1 jest takisam dla ró»nych y2 bo y1 nie zale»y od y2.

Warunkowa warto±¢ oczekiwana zmiennej y1 pod warunkiem y2 czyliregresja pierwszego rodzaju y1 wzgledem y2 jest linia prosta czyli regresjadrugiego rodzaju.

E(y1|y2 ) = E(y1) +%.σ1

σ2

(y2 − E(y2)) (43)

Wspóªczynnikiem kierunkowym tej prostej jest wyra»enie

%.σ1

σ2

a wiec wida¢, »e zamiana wska¹ników zmiennych y1 i y2 nie powoduje, przechodzeniawspóªczynnika kierunkowego w swa odwrotno±¢ jak to powinno by¢ gdyby linia prostaregresji y1 wzgledem y2 pokrywaªa sie z linia prosta regresji y2 wzgledem y1.

Linie regresji E(y1|y2 ) oraz E(y2|y1 ) beda sie pokrywaªy tylko wtedy gdymoduª wspóªczynnika korelacji bedzie równy jedno±ci , czyli wtedy gdy bedzie ist-niaª funkcyjny zwiazek liniowy pomiedzy zmiennymi y1 i y2. Przy bliskich zera warto-±ciach wspóªczynnika korelacji linie te beda prawie prostopadªe do siebie.

SMOP-2 B.Kamys: 2016/17 30

4 ESTYMACJA PARAMETRÓW

W tym rozdziale zostan¡ omówione podstawowe poj¦cia estymacji parametrów.

DEFINICJA:Statystyka nazywamy zmienna losowa, która jest funkcja próby czyli sko«czonej liczbywyników do±wiadcze« (obserwacji) reprezentujacych wszystkie mo»liwe wyniki, którychzbiór nazywany jest populacja generalna. Je»eli rozkªad statystyki zale»y od warto±cipewnego parametru to warto±¢ statystyki mo»e sªu»y¢ do oszacowania tego parametrui statystyke taka nazywamy estymatorem tego parametru. Na przykªad ±rednia aryt-metyczna wzrostu kilku studentów jest statystyka, która mo»e by¢ u»yta do oszacowaniawarto±ci oczekiwanej wzrostu wszystkich studentów. A wiec ±rednia arytmetyczna jestestymatorem warto±ci oczekiwanej .

DEFINICJA:Oszacowanie warto±ci parametru przez warto±¢ estymatora nazywane jest estymacjapunktowa.

DEFINICJA:Od estymatora wymagamy przede wszystkim aby byª zgodny. Synonimem zgodno±ciestymatora jest stwierdzenie, »e estymator speªnia prawo wielkich liczb. Okre±leniate oznaczaja, »e wraz ze wzrostem rozmiarów próby prawdopodobie«stwo tego,»e estymator parametru a odchyla sie od prawdziwej warto±ci tego parametrumniej od dowolnego ε > 0, da»y do jedno±ci :

limn→∞

P (|Tn(a)− a| < ε) = 1

(44)

DEFINICJA:Jeszcze bardziej po»adana wªasno±cia jest aby estymator speªniaª silne prawo wielkichliczb czyli aby prawdopodobie«stwo tego, »e warto±¢ estymatora parametru da»ydo warto±ci szacowanego parametru wraz ze wzrostem rozmiarów próby, rów-naªo sie jedno±ci (a nie aby tylko da»yªo do jedno±ci).

P(

limn→∞

Tn(a) = a)

= 1 (45)

SMOP-2 B.Kamys: 2016/17 31

Bardzo po»adane jest aby estymator miaª powy»sza wªasno±¢ ale je»eli nie da sie tegoosiagna¢ to zadowalamy sie faktem zgodno±ci estymatora.

Warto zapamieta¢, »e dla dwu bardzo wa»nych wielko±ci, tj. dla prawdopodobie«-stwa zachodzenia jakiego± zdarzenia oraz dla warto±ci oczekiwanej zmiennejlosowej istnieja estymatory speªniajace silne prawo wielkich liczb:

TW. CANTELLIEGOF.P. Cantelli w 1917 roku (a E. Borel w 1909 r dla szczególnego przypadku P=1/2)udowodniª, »e czesto±¢ realizacji zdarzenia A w serii n niezale»nych do±wiadcze« jest es-tymatorem prawdopodobie«stwa zdarzenia A speªniajacym silne prawo wielkich liczb:

P

(limn→∞

(nA

n

)= P (A)

)= 1

(46)

W powy»szym wzorze nA oznacza liczbe realizacji zdarzenia A w ciagu n do±wiadcze«.

TW. KOMOGOROWAA.N. Koªmogorow udowodniª, »e ±rednia arytmetyczna ciagu niezale»nych pomiarów xijest estymatorem warto±ci oczekiwanej mierzonej wielko±ci x speªniajacym silne prawowielkich liczb.

P

(limn→∞

(1

n

n∑i=1

xi

)= E(x)

)= 1

(47)

DEFINICJA:Inna, po»adana cecha estymatora jest aby byª nieobcia»ony. Mówimy, »e estymatorparametru Θ posiada te ceche gdy

E Tn (Θ) = Θ (48)

niezale»nie od n, tj. od rozmiaru próby.

DEFINICJA:Obcia»eniem estymatora nazywana jest wielko±¢:

Bn ≡ E Tn (Θ) −Θ (49)

SMOP-2 B.Kamys: 2016/17 32

Oczywi±cie dla estymatora nieobcia»onego Bn ≡ 0.

DEFINICJA:Estymatorem asymptotycznie nieobcia»onym nazywany jest taki estymator obcia»ony,dla którego obcia»enie da»y do zera gdy rozmiary próby rosna nieograniczenie:

limn→∞

Bn ≡ limn→∞

[E Tn (Θ) −Θ] = 0 (50)

Poni»ej podane sa dwa po»yteczne twierdzenia, które mo»na wykorzysta¢ do zdecydo-wania, czy estymator jest estymatorem zgodnym.

TWIERDZENIE:Je»eli wariancja estymatora nieobcia»onego lub asymptotycznie nieobcia»onego da»y dozera gdy rozmiary próby rosna nieograniczenie to estymator jest zgodny.

TWIERDZENIE:Je»eli parametr η jest wymierna funkcja (ilorazem wielomianów) parametru Θ: η =η(Θ) oraz Tn(Θ) jest zgodnym estymatorem parametru Θ to Tn(η) ≡ η(Tn(Θ)) jestzgodnym estymatorem parametru η.

UWAGA:Istnieja specjalne metody tworzenia estymatorów, takie jak np. metoda momentów,metoda najwiekszej wiarygodno±ci czy metoda najmniejszych kwadratów, którychzastosowanie zapewnia uzyskanie zgodnych estymatorów.

SMOP-2 B.Kamys: 2016/17 33

5 ESTYMACJA PUNKTOWAE(x), σ2(x), σ(x) i %(x, y)

Przypomnijmy denicje estymacji punktowej podana we wstepie:

DEFINICJA:Oszacowanie warto±ci parametru przez warto±¢ estymatora nazywane jest estymacjapunktowa.

W tym rozdziale zakªadamy, »e mierzona wielko±¢ losowa rzadzona jest roz-kªadem normalnym. Na tej podstawie mo»na wyprowadzi¢ wnioski dotyczace roz-kªadów rozwa»anych estymatorów. Wiekszo±¢ wniosków (z wyjatkiem postaci rozkªaduestymatorów) przenosi sie równie» na estymatory warto±ci oczekiwanej i wariancji dlazmiennych losowych o rozkªadach ró»nych od normalnego.

5.1 ESTYMATOR E(x)

Jak to ju» omówiono we wstepie jako estymator warto±ci oczekiwanej Tn(E(x)) przyjmujesie ±rednia arytmetyczna niezale»nych pomiarów wielko±ci x (oznaczana przez x) :

Tn(E(x)) ≡ x =1

n

n∑i=1

xi (51)

Estymator ten posiada optymalne wªasno±ci:

• Koªmogorow pokazaª, »e X speªnia mocne prawo wielkich liczb a wiec oczywi±ciejest tak»e zgodny,

• Estymator X jest nieobcia»ony.

E(1

n

∑i

xi) =1

n

∑i

E(xi) =1

n(n.E(x)) = E(x)

c.b.d.o.

Tu wykorzystano fakt, »e wszystkie warto±ci oczekiwane sa równe E(xi) = E(x).

• Mo»na pokaza¢, »e x jest najbardziej efektywnym estymatorem E(x), tzn. posiadanajmniejsza wariancje spo±ród wszystkich mo»liwych estymatorów.

SMOP-2 B.Kamys: 2016/17 34

Dla zmiennej losowej x o rozkªadzie normalnym mo»na udowodni¢ poni»sze twierdze-nie:

TWIERDZENIE:Estymator x warto±ci oczekiwanej E(x) ma rozkªad normalny

f(x) = N

(E(x),

σ(x)√n

)gdzie n jest liczba pomiarów w próbie.

WNIOSKI:

• E(x) = E(x) tzn. Estymator x jest nieobcia»ony

• Odchylenie standardowe ±redniej arytmetycznej σ(x) jest√n - krotnie mniejsze

od odchylenia standardowego σ(x) pojedynczego pomiaru.

• Odchylenie standardowe σ(x) czyli bªad ±redni kwadratowy ±redniej arytmetycz-nej charakteryzuje dokªadno±¢ wyznaczenia prawdziwej warto±ci x w danymkonkretnym pomiarze skªadajacym sie z n niezale»nych do±wiadcze«.

x0 = x± σ(x)

• Aby charakteryzowa¢ dokªadno±¢ metody pomiarowej wówczas jako miare do-kªadno±ci podajemy bªad pojedynczego pomiaru tj. σ(x) .

5.2 ESTYMATOR WARIANCJI σ2(x)

Dwa powszechnie stosowane estymatory wariancji to S2(x) i s2(x):

S2 (x) ≡1

n− 1

n∑i=1

(xi − x)2 (52)

S2(x) to zgodny i nieobcia»ony estymator σ2(x). Jest to ªatwo pokaza¢ je»eli wiadomo(a mo»na to udowodni¢), »e zmienna Y zdeniowana poni»ej ma rozkªad chi-kwadrat o(n-1) stopniach swobody:

Y ≡(n− 1)S2(x)

σ2(x)= χ2

n−1

SMOP-2 B.Kamys: 2016/17 35

Wtedy, wykorzystujac znajomo±¢ warto±ci oczekiwanej i wariancji zmiennej chi-kwadrat,mo»na napisa¢:

E Y ≡ E

(n− 1)S2(x)

σ2(x)

= E

χ2n−1

= n− 1

σ2 Y ≡ σ2

(n− 1)S2(x)

σ2(x)

= σ2

χ2n−1

= 2(n− 1)

Z pierwszego tych równa« dostajemy natychmiast:

ES2(x)

= σ2(x)

a wiec S2(x) jest estymatorem nieobcia»onym .

Z drugiego otrzymujemy:

σ2S2(x)

=

2(n− 1)σ4(x)

(n− 1)2=

2σ4(x)

(n− 1)→n→∞

0

a wiec mamy do czynienia z estymatorem nieobcia»onym, którego wariancja da»y dozera wraz ze wzrostem rozmiarów próby . Taki estymator jest estymatorem zgodnymjak to gªosi twierdzenie przytoczone we wstepie.

Drugi z wymienionych estymatorów to s2(x), deniowany nastepujaco:

s2 (x) ≡1

n

n∑i=1

(xi − x)2 (53)

Ten estymator proporcjonalny jest do S2(x):

s2(x) =n− 1

n· S2(x)

SMOP-2 B.Kamys: 2016/17 36

a wiec musi by¢ obcia»ony skoro S2(x) jest nieobcia»ony. Obcia»enie wynosi Bn =−(1/n)σ2(x) i znika gdy n ro±nie do niesko«czono±ci a wiec jest to estymator asymp-totycznie nieobcia»ony .

Wariancja tego estymatora wynosi:

σ2(s2(x)) =

(n− 1

n

)2

·2σ4(x)

(n− 1)=

2(n− 1)σ4(x)

n2

Stad mo»na powiedzie¢, »e

• Wariancja s2(x) znika, gdy rozmiary próby rosna do niesko«czono±ci a poniewa»s2(x) jest asymptotycznie nieocia»ony to twierdzenie u»yte poprzednio tak»e mówi,»e s2(x) jest estymatorem zgodnym σ2(x).

• Wariancja s2(x) jest dla ka»dego rozmiaru próby mniejsza od wariancji S2(x) awiec jest on bardziej efektywny ni» S2(x). Mo»na pokaza¢, »e jest to najbardziejefektywny estymator σ2(x).

5.3 ESTYMATOR ODCHYLENIA STANDARDOWEGO σ(x)

Dla oszacowania warto±ci odchylenia standardowego stosuje sie trzy estymatory. Dwaz nich - S(x) ≡

√S2(x) i s(x) ≡

√s2(x) sa bardzo popularne mimo, »e oba sa

estymatorami obcia»onymi . Trzeci, o którym bedzie mowa poni»ej, jest estymatoremnieobcia»onym ale u»ywany jest rzadko gdy» wyra»a sie bardziej skomplikowanym wzorema jego warto±ci ró»nia sie znaczaco od warto±ci S(x) tylko dla niewielkich prób.

S(x): S(x) ≡

√√√√ 1

n− 1

n∑i=1

(xi − x)2 (54)

Jest to zgodny, asymptotycznie nieobcia»ony estymator odchylenia standardo-wego.

SMOP-2 B.Kamys: 2016/17 37

s(x): s(x) ≡

√√√√ 1

n

n∑i=1

(xi − x)2

(55)

Jest to zgodny, asymptotycznie nieobcia»ony i najbardziej efektywny esty-mator odchylenia standardowego.

S(x): S(X) ≡√n− 1

2

Γ(n−12

)

Γ(n2)· S(x) (56)

Jest to zgodny i nieobcia»ony estymator σ(X).

UWAGA:

Wspóªczynnik wystepujacy przy estymatorze S(x) w powy»szej denicji mo»na zastapi¢z niezªym przybli»eniem przez wstawienie do wzoru na S(X) zamiast 1/(n−1) czynnika1/(n− 1.45).

Poni»ej podajemy w tabelce przykªadowe warto±ci tego wspóªczynnika dla ró»nych na tak»e wynik zastosowania powy»szego uproszczonego sposobu zastapienia tego wspóª-czynnika:

n√

n−12

Γ(n−12

)

Γ(n2

)

√n−1n−1.45

3 1.1284 1.13594 1.0853 1.08475 1.0640 1.06156 1.0506 1.04827 1.0423 1.039710 1.0280 1.026015 1.0181 1.016520 1.0134 1.012125 1.0104 1.009550 1.0051 1.0046

SMOP-2 B.Kamys: 2016/17 38

UWAGA:Najcze±ciej u»ywanym estymatorem odchylenia standardowego jest estymator S(x)

5.4 ESTYMATOR WSPÓCZYNNIKA KORELACJI %(x, y)

Estymator wspóªczynnika korelacji Tn(ρ(X,Y )) ≡r" (symbole x i y oznaczaja ±red-nie arytmetyczne pomiarów):

Tn(ρ(X,Y )) ≡ r =

n∑i=1

(xi − x)(yi − y)√√√√( n∑i=1

(xi − x)2

)(n∑j=1

(yj − y)2

) (57)

Interpretacja kwadratu estymatora r2”

Mo»na pokaza¢, »e kwadrat estymatora wspóªczynnika korelacji (nazywany wspóªczyn-nikiem determinacji) pokazuje na ile dobre jest przybli»enie liniowe zale»no±ci y(x) czylijak dobra jest regresja drugiego rodzaju .

r2 =

∑i

(axi + b− y)2∑i

(yi − y)2(58)

Wielko±¢ y to ±rednia po wszystkich obserwowanych warto±ciach yi a a · xi + b to liniaprosta z tak dobranymi parametrami a i b aby byªa minimalna suma kwadratów odchy-le« od prostej do odpowiadajacych danemu argumentowi prostej xi warto±ci zmiennej yi.Wyra»enie w liczniku to tzw. wyja±niona przez regresje suma kwadratów a wy-ra»enie w mianowniku to caªkowita suma kwadratów . Jak wida¢ im bli»szy jedno±cijest kwadrat estymatora wspóªczynnika korelacji tym lepiej caªkowity rozrzut zmiennejy jest odtwarzany przez regresje a wiec tym lepszym przybli»eniem zale»no±ci y(x) jestlinia prosta. Zwykle uwa»a sie, »e przybli»enie jest dobre gdy warto±ci r2 sa bliskie 0.9 alew praktyce sami musimy zdecydowa¢, czy odchylenia rzedu 10% sa ju» zadowalajaco maªe.

Wprowad¹my nast¦puj¡ce oznaczenie dla funkcji regresji drugiego rodzaju czyli liniiprostej:

SMOP-2 B.Kamys: 2016/17 39

E(y|xi) ≡ Yi = a · xi + b

gdzie parametry prostej a i b wyra»aj¡ si¦ nast¦puj¡cymi wzorami:

a =

∑i

(xi − x) (yi − y)∑i

(xi − x)2 , b = y − ax

Stosuj¡c to oznaczenie mo»emy rozbi¢ odchylenie yi od ogólnej ±redniej y na dwie cz¦±ciprzez dodanie i odj¦cie funkcji regresji Yi:

yi − y = (yi − Yi) + (Yi − y)

Podnosz¡c do kwadratu obie strony i sumuj¡c po wszystkich punktach dostaniemy

∑i

(yi − y)2 =∑i

(yi − Yi)2+∑i

(Yi − y)2 (59)

bo wyraz mieszany znika: ∑i

(yi − Yi) (Yi − y) = 0

co poni»ej b¦dzie pokazane.

∑i

(yi − Yi) (Yi − y) =

=∑i

(yi − axi − b) (axi + b− y) =

=∑i

(yi − axi − (y − ax)) (axi + (y − ax)− y) =

= a∑i

(yi − y − a(xi − x)) (xi − x) =

= a∑i

((yi − y) (xi − x)− a(xi − x)2

)=

= a

[a∑i

(xi − x)2 − a∑i

(xi − x)2

]≡ 0

W drugiej linijce wyraz b zostaª wyra»ony przez a, x i y, w trzeciej zostaªy uprosz-czone y i − y oraz uporz¡dkowany pierwszy czynnik pod sum¡ i czynnik a wyrzucony

SMOP-2 B.Kamys: 2016/17 40

przed sum¦, w czwartej zostaª jawnie zapisany iloczyn (xi− xi) przez dwa wyrazy pierw-szego czynnika a w pi¡tej wykorzystano jawny wzór na wyraz a (patrz powy»ej).

Wspóªczynnik determinacji (78) jest zawsze deniowany jako stosunek dwu sumkwadratów odchyle«: wyja±nionej przez regresj¦ sumy kwadratów i caªkowitej sumy kwa-dratów ale dla regresji liniowej jest on równy kwadratowi estymatora wspóªczynnika kore-lacji (r2) st¡d dla regresji nieliniowej przyj¦ªo si¦ u»ywa¢ oznaczenia R2 na wspóªczynnikdeterminacji.

Poni»ej jest pokazane, »e dla regresji liniowej wspóªczynnik determinacji jest kwadra-tem estymatora wspóªczynnika korelacji r2.

Wzór (42) na warunkow¡ wariancj¦ σ2(y|x) = σ2(y) · (1 − %2) zawiera jawn¡zale»no±¢ wariancji σ2(y|x) od wspóªczynnika korelacji %. Przeksztaªcaj¡c ten wzórdostajemy:

1− %2 =σ2(y|x)

σ2(y)

%2 =σ2(y)− σ2(y|x)

σ2(y)

Z kolei korzystaj¡c ze wzoru (77) widzimy, »e suma kwadratów odchyle« poszczegól-nych warto±ci yi od funkcji regresji Yi ≡ axi + b,∑

i

(axi + b− y)2

jest równa ró»nicy σ2(y)−σ2(y|x) wyst¦puj¡cej we wzorze powy»ej. Zast¦puj¡c σ2(y)w mianowniku wzoru na %2 przez sum¦ kwadratów odchyle« od ±redniej warto±ci yotrzymujemy wzór (78), który chcieli±my wyprowadzi¢.

SMOP-2 B.Kamys: 2016/17 41

6 ESTYMACJA PRZEDZIAOWAE(x), σ2(x) i σ(x)

Podstawy tej metody estymacji opracowaª polski statystyk Jerzy Spªawa-Neyman (w li-teraturze zachodniej cytowany zwykle jako Neyman). Idea metody jest tworzenie takiegoprzedziaªu liczbowego, o którym mo»na powiedzie¢, »e z zadanym prawdopodobie«stwemzawiera w sobie (przekrywa) warto±¢ szacowanego parametru.

Prawdopodobie«stwo to nazywa sie poziomem ufno±ci i standardowo oznaczane jestsymbolem 1 - α .

UWAGA: Zwykle mówimy, »e "prawdziwa warto±¢ szacowanego parametru znajduje si¦w przedziale ufno±ci z zadanym prawdopodobie«stwem". Nale»y jednak zwróci¢ uwag¦ nato, »e to ko«ce przedziaªu s¡ warto±ciami losowymi a prawdziwa warto±¢ parametru,chocia» nieznana, nie jest warto±ci¡ losow¡.

Przedziaª nazywany jest przedziaªem ufno±ci dla parametru θ je»eli:

♦ prawdopodobie«stwo P( T(1)n ≤ θ ≤T(2)

n ) = 1 - α ,

♦ ko«ce przedziaªu zale»a od wyników do±wiadczenia i od poziomu ufno±ci a nie zale»afunkcyjnie od θ.

UWAGA:

• Poziom ufno±ci 1 - α przyjmuje sie zwykle du»y (np. 0,9) ale nie mo»e by¢ zbyt du»ybo zwiekszanie poziomu ufno±ci zwieksza dªugo±¢ przedziaªu ufno±ci co powoduje,»e tracona jest informacja o warto±ci oszacowanego parametru.

• Poni»sze rozwa»ania sa sªuszne przy zaªo»eniu, »e wyniki pomiarów xi ,i=1,..n obar-czone sa tylko bªedami przypadkowymi a wiec rzadzone sa rozkªadem normal-nym N(Ex, σx).

SMOP-2 B.Kamys: 2016/17 42

6.1 ESTYMACJA PRZEDZIAOWAWARTOCI OCZEKIWA-NEJ Ex - ZNANE σx

Jako statystyke testowa (zmienna losowa zale»na od wyniku do±wiadczenia) bierzemyzmienna z zdeniowana poni»ej:

z ≡x− Exσx

≡(x− Ex)

√n

σx(60)

Poniewa» ±rednia arytmetyczna x ma rozkªad normalny wiec zmienna z, która jeststandaryzowana ±rednia arytmetyczna, ma standardowy rozkªad normalny N(0,1).

Szukamy takiego przedziaªu [zmin, zmax], »e:

• P(zmin ≤ z ≤ zmax) = 1− α

• przedziaª ten poªo»ony jest tam, gdzie gesto±¢ prawdopodobie«stwa f(z) jest naj-wieksza.

Poniewa» rozkªad standardowy normalny jest symetryczny dokoªa zera i zero jest modarozkªadu (funkcja gesto±ci ma maksimum) to wida¢, »e przedziaª [zmin, zmax] powinienby¢ poªo»ony symetrycznie dokoªa z=0:

zmax = −zmin.

Wiedzac, »e funkcja gesto±ci prawdopodobie«stwa jest unormowana do jedno±ci (polepod caªym wykresem funkcji gesto±ci jest równe jedno±ci) oraz wiedzac, »e pole pod tymwykresem dla z le»acego w przedziale [zmin, zmax] wynosi γ a przedziaª le»y symetryczniedokoªa z = 0 mo»na brzegi przedziaªu wyrazi¢ przez kwantyle rozkªadu N(0, 1) :

zmin = zα2oraz zmax = z1−α

2

SMOP-2 B.Kamys: 2016/17 43

-3 -2 -1 0 1 2 30,0

0,1

0,2

0,3

0,4

0,5

Z1- /2 - Z1- /2

f(Z)

Z

N(0,1)

1 -

Rysunek 1: Standardowy rozkªad Gaussa: N(0,1). Obszar niezakreskowany odpowiadaprzedziaªowi ufno±ci i realizuje si¦ z prawdopodobie«stwem 1 − α (tu 1 − α = 0, 95).Przedziaªy zakreskowane le»¡ poza obszarem ufno±ci i maj¡ ª¡cznie prawdopodobie«stwoα = 0, 05 co przy symetrii rozkªadu daje dla ka»dego z powy»szych przedziaªów praw-dopodobie«stwo α/2 a wi¦c górny brzeg lewego przedziaªu zakreskowanego to kwantylzα/2 = −z1−α/2 = −z0,975 = −1, 96 a dolny brzeg prawego obszaru zakreskowanegoto kwantyl z1−α/2 = z0,975 = 1, 96.

Dodatkowo mo»emy skorzysta¢ z faktu symetrii rozkªadu N(0, 1) dokoªa z = 0, którypozwala na wyra»enie obu kwantyli przez siebie:

zα2

= −z1−α2

Dzieki temu w tablicach podawane sa zwykle tylko kwantyle na du»ym ( tj. 1 − α2)

lub na maªym ( tj. α2) poziomie.

Zamiast korzysta¢ z tablic mo»na oczywi±cie wylicza¢ numerycznie kwantyle rozkªaduN(0, 1). Odpowiednie procedury dla liczenia kwantyli rozkªadu standardowego normal-nego a tak»e innych podstawowych rozkªadów statystyki, takich jak rozkªad chi-kwadrat,rozkªad Studenta czy te» rozkªad Fishera-Snedecora mo»na znale¹¢ np. w ksia»ce S.Brandta, Analiza danych , PWN 1998.

Denicyjny wzór na zmienna z pokazuje, »e zmienna z i ±rednia arytmetyczna zwiazane samonotoniczna (liniowa) zale»no±cia a wiec mo»na jednoznacznie przedziaªowi [zmin, zmax]przypisa¢ przedziaª warto±ci zmiennej

x− Ex =σx√nz.

SMOP-2 B.Kamys: 2016/17 44

co po prostym przeksztaªceniu da przedziaª ufno±ci na EX:

P (zmin ≤ z ≤ zmax) ⇔ P

(x−

σx√nzmax ≤ Ex ≤ x−

σx√nzmin

)Z prawdopodobie«stwem 1− α przedziaª liczbowy wypi-sany powy»ej przykrywa soba warto±¢ oczekiwana Ex.

Trzeba pamieta¢, »e warto±¢ oczekiwana jest konkretna liczba a nie zmiennalosowa . Zmiennymi sa ko«ce przedziaªu bo sa funkcjami ±redniej arytmetycznejpomiarów.

Wyra»ajac zmin i zmax przez kwantyle standardowego rozkªadu normalnego dostajemyprzedziaª ufno±ci dla warto±ci oczekiwanej EX na poziomie ufno±ci 1− α:

x−σx√nz1−α

2≤ Ex ≤ x−

σx√nzα

2

lub

x−σx√nz1−α

2≤ Ex ≤ x+

σx√nz1−α

2

lub

x+σx√nzα

2≤ Ex ≤ x−

σx√nzα

2

Sa to trzy równowa»ne formy, przy czym najªatwiej chyba zapamieta¢ druga z nich:

x−σx√nz1−α

2≤ Ex ≤ x+

σx√nz1−α

2(61)

SMOP-2 B.Kamys: 2016/17 45

6.2 ESTYMACJA PRZEDZIAOWAWARTOCI OCZEKIWA-NEJ Ex - NIEZNANE σx

Jako statystyke testowa bierzemy zmienna t zdeniowana poni»ej:

t ≡x− ExSx

≡(x− Ex)

√n

Sx(62)

gdzie statystyka

Sx ≡

√√√√ 1

n(n− 1)

n∑i=1

(xi − x)2

jest znanym nam estymatorem odchylenia standardowego ±redniej arytmetycznej x an oznacza liczbe pomiarów w próbie.

Mo»na pokaza¢, »e zmienna t ma rozkªad Studenta o (n-1) stopniach swo-body .

Poniewa» rozkªad Studenta jest bardzo podobny do standardowego rozkªadu normal-nego wiec rozwa»ania podane powy»ej dla przypadku przedziaªu ufno±ci dla Ex gdyznane jest odchylenie standardowe pomiarów zachowuja swa prawdziwo±¢ i dla aktualnejsytuacji z tym, »e kwantyle rozkªadu normalnego musza by¢ zamienione przez odpowiedniekwantyle rozkªadu Studenta a odchylenie standardowe zastapione przez jego estymator:

x−Sx√nt1−α

2≤ Ex ≤ x+

Sx√nt1−α

2(63)

Tu podana jest tylko jedna z trzech równowa»nych postaci wzoru na przedziaª ufno±ciale oczywi±cie mo»na równie» u»ywa¢ obu pozostaªych po odpowiednich modykacjach.

UWAGA: Dla du»ych prób (n > 20 ÷ 30) rozkªad Studenta upodabnia sie bardzo dorozkªadu standardowego normalnego i dla wiekszo±ci praktycznych zastosowa« mo»naposªugiwa¢ sie kwantylami rozkªadu N(0, 1).

SMOP-2 B.Kamys: 2016/17 46

6.3 ESTYMACJA PRZEDZIAOWA WARIANCJI I ODCHY-LENIA STANDARDOWEGO

Jako statystyke bierzemy zmienna Y zdeniowana nastepujaco:

Y =(n− 1)S2(x)

σ2(x)(64)

gdzie n to liczba pomiarów w próbie, σ2(x) to wariancja X a S2(x) to estymator war-iancji zmiennej X:

S2(x) =1

n− 1

n∑i=1

(xi − x)2

Wielko±¢ ta ma rozkªad chi-kwadrat o (n-1) stopniach swobody.

Podobnie jak przy szukaniu przedziaªu ufno±ci dla warto±ci oczekiwanejEx rozwa»asie przedziaª najbardziej prawdopodobnych warto±ci zmiennej Y. Jednak»e przedziaª tennie jest symetryczny dokoªa mody bo rozkªad chi-kwadrat nie jest symetryczny.

SMOP-2 B.Kamys: 2016/17 47

0 5 10 15 20 25 300,00

0,05

0,10

0,15

( )( )

/2=0,025

f( ) 1 -

/2=0,025

Rysunek 2: Rozkªad chi-kwadrat o (n − 1) = 9 stopniach swobody χ29. Obszar nieza-

kreskowany odpowiada przedziaªowi ufno±ci i realizuje si¦ z prawdopodobie«stwem 1−α(tu 1− α = 0, 95). Przedziaªy zakreskowane le»¡ poza obszarem ufno±ci i maj¡ ª¡cznieprawdopodobie«stwo α = 0, 05 co przy zaªo»eniu, »e odchylenia w gór¦ i w dóª pozaprzedziaª ufno±ci s¡ równie prawdopodobne daje dla ka»dego z powy»szych przedziaªówprawdopodobie«stwo α/2 = 0, 025 a wi¦c górny brzeg lewego przedziaªu zakreskowa-nego to kwantyl

(χ2

9

)α/2

= 2, 7004 a dolny brzeg prawego obszaru zakreskowanego to

kwantyl(χ2

9

)α/2

= 19, 023.

Dla jednoznacznego okre±lenia przedziaªu ufno±ci zakªada sie, »e prawdopodobie«stwoodchylenia warto±ci Y poza wybrany przedziaª w strone du»ych warto±ci jest takie samojak prawdopodobie«stwo odchylenia w strone odwrotna:

P (Y < Ymin) = P (Y > Ymax) =α

2

Zaªo»enie to pozwala jednoznacznie okre±li¢ brzegi przedziaªu przez kwantyle rozkªaduchi-kwadrat :

Ymin = (χ2n−1)α

2i Ymax = (χ2

n−1)1−α2

Kwantyle te nie sa równe i musza by¢ oba wyliczone lub znalezione z tablic.

Relacja pomiedzy estymowanym parametrem, tj. wariancja i statystyka Y jest mono-toniczna funkcja :

σ2(x) =(n− 1).S2(x)

Y

SMOP-2 B.Kamys: 2016/17 48

wiec prawdopodobie«stwo traenia statystyki do przedziaªu [Ymin,Ymax] jest równe praw-dopodobie«stwu tego, »e oszacowywana wariancja bedzie le»aªa w przedziale:

(n− 1).S2(x)

Ymax≤ σ2(x) ≤

(n− 1).S2(x)

Ymin

co powoduje, »e ostatecznie przedziaª ufno±ci dla wariancji na poziomie ufno±ci γ to :

(n− 1).S2(x)

(χ2n−1)1−α

2

≤ σ2(x) ≤(n− 1).S2(x)

(χ2n−1)α

2

(65)

Estymacja przedziaªowa odchylenia standardowego σ(x) mo»e by¢ przeprowadzonaprzez pierwiastkowanie granic przedziaªu ufno±ci dla wariancji. Ten przedziaª liczbowybedzie przedziaªem ufno±ci dla odchylenia standardowego na tym samym poziomie ufno±cico startowy przedziaª ufno±ci dla wariancji. Dzieje sie tak dlatego, »e pierwiastkowanie -relacja miedzy dwoma dodatnimi wielko±ciami, t.j. wariancja i odchyleniem standardo-wym - jest monotoniczna funkcja. Stad prawdopodobie«stwo traenia odchylenia stan-dardowego do przedziaªu o granicach równych pierwiastkom z granic przedziaªu ufno±cidla wariancji jest takie samo jak prawdopodobie«stwo traenia wariancji do swojego prze-dziaªu ufno±ci.

SMOP-2 B.Kamys: 2016/17 49

7 ESTYMACJA PUNKTOWAE~y(~x) I MACIERZYKOWARIANCJI ~y(~x)

Estymator warto±ci oczekiwanej:Dla oszacowania warto±ci oczekiwanej funkcji wielu zmiennych losowych stosuje sie

standardowo poni»sze przybli»enie:

Tn (E(~y(~x))) = ~y (Tn(E(x1)), Tn(E(x2)), . . . , Tn(E(xN)))

przy czym aby upro±ci¢ zapis opuszcza sie czesto symbol estymatora warto±ci oczekiwanejfunkcji ~y a estymatory warto±ci oczekiwanych argumentów zapisuje sie w standardowysposób:

E(~y) ≈ ~y(x1, x2, ..xN) (66)

gdzie x1, x2, ... to skªadowe wektora ~x a xi to ±rednia arytmetyczna z n pomiarówargumentu xi: xi ≡ (1/n)

∑j(xi)j .

Estymator macierzy kowariancji:

Tn (cov(yk, yq)) =∑

i,j

(∂yk

∂xi

)~x=(~x)

(∂yq

∂xj

)~x=(~x)

Tn (cov(xi, xj))

gdzie estymator kowariancji skªadowych wektora argumentu ~x ma nastepujaca posta¢:

Tn(cov(xi, xj)) =1

n− 1

n∑k=1

((xi)k − xi)((xj)k − xj) (67)

Powy»sze wzory tak»e zapisuje sie najcze±ciej opuszczajac symbole estymatorów alewtedy trzeba z kontekstu domy±li¢ sie, »e mowa jest o estymatorach !

cov(yk, yq) ≈∑

i,j

(∂yk

∂xi

)~x=(~x)

(∂yq

∂xj

)~x=(~x)

cov(xi, xj) (68)

SMOP-2 B.Kamys: 2016/17 50

Symbol (~x) oznacza wektor ±rednich arytmetycznych (~x) ≡ (x1, x2, ...xN).

Wprowadzajac oznaczenia macierzowe:

Cij(~x) = covxi, xjCij(~y) = covyi, yj

Tij =

(∂yi

∂xj

)~x=(~x)

mo»emy wyrazi¢ kowariancje zmiennej ~y przez kowariancje zmiennej ~x w nastepujacysposób (nazywany propagacja bªedów):

C(~y) ≈ TC(~x)T T (69)

Wyprowadzenie powy»szych przybli»onych wzorów zostaªo podane w rozdziale 2.3 atutaj pokazano jakie estymatory wprowadza si¦ za odpowiednie wielko±ci.

SZCZEGÓLNY PRZYPADEK:Gdy zmienne xi, i = 1, ..n sa niezale»ne macierz kowariancji skªadowych wektora ~xjest diagonalna czyli pozostaja niezerowe jedynie wariancje:

covxi, xj = δij · varxi

Wzór na estymatory kowariancji cov(yk, yq) gdy xi, i=1,..n sa niezale»ne sprowadzasie do poni»szej postaci, gdzie wariancje zast¡piono ich estymatorami:

cov(yk, yq) ≈∑

i

(∂yk

∂xi

)~x=(~x)

(∂yq

∂xi

)~x=(~x)

S2(xi) (70)

co w szczególno±ci daje znany nam wzór na bªad ±redni kwadratowy :

SMOP-2 B.Kamys: 2016/17 51

σ(yk) ≡√var(yk) ≈

√∑i

(∂yk

∂xi

)2

~x=(~x)

S2(xi) (71)

UWAGA: Nale»y pamieta¢, »e

• Bªad ±redni kwadratowy yk mo»e by¢ policzony wg wzoru powy»ej (bez kowariancji)tylko wtedy gdy zmienne xi sa niezale»ne . W praktyce E(xi) zastepowanajest przez ±rednia arytmetyczna xi a var(xj) przez kwadrat bªedu ±redniej arytme-tycznej (a nie samej zmiennej xi).

• Macierz kowariancji zmiennych yi, i=1,..n jest zwykle niediagonalna na-wet wtedy gdy zmienne xi sa niezale»ne (macierz kowariancji xi jest diago-nalna) czyli zmienne yi, i = 1, ..n sa zwykle zale»ne. Je»eli wiec bedziemy chcieliznale¹¢ macierz kowariancji wektora losowego ~z, który jest z kolei funkcja wektora ~yto musimy korzysta¢ z ogólnego wzoru zawierajacego kowariancje (zastepujac oczy-wi±cie ~y przez ~z a ~x przez ~y).

• Wzory powy»sze sa wzorami przybli»onymi , tzn. na tyle sa dobre na ile rozwiniecie~y(~x) w szereg Taylora dokoªa E~x z obcieciem na liniowych wyrazach jest dobrymprzybli»eniem funkcji ~y(~x).

Mimo to praktycznie wszedzie stosuje sie te wzory , czesto zapominajac otym, »e sa one ±cisªe tylko dla liniowego zwiazku pomiedzy ~y i ~x.

SMOP-2 B.Kamys: 2016/17 52

8 METODY SZUKANIA ESTYMATORÓWO PO-DANYCH WASNOCIACH

Omówimy poni»ej trzy najcze±ciej stosowane ogólne metody poszukiwania estymatorówparametrów zapewniajace otrzymanie estymatorów o po»adanych wªasno±ciach. Sa to:

• Metoda momentów

• Metoda najwiekszej wiarygodno±ci

• Metoda najmniejszych kwadratów

Ka»da z nich ma swoje zalety i wady. W ogólnym przypadku zalecana jest metodanajwiekszej wiarygodno±ci ale w przypadku szukania parametrów regresji najbardziej po-pularna jest metoda najmniejszych kwadratów. Z kolei metoda momentów mo»e by¢bardzo wygodna w niektórych przypadkach przedyskutowanych poni»ej.

8.1 METODA MOMENTÓW (MM)

Metoda momentów zaproponowana zostaªa przez K. Pearsona na przeªomie XIX i XXwieku.

Idea metody : Szukamy estymatorów parametrów θ1, θ2,... θk okre±lajacych caªkowi-cie dystrybuante zmiennej losowej X postepujac w poni»szy sposób:

• Znajdujemy zwiazki pomiedzy parametrami a momentami rozkªadu.

• Wyliczamy estymatory momentów Tn(mi(0)) ≡ Mi wg wzoru:

Mi =1

n

n∑j=1

[xj]i

• Wstawiamy powy»sze estymatory momentów do wzorów wia»acych oszacowywaneparametry z momentami.

• Rozwiazujemy ukªad równa« na parametry θ1, θ2,... θk wyra»ajac je przez esty-matory momentów Mi , i=1,..,k . Te rozwiazania sa estymatorami odpowiednichparametrów Tn(θi) , i=1,...,k , optymalnymi w sensie metody momentów.

SMOP-2 B.Kamys: 2016/17 53

PRZYKAD:

Szukamy estymatorów parametrów θ1, (θ2)2 rozkªadu Gaussa:

f(x) =1√

2πθ22

exp−(x− θ1)2

2θ22

Znamy zwiazki pomiedzy parametrami i momentami rozkªadu:

θ1 =Ex ≡ m1(0)

(θ2)2 = varx = Ex2 − (Ex)2 ≡ m2(0)− (m1(0))2

Liczymy estymatory momentów:

Tn(m1(0)) ≡M1 =1

n

n∑i=1

xi

Tn(m2(0)) ≡M2 =1

n

n∑i=1

x2i

Z pierwszego równania po wstawieniu ±redniej arytmetycznej zamiast Exdostajemy:

Tn(θ1) =1

n

n∑i=1

xi

Z drugiego równania (zastepujac momenty ich estymatorami) dostajemy:

Tn(θ22) = 1

n

n∑i=1

x2i −

(1n

n∑i=1

xi

)2

=

= 1n

n∑i=1

x2i − 2x2 + x2 =

= 1n

n∑i=1

x2i − 2x.

(1n

n∑i=1

xi

)+

(1n

n∑i=1

x2

)=

= 1n

n∑i=1

(x2i − 2x.xi + x2

)=

= 1n

n∑i=1

(xi − x)2

SMOP-2 B.Kamys: 2016/17 54

(w drugim wierszu dodany i odjety kwadrat ±redniej arytmetycznej, w trzecim kwadrat±redniej zapisany jako n-ta cze±¢ sumy kwadratów ±redniej a dalej to tylko zwijanie kwa-dratu ró»nicy).

Otrzymujemy wiec znany nam estymator s2(x) jako najlepszy w sensie metody momen-tów estymator wariancji θ2

2 :

Tn(θ22) =

1

n

n∑i=1

(xi − x)2 ≡ s2(x)

Wªasno±ci estymatorów metody momentów :

Estymatory sa:

• asymptotycznie nieobcia»one (lub nieobcia»one)

• zgodne

Wady metody momentów:

• Ukªad równa« na estymatory parametrów θ jest zwykle nieliniowy co powoduje,»e musimy znajdowa¢ rozwiazania numerycznie i dodatkowo utrudnia oszacowaniebªedów estymatorów.

• Estymatory metody momentów sa zwykle mniej efektywne (tzn. maja wiekszawariancje) ni» estymatory znalezione innymi metodami a w szczególno±ci metodanajwiekszej wiarygodno±ci.

• Wyznaczanie wy»szych momentów z do±wiadczenia jest maªo dokªadne co rzutujena dokªadno±¢ estymatorów parametrów.

Optymalna sytuacja dla metody momentów:

Zachodzi ona wtedy, gdy szukane parametry wystepuja jako wspóªczynniki rozwinieciafunkcji gesto±ci prawdopodobie«stwa na ortonormalny zespóª funkcji gk(x), k = 1, .., r:

f(x, ~θ) = const+r∑k=1

θkgk(x)

SMOP-2 B.Kamys: 2016/17 55

gdzie const jest staªa normalizacyjna a funkcje gk speªniaja relacje:

∫dx gk(x) gj(x) = δkj oraz

∫dx gk(x) = 0.

Wtedy mo»emy napisa¢ nastepujaco wzór na warto±¢ oczekiwana funkcji gj(x):

Egj(x) =∫dx gj(x) f(x, ~θ) =

=∫dx const gj(x) +

r∑k=1

θk∫dx gk(x) gj(x) =

= 0 + θj

Wynika stad, »e szukanie estymatora parametru θj sprowadza sie do znalezienia estyma-tora warto±ci oczekiwanej funkcji gj(x). Zgodnie z zasada metody momentów estymato-rem tym jest ±rednia arytmetyczna:

Tn(θj) =1

n

n∑i=1

gj(xi)

Wiemy, »e ±rednia arytmetyczna jest zgodnym i nieobcia»onym estymatorem. Cowiecej, wiemy z centralnego twierdzenia granicznego , »e asymptotyczny rozkªad takiejzmiennej jest rozkªadem normalnym a wiec znamy równie» przepis na estymator wariancjitego estymatora. Takim nieobcia»onym i zgodnym estymatorem jest S2(x), gdzie zamiastxi bierzemy funkcje gj(xi) a zamiast x bierzemy estymator Tn(θj):

S2(Tn(θj)) =1

n(n− 1)

n∑i=1

[gj(xi)− T n(θj)]2

SMOP-2 B.Kamys: 2016/17 56

8.2 METODA NAJWIEKSZEJ WIARYGODNOCI (MNW)

Metoda najwiekszej wiarygodno±ci zaproponowana zostaªa przez R.A. Fishera w 1921roku.

Idea metody:Zawiera sie w zaªo»eniu, »e zaobserwowane w próbie wyniki sa najbardziej prawdopodobnespo±ród wszystkich mo»liwych.

• Szukamy prawdopodobie«stwa tego, »e próba bedzie taka jaka zaobserwowali±myje»eli parametry ~θ przyjmuja konkretna warto±¢ ~θ0.

Je»eli próba jest prosta, tzn. pomiary xi, i = 1, .., n sa niezale»ne to szukane praw-dopodobie«stwo próby równe jest iloczynowi prawdopodobie«stw warunkowych po-szczególnych pomiarów. Dla zmiennej ciagªej X mo»emy opu±ci¢ iloczyn ró»niczekdx1...dxn i zapisa¢ jedynie iloczyn gesto±ci prawdopodobie«stw:

L(~θ0) =n∏i=1

f(xi

∣∣∣~θ0) .

To prawdopodobie«stwo (dla zmiennej dyskretnej) lub gesto±¢ prawdopodobie«stwa(dla zmiennej ciagªej) mo»emy potraktowa¢ jako funkcje szukanych parametrów.Funkcje te nazywamy funkcja wiarygodno±ci.

• Znajdujemy taka warto±¢ parametrów ~θ , która zapewnia maksimum funkcji wia-rygodno±ci:

L(~θ) = max .

Te dwa warunki sªu»a jako przepis na szukanie optymalnych w sensie metody najwiekszejwiarygodno±ci estymatorów.

Poniewa» szukanie maksimum funkcji wiarygodno±ci wymaga zwykle ró»niczkowaniapo parametrach wiec bedziemy mie¢ do czynienia z ró»niczkowaniem iloczynu co pro-wadzi do do±¢ skomplikowanych rachunków. Aby uªatwi¢ ró»niczkowanie standardowozamienia sie funkcje wiarygodno±ci przez jej logarytm co powoduje, »e zamiastró»niczkowania iloczynu nale»y ró»niczkowa¢ sume a poªo»enie maksimum w przestrzeniparametrów jest takie samo gdy» logarytm jest funkcja monotoniczna oraz

∂ ln(L)

∂θi≡

(∂L∂θi

)L

ma taki sam znak jak∂L

∂θi(L jest wieksze od zera ).

Logarytm z funkcji wiarygodno±ci oznaczany jest zwykle przez maªa litere l.

SMOP-2 B.Kamys: 2016/17 57

l ≡ ln(L)

(chocia» stosuje sie równie» oznaczenie przez du»e L) i nazywany jest logarytmicznafunkcja wiarygodno±ci a czasem równie» funkcja wiarygodno±ci.

PRZYKAD:

Dla rozkªadu normalnego N(θ1,θ2) :

f(x) =1

√2π θ2

exp

−

(x− θ1)2

2θ22

wiec funkcja wiarygodno±ci:

L(θ1, θ2) =1

(2π)n2 θn2

exp

−

1

2θ22

n∑i=1

(xi − θ1)2

a logarytmiczna funkcja wiarygodno±ci:

l = −n ln((2π)12 )− n ln(θ2)−

1

2θ22

n∑i=1

(xi−θ1)2

Ró»niczkujac po parametrach dostajemy ukªad równa« na parametry:∂l∂θ1

= 1θ22

n∑i=1

(xi − θ1) = 0

∂l∂θ2

= − nθ2

+ 1θ32

n∑i=1

(xi − θ1)2 = 0

Rozwiazanie pierwszego równania daje estymator Tn(θ1):

Tn(θ1) =1

n

n∑i=1

xi

czyli ±rednia arytmetyczna x, a przeksztaªcajac drugie równanie mo»na napisa¢ tak:

n =1

θ22

n∑i=1

(xi − Tn(θ1)2

czyli

Tn(θ22) =

1

n

n∑i=1

(xi − x)2

SMOP-2 B.Kamys: 2016/17 58

a to jest znany nam estymator wariancji zmiennej x oznaczany symbolem s2(x).

Jak wida¢ metoda najwiekszej wiarygodno±ci daªa w tym przypadku dokªadnie te sameestymatory co metoda momentów.

Zanim podamy wªasno±ci estymatorów MNW wprowadzimy denicje rozkªadu re-gularnego i estymatorów regularnych.

Mówimy, »e rozkªad f(X, θ) jest rozkªadem regularnym gdy caªkowanie wzgledem x iró»niczkowanie wzgledem θ sa przemienne i istnieja wyra»enia:

∂∂θ

+∞∫−∞

dx f(x|θ) =+∞∫−∞

dx ∂f(x|θ)∂θ

≡+∞∫−∞

dx f(x|θ) ∂ ln f(x|θ)∂θ

≡ E∂ ln f(x|θ)

∂θ

oraz

∂2

∂θ2

+∞∫−∞

dx f(x|θ) =+∞∫−∞

dx ∂2f(x|θ)∂θ2

≡+∞∫−∞

dx f(x|θ) ∂2 ln f(x|θ)∂θ2

++∞∫−∞

dx f(x|θ)[∂ ln f(x|θ)

∂θ

]2≡

≡ E∂2 ln f(x|θ)

∂θ2

+ E

[∂ ln f(x|θ)

∂θ

]2

Estymator parametru θ rozkªadu regularnego nazywamy estymatorem regularnym.

Gdy zmienna X jest dyskretna to w powy»szych wzorach nale»y funkcje gesto±ci praw-dopodobie«stwa zastapi¢ prawdopodobie«stwem i caªki sumami.

UWAGA:

Ze wzgledu na warunek normalizacji gesto±ci prawdopodobie«stwa+∞∫−∞

dx f(x|θ) = 1

oba wyra»enia wypisane w denicji rozkªadu regularnego sa równe zero.

TWIERDZENIEJe»eli funkcja gesto±ci prawdopodobie«stwa f(X|θ) (lub rozkªad prawdopodobie«stwap(X|θ) ) sa rozkªadami regularnymi i parametr θ jest szacowany na podstawie próbyprostej to estymator Tn(θ) otrzymany przy pomocy MNW ma dla rozmiarów próbyn da»acych do niesko«czono±ci nastepujace wªasno±ci:

• jest zgodny

SMOP-2 B.Kamys: 2016/17 59

• jego asymptotyczny rozkªad jest normalny

z warto±cia oczekiwana ETn(θ)=θ

i wariancja σ2(Tn(θ))=

[n

+∞∫−∞

(∂ ln f(X|θ)

∂θ

)2

f(X|θ) dX

]−1

Mo»na pokaza¢ (jest to tre±cia tzw. nierówno±ci Cramera-Rao), »e wyra»enie powy»-sze jest dolna granica wariancji dla nieobcia»onego estymatora regularnego awiec

MNW daje estymatory:- zgodne,- asymptotycznie nieobcia»one,- asymptotycznie najbardziej efektywne

Dla sko«czonych rozmiarów próby i regularnych rozkªadów MNW daje estyma-tory zgodne ale moga by¢ one obcia»one i moga nie by¢ najbardziej efektywne. O ichefektywno±ci mo»na wnioskowa¢ na podstawie twierdzenia Cramera-Rao zwanego rów-nie» nierówno±cia informacyjna :

TWIERDZENIE Cramera-Rao:

Wariancja regularnego estymatora Tn(θ) speªnia nierówno±¢

σ2(Tn(θ)) ≥

1 +∂Bn(θ)

∂θ

n +∞∫−∞

(∂ ln f(X|θ)

∂θ

)2

f(X|θ) dX

−1

gdzie

Bn(θ) ≡ ETn(θ) − θ

jest obcia»eniem estymatora.

Wyra»enie w nawiasie kwadratowym nazywane jest informacja o parametrze θ za-warta w próbie (R.A. Fisher) - stad nazwa nierówno±ci.

Wyra»enie to zostaªo tak nazwane gdy» posiada wªasno±ci, których wymagamy od infor-macji:

• zwieksza sie wraz z liczba obserwacji,

• zale»y od tego czego chcemy sie dowiedzie¢ (od parametru θ i jego zwiazku z mie-rzonymi wielko±ciami),

SMOP-2 B.Kamys: 2016/17 60

• zwiazana jest z dokªadno±cia (im wieksza informacja tym lepsza dokªadno±¢ okre-±lenia warto±ci parametru)

TWIERDZENIE

Minimalna wariancje estymatora regularnego (równo±¢ w twierdzeniu Cramera-Rao)Tn(τ (θ)) pewnej funkcji τ (θ) interesujacego nas parametru θ :

σ2(Tn(τ (θ)) =

∣∣∣∣∣∣(∂τ(θ)

∂θ

)F (θ)

∣∣∣∣∣∣uzyskuje sie dla sko«czonych rozmiarów próby n wtedy gdy pochodna czastkowafunkcji wiarygodno±ci speªnia nastepujaca relacje:

∂ lnL

∂θ= F (θ) [Tn (τ (θ))− τ (θ)]

gdzie F(θ) jest pewna funkcja parametru θ ale nie zale»y od pomiarów ~x.©

Funkcja wiarygodno±ci ma wtedy nastepujaca posta¢:

L(~x|θ ) = exp A(θ)B(~x) + C(~x) +D(θ) gdzie A i D sa funkcjami θ (A jest caªka po dθ z F (θ) ) a B i C sa funkcjamizespoªu pomiarów (próby).

Porównujac wzór na wariancje estymatora Tn(τ (θ)) z nierówno±cia Cramera-Rao wi-da¢ natychmiast, »e:

• F (θ) to informacja z próby o funkcji τ (θ),

• gdy τ (θ)=θ to wariancja wynosi 1/F (θ),

• istnieje tylko jedna funkcja τ (θ) parametru θ , dla której osiagana jest minimalnawariancja estymatora okre±lona nierówno±cia Cramera-Rao czyli taka funkcja τ (θ)od której liniowo zale»y pochodna po parametrze θ z logarytmicznej funkcji wiary-godno±ci.

PRZYKAD: Je»eli parametrem θ jest odchylenie standardowe rozkªadu normalnegoσ(x) to tylko estymator wariancji σ2(x) , tzn. estymator s2(x) ma minimalna wariancjea estymator s(x) ju» tej wªasno±ci nie posiada. Wida¢ to ze wzoru wyprowadzonego wprzykªadzie zastosowania MNW:

∂l

∂θ2

= −n

θ2

+1

θ32

n∑i=1

(xi − θ1)2 = 0

SMOP-2 B.Kamys: 2016/17 61

Pochodna po θ2 jest liniowo zwiazana z funkcja s2(x) ≡ 1n

n∑i=1

(xi − θ1)2 a nie z

estymatorem odchylenia standardowego s(x), który jest pierwiastkiem z tego wyra»enia.Wida¢ to po prostym przeksztaªceniu wzoru na pochodna:

∂l

∂θ2

≡(n

θ32

)[−θ2

2 +1

n

n∑i=1

(xi − θ1)2

]atwo zidentykujemy:

F (θ) ≡(n

θ32

)τ (θ) ≡ θ2

2

Tn (τ (θ)) ≡1

n

n∑i=1

(xi − θ1)2

8.2.1 Oszacowanie bªedu parametru znalezionego MNW

Istnieje prosty sposób oszacowania bªedu estymatorów znalezionych MNW je»eli logaryt-miczna funkcja w pobli»u maksimum mo»e by¢ przybli»ona parabola jako funkcja wszyst-kich parametrów. Mo»na pokaza¢, »e wówczas kontur staªej warto±ci logarytmicznej f.wiarygodno±ci lnL(~θ) speªniajacy relacje:

ln(L(~θ)

)= ln

(L(~θ0)max

)−y2

2

odcina na osiach θi y-krotna wielko±¢ odchylenia standardowego parametru θi:

θi = (θi)0 ± y · σ(θi).

Je»eli przybli»enie parabola zale»no±ci lnL(θi) nie jest ±cisªe to nale»y ten sposóbtraktowa¢ jedynie jako przybli»ona metode.

SMOP-2 B.Kamys: 2016/17 62

8.3 METODA NAJMNIEJSZYCH KWADRATÓW (MNK)

Za autora metody najmniejszych kwadratów uwa»a sie K. Gaussa.

Idea metody:

Szukamy estymatora Tn(θ) parametru θ wystepujacego we wzorze:

g(Y, θ) = 0,

który mo»e by¢ ±ci±le speªniony tylko w wyidealizowanym przypadku, gdy mierzone do-±wiadczalnie wielkosci Yi nie sa obarczone bªedami. W obecno±ci bªedów tak dobieramyparametr θ (mo»e by¢ ich wiecej) aby funkcja g zbli»yªa sie do zera tak bardzo jak totylko jest mo»liwe, tj. »adamy speªnienia warunku:

n∑i=1

[g(Yi, θ)]2 = minθ

a w najogólniejszym przypadku (wªaczajac wagi pomiarów w i) warunku:

n∑i=1

wi· [g(Yi, θ)]2 = min .θ

PRZYKAD:Szukamy prawdziwej warto±ci wielko±ci Y mierzonej bezpo±rednio. Gdyby nie byªo bledówwówczas:

θ = Y

albo inaczej

g(Y |θ) ≡ Y − θ = 0.

W obecno±ci bªedów,funkcja g(Y |θ) bedzie zwykle ró»na od zera ale MNK podaje przepisjak znale¹¢ estymator Tn(θ):

n∑i=1

[g(Yi|θ)]2 ≡n∑i=1

[Yi − θ]2 = minθ

Aby znale¹¢ minimum powy»szej funkcji ze wzgledu na θ nale»y przyrówna¢ do zerapochodna tej funkcji wzgledem θ:

−2n∑i=1

[Yi − θ] = 0

a wiec dostajemy znany nam przepis na estymator warto±ci oczekiwanej:

SMOP-2 B.Kamys: 2016/17 63

Tn(θ) =1

n

n∑i=1

Yi

Wªasno±ci estymatorów MNKEstymatory otrzymane MNK nie maja w ogólnym przypadku optymalnych wªasno±ci

(nawet asymptotycznie)! Istnieja jednak dwa wa»ne wyjatki od tej reguªy:

1.) Pomiary Yi maja rozkªad normalny i sa nieskorelowane,

2.) Szukane parametry sa wspóªczynnikami w liniowej funkcji regresji.

ad 1. Pomiary maja rozkªad normalny i sa nieskorelowane Odpowiada to sytu-acji, w której zmienna Y mo»e by¢ przedstawiona nastepujaco:

Yi = h(Xi, ~θ) + ε

gdzie ε to bªad przypadkowy.Wtedy funkcja wiarygodno±ci ma nastepujaca posta¢:

L(Y1, .., Yn|~θ) =n∏i=1

1√

2πσiexp

−(Yi − h(Xi, ~θ)

)2

2σ2i

a logarytmiczna funkcja wiarygodno±ci:

l(Y1, .., Yn|~θ) = −1

2n ln

(2πσ2

i

)−

n∑i=1

(Yi − h(Xi, ~θ)

)2

2σ2i

Funkcja ta bedzie miaªa maksimum (ujemne !) gdy suma kwadratów bedzie naj-mniejsza. A wiec metoda najmniejszych kwadratów jest wtedy równowa»na meto-dzie najwiekszej wiarygodno±ci, która zapewnia optymalno±c otrzymywanych esty-matorów.

ad 2. Funkcja regresji jest liniowa ze wzgledu na szukane parametry ZmiennaY zale»y wtedy od zmiennej X w nastepujacy sposób:

SMOP-2 B.Kamys: 2016/17 64

Yi =k∑j=1

θj · fj(Xi)

gdzie fj(X) jest dowolna funkcja.

Markow udowodniª , »e w takiej sytuacji estymatory parametrów posiadaja bardzodobre wªasno±ci:

• sa nieobcia»one

• sa najbardziej efektywne

• sa liniowymi funkcjami pomiarów Y1, ..., Yn.Te wªasno±ci nie zale»a od rozkªadu zmiennej Y i speªnione sa nawet dlaniewielkich prób.

Linowy (ze wzgledu na parametry) model funkcji regresji jest bardzo czesto stosowanyw praktyce, poniewa» obok optymalnych wªasno±ci estymatorów parametrów zapewniamo»liwo±¢ ±cisªego rozwiazania równa« okre±lajacych estymatory parametrów a wiec mo»-liwo±¢ znalezienia jawnych wzorów na estymatory. Tego prawie nigdy nie da sie zrobi¢w przypadku pierwszym, tzn. gdy zale»no±¢ od parametrów jest nieliniowa. Zapiszemywarunek metody najmniejszych kwadratów macierzowo stosujac nastepujace oznaczenia:

Aij ≡ fj(xi) i = 1, .., n j = 1, .., rBij i = 1, .., n j = 1, .., nYi i = 1, .., nθi i = 1, .., r

gdzie Aij to macierz warto±ci funkcji fj(xi), Bi,j to macierz wag zwykle brana jakoodwrócona macierz kowariancji pomiarów cov(yi,yj)−1, Yi - wektor pomiarów, θi -wektor parametrów. Wtedy minimalizowana suma kwadratów mo»e by¢ zapisana w takisposób:

Q2 = (~Y −A · ~θ)T ·B · (~Y −A · ~θ)

a pochodne wzgledem parametrów nastepujaco (i=1,...,r):

∂Q2

∂θi=−2AT ·B · (~Y −A · ~θ)

i

= 0·

Zespóª r powy»szych równa« mo»na zapisa¢ macierzowo i rozwiaza¢ formalnie:

AT ·B · (~Y −A · ~θ) = 0

AT ·B · ~Y = AT ·B ·A · ~θ

a mno»ac lewostronnie przez macierz odwrotna do ATBA, dostaniemy estymatoryparametrów liniowej funkcji regresji :

SMOP-2 B.Kamys: 2016/17 65

Tn(~θ) =[AT ·B ·A

]−1AT ·B · ~Y

Jest to dokªadne i jedyne rozwiazanie (pod warunkiem, »e macierz ATBA jest nieoso-bliwa)

Z powy»szego wzoru wida¢, »e estymatory parametrów sa liniowymi funkcjami war-to±ci pomiarów Y1, ..., Yn co pozwala ±ci±le wyrazi¢ macierz kowariancji estymatorówparametrów (a wiec i ich bªedy) przez macierz kowariancji pomiarów C(~Y ) stosujac wzórwyprowadzony dla propagacji bªedów . Gdy przyjmiemy macierz wag B jako macierzodwrotna do C(~Y ) to uzyskamy wyjatkowo prosta forme macierzy kowariancji estymato-rów parametrów.

C(Tn(~θ)) =[ATBA

]−1ATB

· C(~Y ) ·

[ATBA

]−1ATB

T=

[ATBA

]−1ATB

·B−1 ·

[ATBA

]−1ATB

T=

[ATBA

]−1AT ·BB−1 ·BTA

([ATBA

]−1)T

=[ATBA

]−1 ·[ATBA

]·([ATBA

]T)−1

=([ATBA

])−1

=[ATC(~Y )−1A

]−1

Ostatecznie macierz kowariancji estymatorów parametrów :

C(Tn(~θ)) =[ATC(~Y )−1A

]−1

Warto zauwa»y¢, »e

• Ten wynik jest ±cisªy

• Powy»sza macierz jest wyliczana dla znalezienia estymatorów parametrów bo to jestmacierz ATBA−1 wystepujaca we wzorze na estymatory.

• Mimo, »e wzór jest ±cisªy i prosty to jego wyliczenie czesto napotyka na trudno±cinumeryczne gdy» procedura odwracania macierzy ATBA−1 jest ¹le uwarunko-wana numerycznie (maªe zaokraglenia rachunków moga powodowa¢ wielkie zmianywyników). Dla unikniecie tego problemu stosuje sie jako funkcje, na które rozwijanajest funkcja regresji tzw. wielomiany ortogonalne na zbiorze punktów.

SMOP-2 B.Kamys: 2016/17 66

8.3.1 Oszacowanie bªedu parametru znalezionego MNK

Istnieje prosty sposób oszacowania bªedu estymatorów znalezionych MNK je»eli minima-lizowana funkcja sumy kwadratów wa»onych kwadratami odwrotno±ci bª¦dów w pobli»uminimum mo»e by¢ przybli»ona parabola jako funkcja wszystkich parametrów. Mo»napokaza¢, »e dla niezale»nych pomiarów kontur staªej warto±ci minimalizowanej funkcji :

χ2(~θ) = χ2min(~θ0) + y2

odcina na osiach θi y-krotna wielko±¢ odchylenia standardowego parametru θi:

θi = (θi)0 ± y · σ(θi).

Je»eli przybli»enie parabola zale»no±ci χ2(θi) nie jest ±cisªe to nale»y ten sposób trak-towa¢ jedynie jako przybli»ona metode.

SMOP-2 B.Kamys: 2016/17 67

8.3.2 Regresja liniowa

Podstawowa wªasno±¢ regresji E(y|x) polegaj¡ca na tym, »e warto±¢ oczekiwana kwa-dratu odchyle« warto±ci yi od funkcji regresji jest mniejsza lub równa od kwadratu od-chyle« od dowolnej innej funkcji powoduje, »e metoda najmniejszych kwadratów jestnaturalnym sposobem szukania parametrów regresji .

Denicja regresji liniowej byªa ju» omawiana powy»ej ale powtórzymy ja dla przypo-mnienia:

DEFINICJARegresja liniowa zmiennej Y wzgledem zmiennej X to linia prosta

Y = a ·X + b (72)

z parametrami a i b dobranymi tak aby minimalizowa¢ sume kwadratów odchyle« wspóªrzednych(yi, i = 1, 2, ..n) zespoªu n punktów o wspóªrzednych (x1, y1),(x2, y2),... (xn, yn) odtej linii:

Q2 =n∑i=1

(yi − a · xi − b)2 (73)

Zmienna Y nazywana jest zmienna obja±niana a zmienna X zmienna obja±niajaca.

UWAGA:Regresja liniowa X wzgledem Y tj. prosta X = c · Y + d pokrywa sie z regresja liniowaY wzgledem X tj. prosta Y = a ·X + b znaleziona dla tego samego zespoªu punktówdo±wiadczalnych tylko wtedy gdy zwiazek pomiedzy X i Y jest funkcyjnym zwiazkiemliniowym (a nie zale»no±cia statystyczna).

Rozwa»ymy tu specyczna sytuacje (czesto spotykana w zastosowaniach) polegajaca natym, »e:

• zmienna obja±niajaca X ma zaniedbywalnie maªe bªedy (mówimy wtedy, »e X jestzmienna kontrolowana) a wiec mo»e by¢ traktowana jako nielosowa zmienna.

• zmienna obja±niana Y jest zmienna losowa przy czym bªad tej zmiennej jest identycznydla wszystkich punktów i wynosi σ(y).

SMOP-2 B.Kamys: 2016/17 68

Wtedy dostajemy proste, analityczne wzory na estymatory parametrów regresji:

Tn(b) =(∑i xi

2) · (∑i yi)− (

∑i xi) · (

∑i xi · yi)

W

Tn(a) =n · (

∑i xi · yi)− (

∑i xi) · (

∑i yi)

W

W ≡ n ·∑i

x2i − (

∑i

xi)2 (74)

Wska¹nik sumowania i przebiega warto±ci od 1 do n gdzie n jest liczba punktówpomiarowych.

Bªedy estymatorów parametrów a i b oraz ich kowariancja równie» wyra»ajasie analitycznymi wzorami:

Tn(σ(b)) = σ(y) ·

√∑i x

2i

W

Tn(σ(a)) = σ(y) ·√n

W

Tn(cov(a, b)) = −σ2(Y ) ·∑i xi

W(75)

Mo»emy równie» poda¢ wzór na bªad warto±ci Y przewidzianej przez linie regresji(zale»ny od x):

Tn(σ(Y (x))) = σ(y) ·

√1

n+

(x− x)2∑i (xi − x)2

(76)

OZNACZENIA:

• Tn(σ(Y (x))) to estymator bªedu warto±ci Y (x) przewidzianej przez regresje,

SMOP-2 B.Kamys: 2016/17 69

• σ(y) to bªad pomiaru wspóªrzednej Yi z zaªo»enia taki sam dla wszystkich punk-tów.Gdy go nie znamy wpisujemy tu (i do wzorów na bªedy parametrów 'a' i 'b') esty-mator Tn(σ(y)),

• x to ±rednia arytmetyczna warto±ci zmiennej kontrolowanej wyliczona ze wspóªrzednychpunktów x1, x2, ...xn,

• x - to warto±¢ zmiennej kontrolowanej X, dla której wyliczamy warto±¢ regresjiliniowej Y (x) i estymator bªedu regresji liniowej Tn(σ(Y (x))).

• Bardzo czesto opuszcza sie symbole estymatorów a o tym, czy mamy doczynienia z parametrami linii prostej i ich bªedami czy te» z estymatorami tychwielko±ci wnioskujemy z kontekstu.

UWAGA:

Aby podja¢ decyzje, czy regresja liniowa zadowalajaco dobrze odtwarza zale»no±¢ y od xmo»na zbada¢ czy suma kwadratów odchyle« wyników pomiaru od linii prostej speªniaponi»sze warunki:

Przy poprawnym odtwarzaniu zale»no±ci y(x) przez prosta regresji y = a · x + bwielko±¢ Q2/σ2(Y ) ma rozkªad chi - kwadrat o n− 2 stopniach swobody a wiec jejwarto±¢ oczekiwana i odchylenie standardowe speªniaja nastepujace relacje:

E

Q2

σ2(y)

= n− 2

σ

Q2

σ2(y)

=

√2(n− 2)

Stad przy adekwatno±ci liniowego modelu i przy poprawnym oszacowaniu bªedów po-miarów σ(yi) obliczona warto±¢ Q2/σ2(y) powinna by¢ bliska n− 2 a rozrzut dookoªatej warto±ci powinien by¢ okre±lony przez

√2(n− 2) gdzie n to liczba pomiarów.

Istnieje inna metoda okre±lenia, czy regresja liniowa jest dobrym przybli»eniem zwi¡zkupomi¦dzy y i x, która nie wymaga znajomo±ci niepewno±ci pomiarowych lecz polega naporównaniu sumy kwadratów odchyle« punktów do±wiadczalnych od linii regresji orazsumy kwadratów odchyle« tych punktów od ±redniej warto±ci y. Iloraz tych dwu sum totzw. wspóªczynnik determinacji R2 .

Wprowad¹my nast¦puj¡ce oznaczenie dla funkcji regresji drugiego rodzaju czyli liniiprostej:

E(y|xi) ≡ Yi = a · xi + b

SMOP-2 B.Kamys: 2016/17 70

gdzie parametry prostej a i b wyra»aj¡ si¦ nast¦puj¡cymi wzorami:

a =

∑i

(xi − x) (yi − y)∑i

(xi − x)2 , b = y − ax

Stosuj¡c to oznaczenie mo»emy rozbi¢ odchylenie yi od ogólnej ±redniej y na dwie cz¦±ciprzez dodanie i odj¦cie funkcji regresji Yi:

yi − y = (yi − Yi) + (Yi − y)

Podnosz¡c do kwadratu obie strony i sumuj¡c po wszystkich punktach dostaniemy

∑i

(yi − y)2 =∑i

(yi − Yi)2+∑i

(Yi − y)2 (77)

bo wyraz mieszany znika: ∑i

(yi − Yi) (Yi − y) = 0

co poni»ej jest pokazane.

∑i

(yi − Yi) (Yi − y) =

=∑i

(yi − axi − b) (axi + b− y) =

=∑i

(yi − axi − (y − ax)) (axi + (y − ax)− y) =

= a∑i

(yi − y − a(xi − x)) (xi − x) =

= a∑i

((yi − y) (xi − x)− a(xi − x)2

)=

= a

[a∑i

(xi − x)2 − a∑i

(xi − x)2

]≡ 0

W drugiej linijce wyraz b zostaª wyra»ony przez a, x i y, w trzeciej zostaªy uprosz-czone y i − y oraz uporz¡dkowany pierwszy czynnik pod sum¡ i czynnik a wyrzuconyprzed sum¦, w czwartej zostaª jawnie zapisany iloczyn (xi− xi) przez dwa wyrazy pierw-szego czynnika a w pi¡tej wykorzystano jawny wzór na wyraz a (patrz powy»ej).

SMOP-2 B.Kamys: 2016/17 71

Suma kwadratów po lewej stronie wzoru (77) to tzw. caªkowita suma kwadratów(dookoªa ogólnej ±redniej) i odpowiada ona wariancji σ2(y) a pierwsza suma po prawejstronie odpowiada warunkowej wariancji σ2(y|x) (rozrzut y dookoªa regresji). Drugasuma po prawej stronie tego wzoru to tzw. wyja±niona przez regresj¦ suma kwadra-tów (rozrzut warto±ci y przewidzianych przez regresj¦ dookoªa ogólnej ±redniej).

Wspóªczynnik determinacji R2 (78) jest deniowany jako stosunek dwu sum kwa-dratów odchyle«: wyja±nionej przez regresj¦ sumy kwadratów i caªkowitej sumykwadratów . Dla regresji liniowej jest on równy kwadratowi estymatora wspóªczynnikakorelacji r2 (57) ( st¡d ogólnie przyj¦ªo si¦ u»ywa¢ oznaczenia R2 na wspóªczynnik deter-minacji).

R2 =

∑i

(axi + b− y)2∑i

(yi − y)2(78)

Jak wida¢ im bli»szy jedno±ci jest kwadrat estymatora wspóªczynnika korelacji tym lepiejcaªkowity rozrzut zmiennej y jest odtwarzany przez regresje a wiec tym lepszym przybli-»eniem zale»no±ci y(x) jest linia prosta. Zwykle uwa»a sie, »e przybli»enie jest dobre gdywarto±ci r2 sa bliskie 0.9 ale w praktyce sami musimy zdecydowa¢, czy odchylenia rzedu10% sa ju» zadowalajaco maªe.

Poni»ej jest pokazane, »e dla regresji liniowej wspóªczynnik determinacji jest kwadra-tem estymatora wspóªczynnika korelacji r2.

Wzór (42) na warunkow¡ wariancj¦ σ2(y|x) = σ2(y) · (1 − %2) zawiera jawn¡zale»no±¢ wariancji σ2(y|x) od wspóªczynnika korelacji %. Przeksztaªcaj¡c ten wzórdostajemy:

1− %2 =σ2(y|x)

σ2(y)

%2 =σ2(y)− σ2(y|x)

σ2(y)

Korzystaj¡c ze wzoru (77) widzimy, »e suma kwadratów wyja±niona przez regresj¦∑i

(Yi − y)2 ≡∑i

(axi + b− y)2

jest równa ró»nicy

σ2(y)− σ2(y|x) ≡∑i

(yi − y)2 −∑i

(yi − Yi)2

SMOP-2 B.Kamys: 2016/17 72

wyst¦puj¡cej w liczniku we wzorze powy»ej. Zast¦puj¡c σ2(y) w mianowniku wzoruna %2 przez caªkowit¡ sum¦ kwadratów odchyle« od ±redniej warto±ci (

∑i

(yi − y)2)

otrzymujemy wzór (78), który chcieli±my wyprowadzi¢:

r2 =

∑i

(axi + b− y)2∑i

(yi − y)2

SMOP-2 B.Kamys: 2016/17 73

8.3.3 Regresja przy pomocy wielomianów ortogonalnych

Tu omówiona zostanie regresja krzywoliniowa ze wzgledu na posta¢ zale»no±ci dopaso-wanych funkcji od argumentu ale liniowa ze wzgledu na zale»no±¢ od dobieranych para-metrów. W takiej sytuacji warto±ci parametrów mo»na znale¹¢ przez rozwiazanie ukªadurówna« liniowych (podobnie jak poprzednio dla parametrów linii prostej). Równaniate sa jednak»e czesto numerycznie niestabilne, tzn. maªe zmiany warto±ci wspóªczynni-ków ukªadu równa« powoduja drastyczne zmiany rozwiaza«. Wygodna metoda uniknieciatych problemów jest zastosowanie wielomianów ortogonalnych. Tu zakªadamy dalej, »ezmienna x jest zmienna kontrolowana , tzn. jej warto±ci sa znane z zaniedbywalniemaªymi bªedami.

a) Regresja przy pomocy wielomianów ortogonalnych na zbiorze warto±ciargumentu xi, i = 1, ...n

Przedstawiamy zmienna y jako rozwiniecie w szereg wielomianów ortogonalnych Pr(x)na zbiorze warto±ci argumentów xi, i = 1, ...n:

y(x) =m∑r=0

θr · Pr(x)

gdzie parametry θr, (r = 1, ...,m) nale»y wyznaczy¢ z warunku minimalizacji sumy kwa-dratów odchyle« wspóªrzednych (yi, i = 1, 2, ..n) zespoªu n punktów o wspóªrzednych(x1, y1),(x2, y2),... (xn, yn) od linii regresji y(x) a wielomiany Pr(x), (r = 1, 2, ...,m)sa okre±lone przez zbiór warto±ci argumentu xi; (i = 1, 2, .., n) na którym maja by¢ortogonalne oraz - ewentualnie - przez zbiór wag wi, (i = 1, 2, ..., n) przypisanych po-szczególnym punktom (xi, yi), (i = 1, 2, ..., n).

Stosowanie wielomianów ortogonalnych ma nastepujace zalety:

1. parametry θr, (r = 1, ...,m) mo»na wyliczy¢ analitycznie poniewa» pojawiajasie jako wspóªczynniki przy wielomianach a wiec mamy do czynienia z liniowymprzypadkiem metody najmniejszych kwadratów (MNK).

2. Obliczenie parametrów odbywa sie przy pomocy prostych wzorów podanych poni»ej.Nie wymaga to odwracania macierzy - jak to ma miejsce w ogólnym przypadkuogólnej liniowej MNK. Dzieki temu unika sie problemów numerycznych gdy» odwra-canie typowych macierzy pojawiajacych sie w MNK jest niestabilna numerycznieprocedura.

3. Parametr θr+1 jest wyznaczany niezale»nie od parametrów θ1, θ2, ...θr, tzn. do-danie nastepnego wyrazu do szeregu nie wpªywa na parametry przy wielomianachni»szego stopnia). Oznacza to równie», »e macierz kowariancji estymatorów pa-rametrów θ jest diagonalna.

SMOP-2 B.Kamys: 2016/17 74

Ortogonalno±¢ wielomianów Pr(x) na zbiorze xi, i = 1, 2, ...n warto±ci argumentuoznacza speªnienie poni»szych warunków:

n∑i=1

wi Pl(xi) · Pk(xi) = 0 dla l 6= k

n∑i=1

wi [Pl(xi)]2 6= 0 (79)

gdzie wi, i = 1, 2, ..n s¡ wagami odpowiednich pomiarów yi, i = 1, 2...n.

Wªasno±ci te wykorzystujemy nastepujaco:Mno»ymy równanie okre±lajace y(x) jako rozwiniecie w szereg wielomianów ortogonal-nych przez dany wielomian Pk(xi) i wag¦ wi a nast¦pnie sumujemy po i co dzieki orto-gonalno±ci wielomianów prowadzi do wzoru:

n∑i=1

yiwiPk(xi) = θk

n∑i=1

wi[Pk(xi)]2

a wiec otrzymujemy analityczny wzór na estymator parametru θk:

Tn(θk) =

n∑i=1

yi wi Pk(xi)

n∑i=1

wi [Pk(xi)]2(80)

Jako wagi wi bierze sie zwykle kwadraty odwrotno±ci bªedów mierzonych wielko±ci Yi,gdy» to bardzo upraszcza rachunki:

wi =1

σ2(yi)(81)

Wida¢ to szczególnie przy szacowaniu bª¦dów estymatorów parametrów a nast¦pnie bª¦-dów znalezionych warto±ci funkcji regresji. Przede wszystkim nale»y zauwa»y¢, »e estyma-tory parametrów θk zale»a liniowo od danych y1, y2, ...yn a wiec macierz kowariancjiestymatorów mo»na wyliczy¢ ±ci±le stosujac wzór na transformacje macierzykowariancji (propagacja bªedów) znajac macierz kowariancji danych y1, y2, ...yn. Cowiecej wiadomo, »e macierz kowariancji parametrów jest diagonalna (bo estymator pa-rametru θk jest wyliczany niezale»nie od estymatorów pozostaªych parametrów) a wiecpozostaje nam znalezienie wariancji tych estymatorów.

SMOP-2 B.Kamys: 2016/17 75

var(Tn(θk)) =

n∑i=1

[wi · Pk(xi)]2σ2(yi)

[n∑i=1

wi · P 2k (xi)]2

Gdy przyjmiemy (tak bedziemy robi¢ w nastepnych wzorach) wi ≡ 1σ2(yi)

to

n∑i=1

[wi · Pk(xi)]2 · σ2(yi) =n∑i=1

w2i · P

2k (xi) ·

1

wi

=n∑i=1

wi · P 2k (xi)

a wiec wariancja estymatora parametru θk wyra»a sie analitycznym wzorem:

var(Tn(θk)) =1

n∑i=1

P 2k (xi)/σ2(yi)

(82)

Równie ªatwo mo»na (±cisle) znale¹¢ wariancje (wiec i bªad) formuªy interpolacyjnej nay(x):

var(y(x)) =m∑r=0

[Pr(x)]2 · var(Tn(θr))

czyli

var(y(x)) =m∑r=0

[Pr(x)]2

n∑i=1

P 2r (xi)/σ2(yi)

(83)

SMOP-2 B.Kamys: 2016/17 76

Jako±¢ dopasowania mo»e by¢ oceniana przez policzenie warto±ci wyra»enia:

Q2(m) =n∑i=1

wi · [yi −m∑r=0

Tn(θr) · Pr(xi)]2, (84)

które przy adekwatno±ci modelu powinno mie¢ rozkªad chi-kwadrat o (n-(m+1)) stop-niach swobody.

Wiedzac o tym mo»emy warto±¢ tego wyra»enia u»ywa¢ jako kryterium doboru najwy»-szego stopnia wielomianu w rozwinieciu (m), gdy» wiemy, »e Q2(m) powinno mie¢ war-to±¢ oczekiwana równa (n−m− 1) z bªedem

√2(n−m− 1).

Czesto zamiast Q2(m) stosuje sie unormowana sume kwadratów odchyle«:

Q2(m)

n−m− 1.

Warto±¢ oczekiwana tej wielko±ci jest równa jedno±ci a bªad√

2n−m−1

.

UWAGA: Innym popularnym wyborem wag jest przyj¦cie wag równych jedno±ci dla wszyst-kich punktów. Wtedy trzeba jednak policzy¢ bª¦dy parametrów i przewidzianej funkcjiregresji wg nieco innych wzorów, uwzgl¦dniaj¡c to, »e wagi nie uproszcz¡ si¦ z kwadratembª¦dów.

var (Tn (θk)) =

n∑i=1

P 2k (xi)σ

2(yi)[n∑i=1

P 2k (xi)

]2 (85)

var (y (x)) =m∑r=0

[Pr(x)]2

n∑i=1

P 2r (xi)σ

2(yi)[n∑i=1

P 2r (xi)

]2

(86)

Ten ostatni wzór jest uogólnieniem wzoru (76), który mo»na z niego otrzyma¢ pod-stawiaj¡c identyczn¡ warto±¢ bª¦du σ(yi) dla wszystkich punktów.

SMOP-2 B.Kamys: 2016/17 77

b) Konstrukcja zespoªu wielomianów ortogonalnych na zbiorze warto±ciargumentu

Zakªadamy, »e maja to by¢ wielomiany ortogonalne z wagamiw1, w2, ...wn na zbiorzewarto±ci argumentu x1, x2, ...xn, posiadajace jednostkowy wspóªczynnik przy najwy»szejpotedze argumentu x. Mo»na pokaza¢, »e wielomiany ortogonalne P0(x), P1(x), ...Pm(x)speªniaja poni»sze formuªy rekurencyjne, które moga by¢ efektywnie zastosowane do ichwyliczenia:

Pr+1(x) = [x+ βr+1] · Pr(x) + γr+1 · Pr−1(x)

βr+1 = −

n∑i=1

wi · P 2r (xi) · xi

n∑i=1

wi · P 2r (xi)

γr+1 = −

n∑i=1

wi · P 2r (xi)

n∑i=1

wi · P 2r−1(xi)

(87)

przy czym startowe wielomiany, tzn. P0(x) i P1(x) okre±la sie nastepujaco:

P0(x) = 1

P1(x) = x−

n∑i=1

wi · xin∑i=1

wi

(88)

Warto zauwa»y¢, »e sumy typu∑i wi·P 2

r (xi) wystepuja zarówno w mianowniku wzorówna γr+2, βr+1, Tn(θr), var(y) jak i w liczniku wzoru na γr+1. Dzieki temu przyprogramowaniu wzorów mo»na te sumy wykorzysta¢ wielokrotnie.

SMOP-2 B.Kamys: 2016/17 78

9 TESTOWANIE HIPOTEZ STATYSTYCZNYCH

9.1 Denicje elementarnych poj¦¢

Poni»ej podamy denicje elementarnych poj¦¢ stosowanych przy testowaniu hipotez.

Hipoteza statystyczna nazywamy hipoteze odnoszaca sie do rozkªadu prawdopodo-bie«stwa zmiennej losowej (funkcji gesto±ci prawdopodobie«stwa, itp.) lub do parametrówrozkªadu prawdopodobie«stwa.

Hipoteza prosta to taka, która jednoznacznie okre±la dystrybuante (rozkªad) zmien-nej losowej, tzn. podana jest posta¢ rozkªadu i warto±ci wszystkich parametrów.

Hipoteza zªo»ona to taka, która nie jest prosta, np. podana jest posta¢ rozkªadu anie sa znane warto±ci niektórych parametrów.

Hipoteza parametryczna to hipoteza odnoszaca sie do warto±ci parametrów roz-kªadu. Inne hipotezy nazywaja sie hipotezami nieparametrycznymi i z natury sahipotezami zªo»onymi.

Hipoteza zerowa "H0” to sprawdzana hipoteza.

Hipoteza alternatywna "H1” to hipoteza, która byliby±my skªonni przyja¢ gdyH0” jest nieprawdziwa.

UWAGA: ”H1” nie musi by¢ prostym zaprzeczeniem ”H0”.

Bªad pierwszego rodzaju to odrzucenie prawdziwej ”H0”.

Poziomem istotno±ci ”α” nazywamy prawdopodobie«stwo popeªnienia bªedupierwszego rodzaju. Przyjmuje sie zwykle ”α” ∈ [0.1 − 0.001] konkretny wybóroczywi±cie zale»y od tego jak kosztowne beda skutki popeªnienia bªedu pierwszego ro-dzaju.

UWAGA: Prosz¦ nie myli¢ poziomu istotno±ci oznaczanego standardowo przez α zpoziomem ufno±ci oznaczanym standardowo przez 1 − α. Te dwa poj¦cia nie maj¡ze sob¡ nic wspólnego mimo podobie«stwa oznacze«.

Bªad drugiego rodzaju to przyjecie nieprawdziwej ”H0”.

UWAGA: Przez sformuªowanie przyjecie hipotezy” nale»y rozumie¢ stwierdzenie, »e"nie mamy podstaw do odrzucenia hipotezy H0”. Pomiaru, którego wynik nie przeczyhipotezie nie mo»na uwa»a¢ za dowód prawdziwo±ci hipotezy !!!

Moc¡ testu nazywamy prawdopodobie«stwo odrzucenia faªszywej ”H0”, tzn. praw-dopodobie«stwo tego, »e nie popeªnimy bªedu II rodzaju. Moc testu oznacza sie zwykleprzez ”1− β” gdzie ”β” oznacza prawdopodobie«stwo popeªnienia bªedu II rodzaju.

SMOP-2 B.Kamys: 2016/17 79

- 3 - 2 - 1 0 1 2 3 4 50 , 0

0 , 1

0 , 2

0 , 3

0 , 4

0 , 5

f(X)

X

N ( 0 , 1 ) N ( 1 . 5 , 1 )

1 - β

α

Rysunek 3: Rysunek ilustruj¡cy znaczenie poziomu istotno±ci α i mocy testu 1− β.

Ró»nic¦ pomi¦dzy poziomem istotno±ci i moc¡ testu ilustruje rysunek 4. Lewa (nie-bieska) krzywa przedstawia rozkªad zmiennej x postulowany przez hipotez¦ zerow¡, któragªosi, »e zmienna ta o rozkªadzie normalnym i odchyleniu standardowym równym jedno-±ci ma warto±¢ oczekiwan¡ równ¡ zero H0 : E(x) = 0, 0. Prawa (czerwona) krzywato rozkªad postulowany przez hipotez¦ alternatywn¡ H1 : E(x) = 1, 5. Zakreskowanepole pod lew¡ krzyw¡ to zaªo»ony poziom istotno±ci α = 0, 05 równy prawdopodobie«-stwu odrzucenia prawdziwej H0 na korzy±¢ faªszywej H1. Pole zaznaczone na »óªto tomoc testu 1−β czyli prawdopodobie«stwo odrzucenia faªszywejH0 na korzy±¢ prawdzi-wej H1. Moc testu ªatwo przedstawi¢ w tym wypadku poniewa» hipoteza alternatywnajest hipotez¡ prost¡, jednoznacznie okre±laj¡c¡ rozkªad zmiennej x i jego parametry. Wprzypadku alternatywnej hipotezy zªo»onej, np. H1 : E(x) > 0, 0 nie jest tak ªatwozilustrowa¢ moc testu.

Dla ªatwiejszego zapami¦tania opisanych powy»ej poj¦¢ w tabelce 1 przytoczone s¡stosowne nazwy odpowiadaj¡ce konkretnym decyzjom podejmowanym przy testowaniuhipotez statystycznych.

Tablica 1: Wyniki podejmowania decyzji przy testowaniu hipotez

H0 prawdziwa H1 prawdziwaPrzyjecie H0 Decyzja prawidªowa Bªad II rodzajuPrzyjecie H1 Bªad I rodzaju Decyzja prawidªowa

SMOP-2 B.Kamys: 2016/17 80

9.2 Schemat postepowania przy testowaniu hipotez

Idea testowania hipotez polega na odrzucaniu postawionej hipotezy (hipotezy zerowejH0) je»eli otrzymane wyniki do±wiadczenia lub obserwacji sa wysoce nieprawdopodobneprzy jej prawdziwo±ci.

1. Pojawienie sie wyników niesprzecznych z H0 nie udowadnia tej hipotezy a jedyniepozwala na stwierdzenie, »e nie ma podstaw do jej odrzucenia.

2. Jak wiadomo, maªe prawdopodobie«stwo pojawienia sie pewnych wyników nie ozna-cza, »e wyniki te sa niemo»liwe. Mo»e wiec sie zdarzy¢, »e przy prawdziwo±ci H0

pojawi sie tak bardzo nieprawdopodobny wynik i» uznamy go za argument dla od-rzucenia H0. Wtedy odrzucajac H0 popeªnimy bªad pierwszego rodzaju.

3. Ustalajac, jakie warto±ci wyników uznamy za upowa»niajace do odrzucenia H0

kierujemy sie kosztami skutków odrzucenia prawdziwej H0 i na tej podstawie usta-lamy prawdopodobie«stwo odrzucenia prawdziwejH0 czyli poziom istotno±ci. Ty-powe warto±ci to α = 0, 1− 0, 001.

4. Odrzucajac H0 automatycznie akceptujemy hipoteze alternatywna H1, która wbraku wcze±niejszych informacji o badanym zagadnieniu powinna by¢ zaprzeczeniemH0: H1 : nieprawda »e H0.

Omówimy poni»ej schemat postepowania przy testowaniu hipotezy, wykorzystujacjako przykªad prosta hipoteze zerowa, która gªosi, »e:H0: Zmienna losowa x posiadajaca rozkªad normalny o znanym odchyleniustandardowym σ(x)=2 ma warto±¢ oczekiwana E(x) = 3.0

• Ustalamy H0.

Zrobili±my to powy»ej. Wa»ne jest u±wiadomienie sobie faktu, »e caªe dalsze rozu-mowanie przeprowadzane jest przy zaªo»eniu, »e H0 jest prawdziwa.

• Tworzymy statystyke testowa Tn.

Czynimy to w taki sposób aby zale»aªa ona od wielko±ci testowanej przez H0 orazznany byª rozkªad tej statystyki przy prawdziwo±ci H0 .

Tu H0 dotyczy warto±ci oczekiwanej E(x) a wiec nasuwa sie aby jako statystyketestowa wzia¢ estymator warto±ci oczekiwanej czyli ±rednia arytmetyczna pomia-rów x. Co wiecej, przy prawdziwo±ci H0 znamy rozkªad tej statystyki - jest torozkªad normalny o warto±ci oczekiwanej E(x) = 3.0 i odchyleniu standardowymσ(x) = σ(x)/

√n = 2/

√n, gdzie n oznacza liczbe pomiarów w próbie, np.

n = 10. Mo»emy wiec wzia¢ ±rednia arytmetyczna pomiarów jako statystyketestowa przy czym wygodnie jest ja standaryzowa¢; x → (x − E(x))/σ(x) borozkªad standaryzowanej zmiennej, tzn. N(0, 1), jest stablicowany:

Tn ≡(x− 3.0)

√10

2

SMOP-2 B.Kamys: 2016/17 81

• Ustalamy H1.

Je»eli przed ustaleniem H1 nie mamy »adnych informacji do±wiadczalnych (obser-wacyjnych) to jako H1 przyjmujemy proste zaprzeczenie H0, tzn. H1 brzmi nie-prawda, »e H0 czyli w naszym przykªadzie H1 : E(X) 6= 3.0. W przypadku,gdy mamy ju» pewne informacje, np. znamy warto±¢ ±redniej arytmetycznej, to whipotezie alternatywnej wykorzystujemy te wiedze. Przypu±¢my, »e w rozwa»anymprzykªadzie ±rednia arytmetyczna z n = 10 pomiarów wynosi 4, 1. W takiej sytu-acji nie miaªoby sensu gªoszenie hipotezy, »e warto±¢ oczekiwana E(x) jest mniejszaod 3. Nale»aªoby wtedy przyja¢ jako H1 hipoteze, »e E(X) > 3.

• Ustalamy poziom istotno±ci α. Jak wspomniano powy»ej α dobieramy biorac poduwage skutki odrzucenia prawdziwej hipotezy zerowej. Je»eli nie sa one gro¹ne lubkosztowne to mo»emy zgodzi¢ sie na du»e prawdopodobie«stwo odrzucenia prawdzi-wejH0 np. 0, 1 lub 0, 05. W przeciwnym wypadku przyjmujemy mniejsza warto±¢poziomu istotno±ci α.

• Okre±lamy obszar krytyczny testu.

Obszar krytyczny testu to ten zbiór warto±ci statystyki testowej który jest najmniejprawdopodobny przy prawdziwo±ci H0 a równocze±nie najbardziej prawdopodobnyprzy prawdziwo±ci H1. W rozwa»anym przykªadzie najmniej prawdopodobne przyprawdziwo±ci H0 sa du»e dodatnie i du»e (co do moduªu) ujemne warto±ci Tn. Hi-poteza alternatywna H1 : H0 jest nieprawdziwa faworyzuje dokªadnie te samewarto±ci statystyki, które odrzuca H0 a wiec obszarem krytycznym beda warto±ci:Tn < zα/2 oraz Tn > z1−α/2, gdzie zq oznacza kwantyl rozkªadu N(0, 1) na po-ziomie q. Tu zaªo»one zostaªo, »e odchylenia w dóª i w góre od warto±ci postulowanejprzezH0 sa równie prawdopodobne. Z kolei hipoteza alternatywnaH1 : E(x) > 3faworyzuje tylko du»e dodatnie warto±ci Tn. Wida¢ to ªatwo ze wzoru denicyjnegona Tn. Jedyna wielko±cia zale»na od do±wiadczenia w denicji Tn jest ±rednia aryt-metyczna pomiarów, która dla E(x) > 3 bedzie w przewa»ajacej liczbie pomiarówtak»e wieksza od 3 co jest równowa»ne temu,»e Tn jest wieksze od zera. A wiecobszarem krytycznym jest zbiór warto±ci statystyki testowej speªniajacy nierówno±¢:Tn > z1−α.

• Sprawdzamy, czy warto±¢ statystyki testowej nale»y do obszaru krytycznego.

Je»eli warto±¢ statystyki testowej traa do obszaru krytycznego to odrzucamy H0

(akceptuj¡c równocze±nieH1). W przeciwnym wypadku stwierdzamy, »e nie mamypodstaw do odrzucenia H0. Wnioski te formuªujemy w nast¦puj¡cy sposób:

W pierwszym przypadku: Na poziomie istotno±ci α odrzucamy hipotez¦zerow¡ H0 wzgl¦dem hipotezy alternatywnej H1.

W drugim wypadku: Na poziomie istotno±ci α nie mamy podstaw doodrzucenia hipotezy zerowej H0 wzgl¦dem hipotezy alternatywnej H1.

SMOP-2 B.Kamys: 2016/17 82

9.3 HIPOTEZY DOTYCZACE WARTOCI OCZEKIWANEJ

Zajmujemy sie zmiennymi o rozkªadzie normalnym. Sa dwie podstawowe hipotezy, którebada sie najcze±ciej:

• Porównanie E(X) z liczba:H0 : E(X) = x0, oraz

• Porównanie warto±ci oczekiwanych dwu populacji:H0 : E(X) = E(Y )

Ka»da z tych hipotez mo»e oczywi±cie by¢ formuªowana jako nierówno±¢, np. H0 :E(X) > X0 ale wtedy hipoteza zerowa jest zªo»ona a wiec nie mamy jednoznaczniezdeniowanego rozkªadu X. Z tego powodu wygodniej jest zawsze bra¢ jako hipotezezerowa równo±¢ E(X) z dana liczba lub E(Y) a interesujaca nas hipoteze traktowa¢ jakohipoteze alternatywna.

9.3.1 PORÓWNANIE E(X) Z LICZBA (H0: E(X)=X0)

Musimy rozró»ni¢ dwa przypadki:

• gdy znamy σ(X), wtedy jako statystyke testowa Tn(X) bierzemy poni»sza staty-styke z o rozkªadzie standardowym normalnym N(0,1):

z =(x− E(X))

σ(X)

• gdy nie znamy σ(X), to jako statystyke Tn(X) bierzemy analogiczna funkcje "t",w której σ zastapiona jest estymatorem S(X):

t =(x− E(X))

S(X).

Statystyka t ma rozkªad Studenta o (n-1) stopniach swobody.Oczywi±cie odchylenie standardowe ±redniej arytmetycznej σ(X) podobnie jak jegoestymator S(X) równe sa odpowiednim warto±ciom dla samej zmiennej X podzie-lonym przez

√n:

σ(X) =σ(X)√n

SMOP-2 B.Kamys: 2016/17 83

Tablica 2: Obszar krytyczny dla hipotez dotyczacych E(X)

Hipoteza H1 Obszar krytyczny Obszar krytycznygdy znamy σ(X) gdy nie znamy σ(X)

E(X) 6= X0 | z |> z1−α2

| t |> t1−α2

E(X) > X0 z > z1−α t > t1−α

E(X) < X0 z < zα t < tα

Sposób okre±lenia obszaru krytycznego dla poszczególnych hipotez alternatywnych po-dany jest w tabeli (2).zα oraz tα to odpowiednio fraktyle standardowego rozkªadu normalnego N(0,1) i rozkªaduStudenta o (n-1) stopniach swobody. Oba te rozkªady sa symetryczne wzgledem zera awiec mo»na wykorzysta¢ nastepujaca symetrie kwantyli:

zα = −z1−α

tα = −t1−α

UWAGA:

1. Rozwa»ania tego rozdziaªu odnosz¡ si¦ do zmiennych o rozkªadzie normalnym alewarto zauwa»y¢, »e przy du»ych próbach mog¡ by¢ stosowane tak»e do innych roz-kªadów. Przyczyn¡ tego jest fakt, »e statystyki testowe s¡ funkcjami ±rednich aryt-metycznych z próby. Dzi¦ki centralnemu twierdzeniu granicznemu ±redniaarytmetyczna ma rozkªad zbie»ny do rozkªadu normalnego nawet dla ory-ginalnego rozkªadu rz¡dz¡cego prób¡ silnie ró»ni¡cego si¦ od rozkªadunormalnego. Na przykªad wida¢ to bardzo dobrze dla zmiennych o rozkªadziewykªadniczym, który jest ewidentnie niesymetryczny, prawosko±ny.

2. Testy rozwa»ane w tym i nast¦pnym rozdziale bior¡ pod uwag¦ jedynie poziomistotno±ci a wi¦c tylko mo»liwo±¢ popeªnienia bª¦du pierwszego rodzaju (odrzuceniaprawdziwej H0). Nie rozwa»aj¡ w ogóle mocy testu, tj. prawdopodobie«stwaodrzucenia faªszywej H0. Takie testy nazywane s¡ testami istotno±ci.

SMOP-2 B.Kamys: 2016/17 84

9.3.2 WARTOCI OCZEKIWANEDWUPOPULACJI (H0 : E(X) = E(Y ))

Tutaj trzeba odró»ni¢ trzy sytuacje:

1.) σ(X) i σ(Y ) znane,

2.) σ(X) i σ(Y ) nieznane ale σ(X) = σ(Y ),

3.) σ(X) i σ(Y ) nieznane oraz σ(X) 6= σ(Y ),

ad 1.) Jako statystyke testowa bierze sie zmienna z:

z =X − Y√

σ2(X)

nx+ σ2(Y )

ny

Zmienna ta ma rozkªad standardowy normalny N(0,1).

ad 2.) Po stwierdzeniu (przy pomocy testu Fishera-Snedecora), »e wariancje zmien-nej X i zmiennej Y mo»na uzna¢ za równe, stosujemy test Studenta ze zmienna tzdeniowana nastepujaco:

t =X − Y

S(X,Y ) ·√

nx+nynx·ny

S(X,Y ) =

√(nx − 1) ∗ S2(X) + (ny − 1) ∗ S2(Y )

nx + ny − 2

Zmienna t ma rozkªad Studenta o (nx + ny − 2) stopniach swobody.

ad 3.) Je»eli test F pokazaª, »e wariancje zmiennych X i Y sa istotnie ró»ne to jakostatystyke testowa u»ywa sie zmodykowanej zmiennej t:

SMOP-2 B.Kamys: 2016/17 85

t =X − Y√

S2(X)

nx+ S2(Y )

ny

Zmienna t ma rozkªad, który mo»na przybli»y¢ rozkªadem Studenta o efektywnejliczbie stopni swobody nef :

nef =(S

2(X)

nx+ S2(Y )

ny)2

(S2(X)/nx)2

nx+1+ (S2(Y )/ny)2

ny+1

− 2

Poniewa» efektywna liczba stopni swobody nef zwykle nie jest liczba caªkowita toszukajac w tablicach musimy zaokragla¢ ja do liczby caªkowitej (bezpieczniej zaokragla¢w dóª - wtedy efektywnie zwiekszamy nieco poziom istotno±ci).

W tabeli przytoczonej poni»ej zdeniowane sa obszary krytyczne dla tych trzech przy-padków przy zastosowaniu dwu ró»nych hipotez alternatywnych H1.

Hipoteza H1 Obszar krytyczny Obszar krytyczny Obszar krytycznyσ(X) i σ(Y ) σ(X) = σ(Y ) σ(X) 6= σ(Y )

znane nieznane nieznane

E(X) 6= E(Y ) | z |> z1−α2

| t |> tnx+ny−2(1− α2) | t |> tnef (1− α

2)

E(X) > E(Y ) z > z1−α t > tnx+ny−2(1− α) t > tnef (1− α)

Oczywi±cie statystyki testowe z i t to statystyki zdeniowane powy»ej a fraktyle na-le»y bra¢ odpowiednio dla rozkªadu standardowego normalnego N(0,1) oraz rozkªadówStudenta o odpowiedniej liczbie stopni swobody.

SMOP-2 B.Kamys: 2016/17 86

9.4 HIPOTEZY DOTYCZACE WARIANCJI

Najwa»niejsze to hipotezy porównujace wariancje zmiennej X z liczba oraz hipoteza po-równujaca wariancje dwu populacji. Zakªadamy, podobnie jak w przypadku hipotez od-noszacych sie do warto±ci oczekiwanych, »e zmienne losowe pochodza z populacji normalnych.

9.4.1 PORÓWNANIE WARIANCJI X Z LICZBA (H0 : σ2(X) = σ20)

Dla testowania takiej hipotezy u»ywa sie statystyki testowejQ2 zdeniowanej nastepujaco:

Q2 =(n− 1) · S2(X)

σ20

Przy prawdziwo±ci H0 ta statystyka ma rozkªad χ2n−1, gdzie n to liczba pomiarów w

próbie a S2(X) to estymator wariancji.Obszary krytyczne dla ró»nych hipotez alternatywnych sa wymienione w tabeli poni»ej:

Hipoteza H1 Obszar krytyczny

σ2(X) 6= σ20 Q2 < χ2

α2lub Q2 > χ2

1−α2

σ2(X) > σ20 Q2 > χ2

1−α

σ2(X) < σ20 Q2 < χ2

α

9.4.2 PORÓWNANIE WARIANCJI DWU POPULACJI

Hipoteza zerowa H0 : σ2(X) = σ2(Y )

Dla testowania tej hipotezy u»ywa sie testu F Fishera-Snedecora. Zarówno zmiennajak i rozkªad prawdopodobie«stwa oznacza sie litera F z dwoma wska¹nikami n1, n2:F(n1, n2). Zmienna F(n1, n2) to stosunek dwu zmiennych o rozkªadach chi-kwadrat podzielonych przez ich liczby stopni swobody , przy czym zmienna w licz-niku ma n1 a zmienna w mianowniku n2 stopni swobody:

SMOP-2 B.Kamys: 2016/17 87

F (n1, n2) ≡(χ2n1

n1)

(χ2n2

n2)

Zmienna ta przyjmuje, jako stosunek dwu nieujemnych liczb, tylko warto±ci nieujemnea ksztaªt jej rozkªadu jest podobny do ksztaªtu rozkªadu χ2.

Jako statystyke testowa F bierze sie iloraz estymatora S2(X) i estymatora S2(Y):

F ≡S2(X)

S2(Y )

atwo pokaza¢, »e statystyka F ma rozkªad F(nx − 1, ny − 1):Wiemy z rozwa»a« dotyczacych porównania wariancji z liczba, »e zmienna Q2 obliczonadla próby skªadajacej sie z n elementów ma rozkªad χ2

n−1. Po podzieleniu jej przez

liczbe stopni swobody (n− 1) otrzymujemy iloraz S2

σ2 . Je»eli prawdziwa jest hipoteza ze-rowa gªoszaca, »e wariancje licznika i mianownika sa równe, to stosunek statystyk S2(X)

(licznika) i S2(Y ) (mianownika) jest równy stosunkowi Q2(X)

nx−1i Q

2(Y )

ny−1czyli równy jest

zmiennej F (nx − 1, ny − 1).

Jako hipoteze alternatywna kªadzie sie brak równo±ci obu wariancji lub to, »e wariancjalicznika jest wieksza od wariancji mianownika:

Hipoteza H1 Obszar krytyczny

σ2(X) 6= σ2(Y ) F < Fα2(nx − 1, ny − 1) lub F > F1−α

2(nx − 1, ny − 1)

σ2(X) > σ2(Y ) F > F1−α(nx − 1, ny − 1)

Je»eli w tablicach podane sa tylko kwantyle rozkªadu F na du»ym poziomie lub tylkona maªym poziomie, to korzysta sie z oczywistej równo±ci:

Fα/2(n1, n2) = 1/F1−α/2(n2, n1)

SMOP-2 B.Kamys: 2016/17 88

9.5 MOC TESTU

Przy badaniu prawdziwo±ci hipotez wa»na jest mo»liwo±¢ brania pod uwag¦ nie tylkopoziomu istotno±ci α, tzn. prawdopodobie«stwa odrzucenia prawdziwej H0 ale tak»emocy testu 1−β, tzn. prawdopodobie«stwa odrzucenia faªszywejH0. Przez β oznaczo-no tu prawdopodobie«stwo popeªnienia bª¦du drugiego rodzaju, tzn. przyj¦cia faªszywejH0. Moc testu zale»y zwykle od poziomu istotno±ci ale nie jest przez niego jednoznacznieokre±lona.

- 3 - 2 - 1 0 1 2 3 4 50 , 0

0 , 1

0 , 2

0 , 3

0 , 4

0 , 5

f(X)

X

N ( 0 , 1 ) N ( 1 . 5 , 1 )

1 - β

α

Rysunek 4: Dwa rozkªady Gaussa: N(0,1) i N(1.5,1). Obszar zakreskowany to poziomistotno±ci α, obszar zaznaczony na »óªto to moc testu 1−β. Rysunek ilustruje sytuacj¦,która pojawia si¦ przy testowaniu hipotezy H0 : E(x) = 0 wzgl¦dem prostej hipotezyalternatywnej H1 : E(x) = 1.5 dla rozkªadu normalnego o odchyleniu standardowymσ(x) = 1.

Na rysunku 4 pokazane s¡ dwa rozkªady normalne o odchyleniu standardowym σ(x) =1. Pierwszy z nich to rozkªadN(0, 1) postulowany przezH0 a drugi to rozkªadN(1, 5, 1)postulowany przez H1. Obszar zakreskowany to poziom istotno±ci α = 0.0028 (obszarna prawo od x = 2 a wi¦c oddalony na prawo od warto±ci oczekiwanej wi¦cej ni» 2 ·σ(x),równy 1 − FZ(2)) a obszar zaznaczony na »óªto to moc testu 1 − β = 0.3085 (obszaroddalony na prawo od E(x) = 1.5 o 0.5 ≡ 0.5 ·σ(x) równy 1−FZ(0.5)), gdzie przezFZ(x) oznaczono dystrybuant¦ rozkªadu N(0, 1).

Z tego rysunku wida¢ wyra¹nie, »e zwi¦kszanie ró»nicy pomi¦dzy x0 ≡ E(x|H0) ix1 ≡ E(x|H1), tj. rozsuwanie rozkªadów, b¦dzie powodowa¢ zwi¦kszanie mocy testu.Podobnie b¦dzie dziaªa¢ zmniejszanie odchylenia standardowego σ(x), tj. zw¦»anie roz-kªadów przy tej samej odlegªo±ci mi¦dzy x0 i x1.

Na powy»szym przykªadzie zostan¡ przedstawione typowe problemy, pojawiaj¡ce si¦gdy rozwa»ana jest moc testu:

SMOP-2 B.Kamys: 2016/17 89

1. Okre±lenie mocy testu dla danej próby.

2. Oszacowanie rozmiaru próby aby uzyska¢ po»¡dan¡ moc testu.

Jak to omówili±my w rozdziale dotycz¡cym hipotez odnosz¡cych si¦ do porównaniawarto±ci oczekiwanej z liczb¡:

H0 : E(x) = x0

dla badania tej hipotezy u»ywa si¦ nast¦puj¡cej statystyki:

t ≡x− x0

S(x)/√n

która posiada rozkªad Studenta o n−1 stopniach swobody (bardzo podobny do rozkªadustandardowego normalnego pokazanego na rys. 4. Wtedy speªniona jest relacja:

t ≡ tn−1

Rozwa»my hipotez¦ alternatywn¡:

H1 : E(x) = x1 gdzie x1 > x0.

W takiej sytuacji obszar krytyczny jest obszarem jednostronnym (prawostronnym), takimjak pokazany na rys. 4 (zbiór warto±ci t > (tn−1)1−α pod zakreskowanym polem równymα).

Zgodnie z denicj¡ mocy testu 1 − β b¦dzie to prawdopodobie«stwo, »e statystykatestowa b¦dzie nale»aªa do obszaru krytycznego wtedy, gdy prawdziwa jestH1 (»óªte polena rysunku 4):

1− β = P

(x− x0

S(x)/√n> (tn−1)1−α |H1 : E(x) = x1

)Wtedy oczywi±cie statystyka testowa nie jest zmienn¡ o rozkªadzie Studenta z n − 1stopniami swobody:

x− x0

S(x)/√n6= tn−1

ale mo»emy zawsze napisa¢:

x− x0

S(x)/√n

=x− x1

S(x)/√n

+x1 − x0

S(x)/√n

czylix− x0

S(x)/√n

= tn−1 +x1 − x0

S(x)/√n

co oznacza, »e wzór na moc testu mo»na przepisa¢ nast¦puj¡co:

SMOP-2 B.Kamys: 2016/17 90

1− β = P

(tn−1 +

x1 − x0

S(x)/√n> (tn−1))1−α

)= P

(tn−1 > (tn−1)1−α −

x1 − x0

S(x)/√n

)

Sytuacja nie jest tak prosta, gdy hipoteza alternatywna jest hipotez¡ zªo»on¡, np.

H1 : E(X) > x0

bez okre±lania, jak¡ konkretn¡ warto±¢ ma E(x). Oczywi±cie wtedy tak»e mo»na prze-ksztaªci¢ statystyk¦ testow¡ w sposób analogiczny jak dla prostej hipotezy alternatywnejale wtedy mo»e to wygl¡da¢ nast¦puj¡co:

x− x0

S(x)/√n

=x− x1

S(x)/√n

+x1 − x0

S(x)/√n

=

=x− x1

S(x)/√n

+x1 − x0

σ(x)/√n·σ(x)

S(x)=

=x− x1

S(x)/√n

+x1 − x0

σ(x)/√n·

√σ2(x) · (n− 1)

S2(x) · (n− 1)=

= tn−1 +x1 − x0

σ(x)/√n·√n− 1

χ2n−1

A wi¦c

1− β = P

(tn−1 +

x1 − x0

σ(x)/√n·√n− 1

χ2n−1

> (tn−1)1−α

)

SMOP-2 B.Kamys: 2016/17 91

9.6 TEST NORMALNOCI ROZKADU

Wiekszo±¢ metod statystyki jest dobrze opracowana matematycznie dla zmiennych o roz-kªadzie normalnym natomiast nie jest oczywiste, »e dadza sie zastosowa¢ bez modykacjidla zmiennych o innych rozkªadach. Z tej przyczyny przed rozpoczeciem bardziej za-awansowanych rozwa»a« statystycznych nale»y sie upewni¢, »e badana zmienna podlegarozkªadowi normalnemu. Sprawdzana hipoteza zerowa polega na stwierdzeniu, »e rozkªadbadanej zmiennej jest rozkªadem normalnym. W zale»no±ci od testu zakªada sie znajo-mo±¢ parametrów rozkªadu jak np. w te±cie lambda Koªmogorowa lub te» nie jest toniezbedne jak np. w badaniu wykresu normalnego.

9.6.1 TEST ZEROWANIA SI WSPÓCZYNNIKA ASYMETRII I KUR-TOZY

Test ten polega na sprawdzeniu, czy speªnione sa warunki konieczne do tego aby rozkªadbadanej zmiennej mógª by¢ rozkªadem normalnym. Wiadomo, »e dla rozkªadu normalnegowspóªczynnik asymetrii i kurtoza (wspóªczynnik przewy»szenia) znikaja niezale»nie odtego jaka jest warto±¢ oczekiwana i wariancja rozkªadu. A wiec

• Hipoteza zerowa, H0:

(γ1 = 0) ∧ (γ2 = 0)

• Statystyka testowa:

Q1 =

√n · g1√

6

Q2 =

√n · g2√

24

gdzie g1 i g2 to estymatory wspóªczynnika asymetrii γ1 i kurtozy γ2:

γ1 ≡E ((x− E(x))3)

σ3(x)γ2 ≡

E ((x− E(x))4)

σ4(x)− 3

opisane poni»szymi wzorami:

g1 =M3√M3

2

, g2 =M4

M22

− 3

SMOP-2 B.Kamys: 2016/17 92

UWAGA:Wielko±ci M2, M3 i M4 to nie sa momenty liczone wzgledem poczatku ukªadulecz estymatory momentów centralnych odpowiednio drugiego, trzeciego i czwartegorzedu:

M2 ≡ 1n

n∑i=1

(xi − x)2

M3 ≡ 1n

n∑i=1

(xi − x)3

M4 ≡ 1n

n∑i=1

(xi − x)4

Je»eli hipoteza zerowa jest prawdziwa oraz próba jest bardzo du»a to statystykig1 i g2 maja rozkªady normalne o warto±ciach oczekiwanych

E(g1) ≈ 0 E(g2) ≈ 0

i odchyleniach standardowych:

σ(g1) ≈√

6

nσ(g2) ≈

√24

n

Wtedy estymatory Q1 i Q2 maja standardowe rozkªady normalne N(0,1).

• Hipoteza alternatywna to zaprzeczenie H0:prawdziwe warto±ci γ1 lub γ2 nie sa równe 0.

• Obszar krytyczny dwustronny. Brzegi okre±lone przez kwantyl rozkªadu N(0,1):

| Q1 |> z1−α2

⋃| Q2 |> z1−α

2

Je»eli rozmiary próby nie sa bardzo du»e to rozkªad statystyk Q1 i Q2 nie przyjmujeswej asymptotycznej postaci; N(0,1) ale warto±ci oczekiwane i wariancje tych zmiennychsa bliskie odpowiednio zeru i jedno±ci. Mo»na to wykorzysta¢ do stworzenia obszarukrytycznego w oparciu o nierówno±¢ Czebyszewa . Jako obszar krytyczny przyjmuje siewarto±ci ( | Q1 |> 3

⋃| Q2 |> 3 ) tj. poziom istotno±ci równy α = 1/9.

Nale»y zwróci¢ uwage na fakt, »e powy»szy test pozwala zwykle w uzasadniony sposóbodrzuci¢ hipoteze zerowa (gdy Q1 lub Q2 traa do obszaru krytycznego) natomiast fakt,

SMOP-2 B.Kamys: 2016/17 93

»e warto±ci tych statystyk nie sa sprzeczne z hipoteza zerowa nie wyklucza mo»liwo±ci, »emamy do czynienia z rozkªadem ró»nym od normalnego.

9.6.2 TEST ZGODNOCI λ - KOMOGOROWA

Ten test stosowany jest do porównania rozkªadu prawdopodobie«stwa z próby ze znanym(teoretycznym) rozkªadem. Tu wykorzystujemy go do testowania normalno±ci rozkªadualemo»na go stosowa¢ do dowolnych teoretycznych rozkªadów ciagªej zmiennejlosowej. Parametry rozkªadu powinny by¢ okre±lone w hipotezie zerowej.

Pomiary z próby x1, x2, x3, ...xn porzadkujemy wg wzrastajacej warto±ci otrzymujacnastepujacy ciag:

x∗1 ≤ x∗2 ≤ x∗3 ≤ ... x∗n

Zmienna losowa X∗m, taka, »e jej realizacja x∗m zajmuje w ciagu m − te miejsce nazy-wamy statystyka pozycyjna rzedu m w próbie n-elementowej.

Tworzymy empiryczna dystrybuante Fn(x) obserwowanej w próbie zmiennej losowej X:

Fn(x) =

0 gdy x ≤ x∗1mn

gdy x∗m < x ≤ x∗m+1 , 1 ≤ m ≤ n− 1

1 gdy x > x∗n

Empiryczna dystrybuanta jest zwykªa funkcja argumentu x ale jest równocze±nie sta-tystyka bo jest deniowana przez wszystkie wielko±ci x∗1, ..., x

∗n z próby.

Mo»na pokaza¢, »e warto±¢ oczekiwana empirycznej dystrybuanty jest równa oszacowy-wanej wielko±ci teoretycznej dystrybuanty

E(Fn(x)) = F (x)

a jej wariancja da»y do zera gdy rozmiary próby da»a do niesko«czono±ci

σ2(Fn(x)) =1

n· F (x) · (1− F (x))→ 0.

Stad Fn(x) jest nieobcia»onym i zgodnym estymatorem F(x).

SMOP-2 B.Kamys: 2016/17 94

• Hipoteza zerowaDystrybuanta obserwowanej zmiennej losowej jest dystrybuanta rozkªadu normal-nego o parametrach E(x) = x0, σ(x) = σ:

E(Fn(x)) =

∫ x

−∞dx ·

1√

2πσ· exp(−

(x− x0)2

2σ2)

• Statystyka testowa:w oryginalnej wersji - zaproponowanej przez Koªmogorowa:

Dn = supx| Fn(x)− F (x) |

Smirnow zaproponowaª dwie inne denicje statystyki testowej (stad czesto u»ywananazwa test Koªmogorowa-Smirnowa):

D+n = sup

x(Fn(x)− F (x))

D−n = − infx

(Fn(x)− F (x))

Dla praktycznych rachunków wykorzystuje sie nieco inne wzory, które wymagajaznajomo±ci teoretycznej dystrybuanty tylko dla zmierzonych warto±ci zmiennejX:

D+n = max

1≤m≤n(m

n− F (x∗m) )

D−n = max1≤m≤n

( F (x∗m)−m− 1

n)

Dn = max( D+n , D

−n )

a dystrybuante F (x∗m) zastepuje sie dystrybuanta G(z) stablicowanego standar-dowego rozkªadu normalnego N(0,1): F (x∗m)=G(z ≡ (x∗m − E(x))/σ(x)).

• Obszar krytyczny: prawostronny (du»e warto±ci Dn, tzn. Dn > Dn(1− α))

Granice obszaru krytycznego, tj. kwantyl Dn(1 − α) mo»na dla n ≥ 10 orazdla poziomu istotno±ci α ≥ 0, 01 wyliczy¢ z przybli»onego wzoru (dokªadno±¢ niegorsza ni» 3 cyfry znaczace)

SMOP-2 B.Kamys: 2016/17 95

Dn(1− α) ≈

√1

2n· (y −

2y2 − 4y − 1

18n)−

1

6n

y ≡ − ln(0, 5 · α)

SMOP-2 B.Kamys: 2016/17 96

Po wyliczeniu z próby warto±ci statystyki Dn porównujemy ja z kwantylem Dn(1− α)znalezionym z tablic lub wyliczonym z podanego wzoru (W praktyce mo»emy wylicza¢ tenkwantyl wg wzoru poniewa» zarówno typowe poziomy istotno±ci α ≥ 0, 01 jak i liczebno±¢próby n ≥ 10 odpowiadaja warunkom stosowania tego wzoru.)Gdy Dn > Dn(1−α) odrzucamy hipoteze zerowa, tzn. stwierdzamy, »e dane do±wiad-czalne wykluczaja to aby rozkªad prawdopodobie«stwa populacji byª rozkªadem normal-nym z parametrami E(x) = x0 i σ(x) = σ, przy czym nasz wniosek mo»e by¢ bªednyz prawdopodobie«stwem α.

UWAGA:

1. Statystyka Dn powinna by¢ liczona ze szczegóªowego szeregu statystycznego ( tj. zindywidualnych pomiarów ) a nie mo»e by¢ liczona z szeregu rozdzielczego (danychpogrupowanych)!!

2. Statystyka λ ≡√n ·Dn testu Koªmogorowa - Smirnowa ma dla n da»acego do

niesko«czono±ci dystrybuant¦ niezale»n¡ od postaci porównywanych rozkªadów:

K(λ) =∞∑

k=−∞

(−1)k exp[−2k2λ2]

Stad mo»na znale¹¢ kwantyle tego rozkªadu. Przytoczymy tylko trzy najcze±ciejstosowane: λ0,95 = 1, 36, λ0,99 = 1, 63 i λ0,999 = 1, 95. Dla n > 150 mo»nau»ywa¢ tych asymptotycznych kwantyli.

To jest wielka zaleta testu ale jest równie» pewna sªabo±cia bo przez to jest stosun-kowo maªo czuªy na posta¢ ogonów rozkªadu.

3. Dla poprawnego stosowania testu Koªmogorowa - Smirnowa niezbedna jest znajo-mo±¢ warto±ci parametrów teoretycznego rozkªadu. Je»eli nie znamy tych para-metrów - musimy je wcze±niej oszacowa¢, np. przy pomocy metody najwiekszejwiarygodno±ci. Istnieja programy, które dokonuja automatycznie takiego oszacowa-nia (np. w pakiecie STATISTICA ta wersja testu nazywa sietestem Koªmogorowa -Smirnowa z poprawka Lillieforsa .

9.6.3 TEST ZGODNOCI χ2 - PEARSONA

Podobnie jak test λ Koªmogorowa tak i ten test stosowany jest do porównania rozkªaduprawdopodobie«stwa z próby ze znanym (teoretycznym) rozkªadem. Tu wykorzystujemy

SMOP-2 B.Kamys: 2016/17 97

go do testowania normalno±ci rozkªadu ale mo»na go stosowa¢ do dowolnych teore-tycznych rozkªadów ciagªej lub dyskretnej zmiennej losowej alepomiary musza by¢ pogrupowane (szereg rozdzielczy) - wprost przeciwnie ni» w przy-padku testu Koªmogorowa.

• Hipoteza zerowaDystrybuanta obserwowanej zmiennej losowej jest dystrybuanta rozkªadu normal-nego:

E(Fn(x)) =

∫ x

−∞dx ·

1√

2πσ· exp(−

(x− x0)2

2σ2)


X2 =k∑i=1

(ni − n · πi)2

nπi

gdzie

k to liczba przedziaªów w szeregu rozdzielczym (przynajmniej kilka),

ni to liczebno±¢ i− tego przedziaªu (ni ≥ 5),

πi to prawdopodobie«stwo zaobserwowania pomiarów w przedziale i − tymje»eli prawdziwa jest hipoteza zerowa,

n to liczba wszystkich pomiarów.

Dowodzi sie, »e asymptotycznie (tzn. dla n → ∞) statystyka X2 ma rozkªadχ2k−r−1, gdzie r jest liczba nieznanych parametrów teoretycznego rozkªadu (dla

rozkªadu normalnego r = 2) oszacowywanych wstepnie z próby metoda najwiekszejwiarygodno±ci.

• Obszar krytyczny to du»e warto±ci X2 (X2 > χ2k−r−1(1 − α)), gdzie w naszym

przypadku testowania normalno±ci rozkªadu χ2k−r−1(1− α) jest kwantylem rzedu

1−α rozkªadu χ2k−1 (gdy znamy E(x) i σ(x) rozkªadu normalnego) lub rozkªadu

χ2k−3 (gdy musimy oszacowa¢ przed testowaniem normalno±ci E(x) i σ(x) ).

Test χ2 równie» nie wymaga skomplikowanych oblicze« i dlatego mo»e by¢ przeprowa-dzony bez u»ycia komputera ale kwantyle tego rozkªadu nie dadza sie policzy¢ tak prostojak dla testu Koªmogorowa. Musimy korzysta¢ z tablic statystycznych.

SMOP-2 B.Kamys: 2016/17 98

9.6.4 WYKRES NORMALNY

Wykres ten jest szczególnym przypadkiem wykresu kwantyl - kwantyl, na którym przed-stawia sie estymatory kwantyli dla rozkªadu zmiennej z próby w funkcji kwantyli teoretycz-nego rozkªadu. Jako kwantyle teoretycznego rozkªadu bierze sie kwantyle standardowegorozkªadu normalnego. Jako kwantyle do±wiadczalne bierzemy kolejne warto±ci pozycyj-nej statystyki z próby. Je»eli hipoteza zerowa (normalno±¢ rozkªadu mierzonej wielko±ciX) jest prawdziwa to tak otrzymany wykres powinien by¢ linia prosta. Odstepstwa odprostoliniowo±ci sa argumentem za odrzuceniem hipotezy zerowej.

• Hipoteza zerowaDystrybuanta obserwowanej zmiennej losowej jest dystrybuanta rozkªadu normal-nego, przy czym dla tego testu nie jest wymagana znajomo±¢ parametrów rozkªadu.

• Statystyka testowaJako statystyke testowa mo»na wzia¢ estymator wspólczynnika korelacji r pomiedzydo±wiadczalnymi i teoretycznymi kwantylami.

Postepujemy nastepujaco:

1. Porzadkujemy pomiary xk tak aby utworzyªy ciag rosnacy x∗k czyli sta-tystyke pozycyjna. Statystyke pozycyjna rzedu k z n - elementowej próbytraktujemy jako estymator kwantyla na poziomie k/(n+ 1).

2. Szukamy zk, tj. teoretycznego kwantyla standardowego rozkªadu normalnegona poziomie k/(n+ 1) wykorzystujac relacje:

F (zk) =k

n+ 1⇒ zk = F−1

(k

n+ 1

)

gdzie przez F−1(x) nale»y rozumie¢ funkcje odwrotna do dystrybuanty F (y).

3. Rysujemy pary zk, x∗k. Gdy wykres wyra¹nie ró»ni sie od linii prostej toodrzucamy H0, w przeciwnym wypadku liczymy estymator wspóªczynnika ko-relacji r(zk, x∗k) i przeprowadzamy bardziej ilo±ciowe rozwa»ania.

• Obszar krytyczny to maªe warto±ci estymatora r wspóªczynnika korelacji %(zk, x∗k),

tj. mniejsze od odpowiednich warto±ci krytycznych rn(α) zale»nych od poziomuistotno±ci α (test lewostronny). Warto±ci te mo»na znale¹¢ w tablicach lub zasto-sowa¢ przybli»one wzory podane poni»ej:

rn(α = 0.01) ≈ 1−0.5669

n2/3, rn(α = 0.05) ≈ 1−

0.3867

n2/3

SMOP-2 B.Kamys: 2016/17 99

Wzory te daja krytyczne warto±ci wspóªczynnika korelacji rn(α) dla dwupoziomów istotno±ci α z dokªadno±cia nie gorsza ni» 1% je»eli rozmiar próby n le»yw przedziale 5 < n < 1000. (Tablice krytycznych warto±ci estymatora r mo»naznale¹¢ w bardzo bogatym i napisanym w przystepny sposób dla u»ytkownikówstosujacych statystyke w praktyce poradniku statystycznym dostepnym w sieciinternetowej pod adresem: http://www.itl.nist.gov/div898/handbook/ ).

UWAGA:Je»eli linia prosta jest dobrym przybli»eniem, to wspóªczynnik kierunkowy prostejzk, x∗k równy jest parametrowi skali (tj. odchyleniu standardowemu) awspóªrzednaprzeciecia prostej z osia x∗k równa jest wspóªczynnikowi tendencji centralnej (warto±cioczekiwanej X). W ten sposób mo»na oszacowa¢ parametry rozkªadu normalnego, rzadzacegowarto±ciami zmiennej z próby.

SMOP-2 B.Kamys: 2016/17 100

9.7 TESTY NIEPARAMETRYCZNEHIPOTEZ PORÓWNUJACYCH POPULACJE

Do tej pory rozwa»ali±my testy sprawdzajace hipotezy gªoszace równo±¢ warto±ci oczeki-wanych dwu zmiennych a tak»e równo±¢ wariancji dwu zmiennych. Testy te dotyczyªyjedynie zmiennych o rozkªadach normalnych. Teraz omówimy testy odnoszace sie do hi-potez gªoszacych identyczno±¢ dystrybuant dwu populacji; H0 : F (X) = G(X)niezale»nie od postaci rozkªadu . Dystrybuanty oznaczono ró»nymi literami aby pod-kre±li¢, »e odnosza sie do dwu ró»nych populacji ale badamy te sama zmienna losowaX dla obu populacji biorac próbe liczebno±ci n1 z pierwszej populacji i liczebno±ci n2 zdrugiej populacji.

9.7.1 TEST SMIRNOWA

• Hipoteza zerowa H0 : F (X) ≡ G(X) gdzie zmienna X jest zmienna ciagªa.F (X) i G(X) sa odpowiednio dystrybuantami zmiennej X dla pierwszej i drugiejpopulacji.

Inne sformuªowanie toH0 : E(Fn1(X)) = E(Gn2(X)), gdzie Fn1(X) i Gn2(X)to empiryczne dystrybuanty otrzymane na podstawie dwu prób o liczebno±ci n1

i n2 wzietych odpowiednio z pierwszej i drugiej populacji (zdeniowane tak jak dlarozkªadu Koªmogorowa).

• Hipoteza alternatywna H1: zaprzeczenie H0

• Statystyka testowa Dn1,n2 :

Dn1,n2 = supx| Fn1(x)−Gn2(x) |

Nale»y zauwa»y¢, »e obie dystrybuanty sa od tej samej warto±ci argumentu.

Poniewa» speªniona jest relacja:

Dn1,n2 = Dn2,n1

wiec bez ograniczenia ogólno±ci wniosków mo»na rozwa»a¢ tylko

Dn1,n2

SMOP-2 B.Kamys: 2016/17 101

zakªadajac, »en1 ≤ n2.

W praktycznych rachunkach u»ywa sie nastepujacych wzorów na Dn1,n2 , gdzieobliczenia wykonuje sie tylko dla warto±ci argumentów zaobserwowanych w obupróbach i dla rozró»nienia prób stosuje sie symbole x∗1...x

∗n1

i y∗1....y∗n2

na statystykipozycyjne odpowiednio z pierwszej i drugiej próby:

D+n1,n2

= max1≤i≤n1

(in1−Gn2(x

∗i ))

D−n1,n2= max

1≤i≤n1

(Gn2(x

∗i )−

i−1n1

)Dn1,n2 = max

(D+n1,n2

, D−n1,n2

)

lub te»

D+n1,n2

= max1≤j≤n2

(Fn1(y

∗j )−

j−1n2

)D−n1,n2

= max1≤j≤n2

(jn2− Fn1(y

∗j ))

Dn1,n2 = max(D+n1,n2

, D−n1,n2

)

TWIERDZENIE (Smirnow):Gdy H0 jest prawdziwa oraz liczby pomiarów n1 i n2 da»a do niesko«czono±ci torozkªad zmiennej

Dn1,n2 ·√n1 · n2

n1 + n2

d¡»y do rozkªadu λ (Koªmogorowa).♦

Je»eli obie próby sa odpowiednio du»e (ni > 150) to mo»na ju» z rozsadnymprzybli»eniem stosowa¢ asymptotyczne wzory, tj.

Dn1,n2(1− α) ≈

√n1 + n2

n1 · n2

· y1−α

SMOP-2 B.Kamys: 2016/17 102

gdzie y1−α jest kwantylem rozkªadu lambda Koªmogorowa, którego dystrybuantai kwantyle na poziomie 0.95, 0.99 i 0.999 przytoczone s¡ w uwagach ko«cz¡cychrozdziaª dotycz¡cy testowania normalno±ci rozkªadu testem Koªmogorowa.

Gdy n1 i n2 sa maªe, trzeba stosowa¢ dokªadny rozkªad statystykiDn1,n2 znalezionyprzez Masseya (F.J.Massey, AMS 23 (1952) 435-441).

• Obszar krytyczny: prawostronny (du»e warto±ci statystyki testowej)

SMOP-2 B.Kamys: 2016/17 103

9.7.2 TEST ZNAKÓW

Test znaków sªu»y do sprawdzenia hipotezy zerowej gªoszacej, »e dystrybuanty dwuciagªych zmiennych losowych X i Y sa identyczne:

• Hipoteza zerowa H0 : G(X) = F (Y ).

Przy prawdziwo±ciH0 prawdopodobie«stwo P (X > Y ) tego, »e zajdzie zdarze-nie losowe X > Y , jest równe prawdopodobie«stwu P (X < Y ) tego, »e X < Y .Ze wzgledu na zaªo»enie ciagªo±ci zmiennych prawdopodobie«stwo równo±ci X i Yjest równe zero; P (X = Y ) = 0 a poniewa» te trzy zdarzenia sa rozªaczne iwyczerpuja wszystkie mo»liwo±ci wiec ostatecznie:

P (X < Y ) = P (X > Y ) = 1/2

• Hipoteza alternatywna H1 : G(X) 6= F (Y ).

• Statystyka testowa to liczba k takich par, »e xi > yi w±ród n niezale»nych par(xi, yi). Rozkªad prawdopodobie«stwa tej statystyki przy prawdziwo±ci H0 to roz-kªad Bernoulliego z parametrem p = 1/2 :

P (k) = (nk) ·1

2k·

1

2(n−k)= (nk) ·

1

2n

• Obszar krytyczny to bardzo maªa (k ≈ 0) i bardzo du»a (k ≈ n) liczba par (xi, yi),takich »e xi > yi (obszar dwustronny). Je»eli mamy wskazówki, »e prawdopodo-bie«stwo pojawienia sie warto±ci X wiekszych od Y jest wieksze ni» 1/2 to nale»yprzyja¢ prawostronny obszar krytyczny (k > kp) a gdy prawdopodobie«stwo Xwiekszych od Y jest mniejsze od 1/2 to lewostronny obszar krytyczny (k < kl).

Brzeg prawostronnego obszaru krytycznego kp szukamy z warunku:

P (k ≥ kp) = 2−n ·n∑

i=kp

(ni ) = α

SMOP-2 B.Kamys: 2016/17 104

Brzeg lewostronnego obszaru krytycznego kl szukamy z warunku:

P (k ≤ kl) = 2−n ·kl∑i=0

(ni ) = α

a brzegi dwustronnego obszaru krytycznego z obu powy»szych wzorów, w którychzastapi sie α przez α/2.

UWAGA:

1. Tu zakªadali±my milczaco, »e nie beda sie pojawiaªy pary (xi = yi) poniewa»obie zmienne sa ciagªe a wiec prawdopodobie«stwo takich par wynosi zero. Wpraktyce obliczenia wykonywane sa zawsze ze sko«czona dokªadno±cia a to powodujepojawianie sie powy»szych par. Je»eli ich liczba jest niewielka w porównaniu doliczby wszystkich par to mo»na je po prostu pomina¢. W przeciwnym wypadkustosuje sie losowanie , które (z prawdopodobie«stwem 0,5 ) okre±la czy dana parezaliczy¢ do par, w których xi > yi czy odwrotnie.

2. Cz¦sto wygodnie jest obliczy¢ sum¦ prawdopodobie«stw poczynaj¡c od 0 (lub odn, t.j. caªkowitej liczby par - zale»nie od tego czy k jest mniejsze czy wi¦ksze odn/2) do obserwowanej warto±ci liczby par k. Tak¡ sum¦ nazywa si¦ granicznympoziomem istotno±ci (w j¦zyku angielskim p-value) dla testu jednostronnego.Je»eli p-value jest mniejsze od poziomu istotno±ci α to statystyka testowa traa doobszaru krytycznego.

9.7.3 TEST SERII WALDA - WOLFOWITZA

Seria nazywamy ka»dy podciag ciagu zªo»onego z elementów A i B majacy te wªasno±¢,»e nale»a do niego elementy tego samego typu (A lub B).

Liczba serii ns speªnia warunek:

2 ≤ ns ≤ 2 ·min(nA, nB) + 1− δnA,nB

SMOP-2 B.Kamys: 2016/17 105

gdzie nA i nB to odpowiednio liczby elementów typu A i typu B w caªym ciagu.

Test serii Walda-Wolfowitza sªu»y do sprawdzania hipotezy gªoszacej, »e dystrybu-anty dwu zmiennych ciagªych X i Y sa identyczne:

• Hipoteza zerowa H0 : F1(X) = F2(Y ) (dla x=y)

• Hipoteza alternatywna H1 : F1(X) 6= F2(Y )

• Statystyka testowa ns (liczba serii).

Mamy próbe skªadajaca sie z nA warto±ci zmiennej X oraz z nB warto±ci zmiennejY . Zapisujemy te nA + nB warto±ci w jeden niemalejacy ciag i sprawdzamy ilejest serii typu A (tzn. skªadajacych sie z elementów X) i ile jest serii typu B (tzn.skªadajacych sie z elementów Y ). Je»eli zdarzy sie, »e dwie warto±ci sa identyczneto musimy losowa¢ (z prawdopodobie«stwem 0,5), która z nich ma by¢ pierwsza wciagu.

• Obszar krytyczny - lewostronny : ns ≤ ns(α)

Gdy hipoteza zerowa jest sªuszna to mo»emy sie spodziewa¢, »e warto±ci X saprzemieszane z warto±ciami Y a wiec liczba serii bedzie du»a. Je»eli dystrybuantyzmiennych X i Y sa ró»ne to spodziewamy sie, »e systematycznie jedna z tychzmiennych bedzie wieksza od drugiej (przynajmniej na pewnym odcinku warto±ci)a wiec liczba serii bedzie maªa. Stad maªa liczba serii w próbie bedzie ±wiadczy¢przeciw hipotezie zerowej.

Rozkªad liczby serii ns jest znany przy prawdziwo±ci H0 i wyra»a sie analitycz-nym wzorem:

p(ns) =

2

nA − 1

ns2− 1

nB − 1

ns2− 1

nA + nB

nA

dla ns parzystego

nA − 1

ns2− 1

2

nB − 1

ns2− 3

2

+

nA − 1

ns2− 3

2

nB − 1

ns2− 1

2

nA + nB

nA

dla ns nieparzystego

a wiec mo»na znale¹¢ (numerycznie) warto±ci krytyczne statystyki testowej.

SMOP-2 B.Kamys: 2016/17 106

UWAGA:Warto zauwa»y¢, »e w przypadku odrzucenia hipotezy zerowej, tj. zaobserwowania maªejliczby serii, mo»na próbowa¢ uzyska¢ informacje o relacji pomiedzy warto±ciami oczeki-wanymi E(X) i E(Y ) sprawdzajac czy na poczatku caªego ciagu przewa»aja warto±citypu A (tj. warto±ci zmiennej X) czy typu B(warto±ci zmiennej Y ).

Je»eli na poczatku mamy przewage warto±ci typu A a potem typu B to mo»emy uwa»a¢,»e E(X) < E(Y ). W przypadku odwrotnym spodziewamy sie, »e E(X) > E(Y ).

SMOP-2 B.Kamys: 2016/17 107

9.7.4 TEST SUMY RANG WILCOXONA - MANNA - WHITNEYA

Test ten zostaª opracowany przez F. Wilcoxona dla dwu równie licznych prób a pó¹niejuogólniony przez H.B. Manna i D.R. Whitneya na dwie próby o dowolnej liczebno±ci.Mo»na wiec spotka¢ sie z nazwa test Wilcoxona lub test Wilcoxona-Manna-Whitneya.

Przez range obserwacji rozumie sie liczbe naturalna równa numerowi miejsca, który taobserwacja zajmuje w uporzadkowanym ciagu niemalejacym obserwacji w próbie (numerdanej statystyki pozycyjnej). Je»eli dwie lub wiecej obserwacji ma te sama warto±¢ toich rangi sa równe ±redniej arytmetycznej rang, które posiadaªyby gdyby sie minimalnieró»niªy (tzn. ró»niªyby sie tak maªo, »e nie zmieniªyby poªo»enia w ciagu w stosunku doinnych obserwacji).

• Hipoteza zerowa H0 : F1(X) = F2(Y )

• Hipoteza alternatywna H1 : F1(X) 6= F2(Y )

Mo»na jednak postawi¢ inne hipotezy alternatywne:

H1 : P (X > Y ) > 0, 5 lub

H1 : P (X > Y ) < 0, 5


w =

nmin∑i=1

ranga(i)

nmin oznacza liczebno±¢ mniejszej próby a ranga(i) to ranga kolejnej obserwacjiz mniej licznej próby ale w ciagu utworzonym z obserwacji obu prób.

• Obszar krytyczny: Dla prostego zaprzeczenia - obustronny, a dla dwu pozostaªychhipotez alternatywnych jest odpowiednio prawo- i lewostronny (przy zaªo»eniu, »epróba mniej liczna jest próba 'X'). Warto±ci krytyczne trzeba bra¢ z odpowiednichtablic.

SMOP-2 B.Kamys: 2016/17 108

9.7.5 WYKRES KWANTYL-KWANTYL

Kwantylem na poziomie q nazywamy tak¡ warto±¢ xq zmiennej losowej x, »e prawdo-podobie«stwo znalezienie mniejszych warto±ci x od xq wynosi q. Dla zmiennej ci¡gªejpoziom kwantyla q mo»e przybiera¢ wszystkie warto±ci z przedziaªu [0, 1] a dla zmiennejdyskretnej tylko dyskretne warto±ci. Dotyczy to równie» warto±ci kwantyla, który dlazmiennej ci¡gªej mo»e przyjmowa¢ dowolne rzeczywiste warto±ci xq z przedziaªu, gdziezmienna jest okre±lona a dla zmiennej dyskretnej tylko dyskretne warto±ci xj :

q =xq∫−∞

f(x) dx

qj =j∑i=1

p(xi)

Mo»na pokaza¢, rozwa»aj¡c zamian¦ zmiennych w powy»szej caªce deniuj¡cej kwan-tyl, »e zamiana zmiennej losowej na inn¡ poprzez monotoniczn¡ tranformacj¦ prowadzido identycznej transformacji kwantyla. W zwi¡zku z tym, je»eli zmienna y jest liniow¡funkcj¡ zmiennej x to kwantyl yq jest tak¡ sam¡ liniow¡ funkcj¡ kwantyla xq. W szcze-gólno±ci gdy zwi¡zek pomi¦dzy y i x jest to»samo±ci¡ y(x) = x to yq = xq dla ka»degopoziomu kwantyla. A wi¦c linia, która b¦dzie utworzona przez punkty o wspóªrz¦dnych(xq, yq) - dla ró»nych warto±ci q) - powinna by¢ lini¡ prost¡ nachylon¡ pod k¡tem 45

do osi odci¦tych, przechodz¡c¡ przez pocz¡tek ukªadu wspóªrz¦dnych.

Dla zbadania hipotezy czy dwie zmienne X i Y , reprezentowane przez dwie próbystatystyczne x1, x2, ...xnx i y1, y2, ...yny maj¡ identyczny rozkªad prawdopodobie«stwapost¦pujemy nast¦puj¡co:

1. Porz¡dkujemy zmierzone warto±ci w ci¡gi niemalej¡ce: x∗1 ≤ x∗2 ≤ ... ≤ x∗nx orazy∗1 ≤ y∗2 ≤ ... ≤ y∗ny

2. Traktujemy statystyk¦ pozycyjn¡ x∗i jako estymator kwantyla xq na poziomieq = i/(nx+1) a statystyk¦ pozycyjn¡ y∗j jako estymator kwantyla yp na poziomiep = j/(ny + 1).

3. Gdy nx = ny to statystyki pozycyjne x∗k i y∗k reprezentuj¡ estymatory kwantyli obu

zmiennych na tym samym poziomie a wi¦c wykres kwantyl-kwantyl b¦dzie wykresemstatystyki pozycyjnej y∗k w funkcji statystyki pozycyjnej x∗k. Gdy jedna z prób jestmniej liczna, np. nx < ny to interpolujemy warto±ci estymatorów kwantyli zbardziej licznej próby (tu y∗k) tak aby uzyska¢ identyczne poziomy kwantyli jak dlamniej licznej próby i rysujemy wykres tylu punktów ile wynosi liczebno±¢ mniejszejpróby.

Interpretacja mo»liwych wyników:

• Je»eli punkty ukªadaj¡ si¦ na linii prostej nachylonej pod k¡tem 45 do osi odci¦tychoraz przechodz¡cej przez pocz¡tek ukªadu odniesienia to akceptujemy hipotez¦ ze-row¡ gªosz¡c¡, »e oba rozkªady s¡ identyczne.

SMOP-2 B.Kamys: 2016/17 109

• Je»eli punkty ukªadaj¡ si¦ na linii prostej przechodz¡cej przez pocz¡tek ukªaduwspóªrz¦dnych ale nachylonej pod innym k¡tem ni» 45 to oznacza, »e zmienna yma rozkªad o takim samym ksztaªcie jak zmienna x ale wyra»ony w innych jed-nostkach (odchylenie standardowe jednej zmiennej jest inne ni» drugiej oraz warto±¢oczekiwana te» zwykle jest inna).

• Je»eli wykres kwantyl-kwantyl jest lini¡ prost¡ nachylon¡ pod k¡tem 45 ale nieprzechodz¡c¡ przez pocz¡tek ukªadu wspóªrz¦dnych to rozkªady prawopodobie«-stwa maj¡ taki sam ksztaªt i identyczne wariancje ale jedna zmienna ma warto±ciprzesuni¦te wzgl¦dem drugiej zmiennej o staª¡ liczb¦ (warto±ci oczekiwane ró»ni¡si¦ o t¦ liczb¦).

• Je»eli wykres kwantyl-kwantyl jest lini¡ prost¡ ale nie jest ona nachylona pod k¡tem45 oraz nie przechodzi przez pocz¡tek ukªadu wspóªrz¦dnych to rozkªady maj¡ takisam ksztaªt ale ró»ne warto±ci oczekiwane i ró»ne wariancje.

• Je»eli wykres nie jest lini¡ prost¡ to zmienne maj¡ rozkªady ró»ni¡ce si¦ ksztaªtem.

Ilo±ciowo mo»emy zdecydowa¢ o tym czy akceptujemy ukªadanie si¦ punktów na li-nii prostej badaj¡c warto±¢ wspóªczynnika korelacji tak jak przy wykresie normalnym(rozdziaª (9.6.4)).

SMOP-2 B.Kamys: 2016/17 110

9.8 HIPOTEZA JEDNORODNOCI WARIANCJI

Zajmujemy sie zmiennymi o rozkªadzie normalnym. Sprawdzamy czy wariancje kilkupopulacji sa takie same (np. czy dokªadno±¢ kilku ró»nych serii pomiarów jest takasama). Ta wªasno±¢ - zwana jednorodno±cia wariancji - mo»e by¢ interesujaca samaw sobie a dodatkowo jest niezbedna je»eli chcemy bada¢ równo±¢ warto±ci oczekiwanychkilku populacji przez zastosowanie tzw. analizy wariancji (ANOVA).

9.8.1 TEST BARTLETTA

Badamy k populacji normalnych . Z ka»dej populacji i = 1, .., k bierzemy ni obserwacji(w sumie n =

∑ni=1 ni wyników).

• Hipoteza zerowa H0: Wszystkie wariancje sa sobie równe:

σ21 = σ2

2 = ·· = σ2k

• Hipoteza alternatywna H1: Przynajmniej jedna wariancja jest wieksza od pozosta-ªych:

σ2j > σ2

1 = · · σ2j−1 = σ2

j+1 = ·· = σ2k


M =

−

k∑i=1

(ni − 1) · ln(S2i

S2

)1 + 1

3(k−1)

[k∑i=1

1ni−1− 1

n−k

]

gdzie S2i jest estymatorem wariancji dla i-tej próby:

S2i = 1

ni−1

ni∑j=1

(xji − xi)2 oraz S2 = 1n−k

k∑i=1

(ni − 1) · S2i .

Bartlett pokazaª, »e zmienna M zdeniowana powy»ej ma rozkªad, który bardzoszybko da»y do rozkªadu chi-kwadrat o k-1 stopniach swobody. Wystarcza ju»warunek ni > 3 dla wszystkich prób i.

• Obszar krytyczny: prawostronny.

SMOP-2 B.Kamys: 2016/17 111

9.8.2 TEST COCHRANA

Mo»na go stosowa¢ dla k populacji normalnych je»eli liczebno±¢ wszystkich prób ni,i=1,..,k jest identyczna.


σ21 = σ2

2 = ·· = σ2k


σ2j > σ2

2 = · · σ2j−1 = σ2

j+1 = ·· = σ2k


G =maxiS2i

k∑i=1

S2i

gdzie S2i jest estymatorem wariancji dla i-tej próby.

• Obszar krytyczny: prawostronny. Nale»y korzysta¢ ze specjalnych tablic testu Co-chrana.

9.8.3 TEST Fmax HARTLEYA

Podobnie jak test Cochrana mo»na go stosowa¢ dla k populacji normalnych je»eli liczeb-no±¢ wszystkich prób ni, i=1,..,k jest identyczna.


σ21 = σ2

2 = ·· = σ2k


σ2j > σ2

2 = · · σ2j−1 = σ2

j+1 = ·· = σ2k


Fmax =maxiS2i

miniS2i

gdzie S2i jest estymatorem wariancji dla i-tej próby.

• Obszar krytyczny: prawostronny. Nale»y korzysta¢ ze specjalnych tablic testu Har-tleya.

SMOP-2 B.Kamys: 2016/17 112

9.9 ANALIZA WARIANCJI - klasykacja jednoczynnikowa

Analiza wariancji - zaproponowana przez R. A. Fishera - to metoda sªu»aca w swojejnajprostszej wersji do porównania warto±ci oczekiwanych kilku populacji normal-nych.

Jednoczynnikowa analiza wariancji bierze swa nazwe z faktu podziaªu caªej popu-lacji warto±ci ilo±ciowej zmiennej x na k populacji ró»niacych sie warto±cia lub pozio-mem jednego klasykujacego czynnika . Tym czynnikiem nie jest warto±¢ zmiennejx lecz jaka± inna wielko±¢, która w szczególno±ci mo»e by¢ zmienna jako±ciowa. Przypomocy analizy wariancji sprawdzamy czy warto±ci oczekiwane zmiennej x dla populacjiró»niacych sie warto±cia (poziomem) czynnika klasykujacego sa identyczne. Na przy-kªad, zmienna x mo»e by¢ temperatura pacjentów a czynnikiem klasykujacym - rodzajchoroby (nominalna zmienna jako±ciowa). Wtedy stwierdzenie, »e dla ró»nych poziomówczynnika klasykujacego (ró»nych chorób) ±rednia temperatura ciaªa jest ró»na mo»e po-zwoli¢ na uªatwienie rozpoznania rodzaju choroby.

Analiza wariancji zwana popularnie ANOVA (ANalysis Of VAriance) pozwala, wprzypadku odrzucenia hipotezy zerowej, stwierdzi¢ wpªyw poziomu pewnego jako±ciowegoczynnika na mierzalna charakterystyke badanego obiektu. Dzieki temu ANOVA ma bar-dzo szerokie zastosowanie w naukach biologicznych i medycznych gdzie czesto mamy doczynienia ze zmiennymi jako±ciowymi.

ZAOENIA:

1. Badamy k populacji charakteryzowanych przez zmienna X. Zakªadamy, »e zmienneX1, ..., Xk przypisane populacjom 1, ..., k sa niezale»ne i maja rozkªady normalne.

2. Wszystkie populacje maja równe wariancje,

Je»eli nie mamy z góry zagwarantowanego speªnienia tych zaªo»e« to musimy przepro-wadzi¢ odpowiednie testy statystyczne (np. Test λ-Koªmogorowa, test χ2 Pearsonalub inne dla sprawdzenia normalno±ci populacji oraz test Bartletta lub Cochrana dlasprawdzenia identyczno±ci wariancji - nazywanej jednorodno±cia wariancji - dla ró»nychpopulacji).

• Hipoteza zerowa: H0: E(X1) = E(X2) = ... = E(Xk)

• Hipoteza alternatywna: H1: Niektóre E(Xi) sa ró»ne.


Wprowadzamy nastepujace oznaczenia:

xij to j-ty pomiar z i-tej próby (i-tej populacji)

SMOP-2 B.Kamys: 2016/17 113

ni to liczebno±¢ i-tej próby, przy czymk∑i=1

ni = N

xi· to ±rednia arytmetyczna dla i-tej próby:

xi· =1ni

ni∑j=1

xij czylini∑j=1

xij = ni · xi·

x·· to ±rednia arytmetyczna wszystkich pomiarów:

x·· =1N

k∑i=1

ni∑j=1

xij = 1N

k∑i=1

ni · xi·

s2b ≡

1(k−1)

k∑i=1

ni∑j=1

(xi· − x··)2 = 1(k−1)

k∑i=1

ni · (xi· − x··)2

to estymator wariancji caªkowitego zbioru danych liczony z rozrzutu ±rednicharytmetycznych poszczególnych prób i = 1, .., k. Kwadrat odchylenia i-tej±redniej xi· od ogólnej ±redniej wchodzi do wzoru z waga równa liczebno±cii-tej próby. Poniewa» ogólna ±rednia narzuca jeden warunek na zespóª k ±red-nich grupowych to suma s2

b ma (k − 1) stopni swobody .Wska¹nik "b"pochodzi od angielskiego sªowa "between"(pomiedzy) i s2

b na-zywany jest estymatorem "wariancji miedzygrupowej". U»ywa sie równie»okre±lenia wariancja wedªug badanego czynnika".

s2w ≡

1(N−k)

k∑i=1

ni∑j=1

(xij − xi·)2

to estymator wariancji caªkowitego zbioru danych liczony z rozrzutu pomiarówwewnatrz ka»dej próby i = 1, .., k. Liczba stopni swobody dla sumy kwa-dratów wewnatrz j-tej grupy to (ni − 1). Liczba stopni swobody dla sumykwadratów po wszystkich k grupach to:

(n1 − 1) + (n2 − 1) + ..+ (nk − 1) =k∑i=1

ni − k = N − k.

Stad liczba stopni swobody tej sumy wynosi (N − k).Wska¹nik "w" pochodzi od angielskiego sªowa "within" (wewnatrz) i dlategoestymator s2

w nazywany jest estymatorem wariancji wewnatrzgrupowej".U»ywa sie tak»e okre±lenia resztowa wariancja".

TWIERDZENIE:Mo»na pokaza¢, »e przy równo±ci wariancji wszystkich populacji

σ21 = σ2

2 = . . . = σ2k ≡ σ2 zachodza nastepujace relacje:

SMOP-2 B.Kamys: 2016/17 114

Es2w = σ2

Es2b = σ2 +

(k∑i=1

(Exi−Ex)2)

k−1·

(N−

k∑i=1

n2i

N

)k−1

gdzie Exi i Ex to warto±¢ oczekiwana dla i -tej populacji i postulowana przezhipoteze zerowa wspólna warto±¢ oczekiwana wszystkich populacji.

Jak wida¢, estymator s2w jest zawsze nieobcia»onym estymatorem warian-

cji (niezale»nie od prawdziwo±ci H0), natomiast estymator s2b jest nie-

obcia»ony tylko wtedy, gdy H0 jest prawdziwa. W przeciwnym wypadkuma dodatnie obcia»enie (wyra»enie w drugim nawiasie powy»ej zawiera ró»nice

kwadratu sumy dodatnich liczb N2 ≡ (k∑i=1

ni)2 i sumy kwadratów tych liczb

k∑i=1

ni2 wiec jest zawsze dodatnie).

Jako statystyke testowa bierzemy wielko±¢:

s2b/s

2w = F (k − 1, N − k)

Powy»szy wzór przedstawia stosunek dwu nieobcia»onych (przy prawdziwo±ci hipo-tezy zerowej ) estymatorów wariancji, a wiec jest to zmienna o rozkªadzie F Fishera- Snedecora.

• Obszar krytycznyJe»eli hipoteza zerowa nie jest prawdziwa to statystyka testowa powinna by¢ wiekszani» przewiduje to rozkªad F (k − 1, N − k) bo wtedy s2

b jest dodatnio obcia»ony,a wiec obszar krytyczny odpowiada du»ym warto±ciom statystyki testowej (testprawostronny).

9.9.1 INNE SFORMUOWANIE HIPOTEZY ZEROWEJ

Czesto stosuje sie inne przedstawienie hipotezy zerowej, w którym jawnie rozpatruje siemo»liwo±¢ wpªywu czynnika klasykujacego na warto±¢ oczekiwana mierzonej wielko±cix. Wprowadza sie nastepujacy model j-tej warto±ci x dla i-tej populacji:

xij = x0 + αi + ξij

SMOP-2 B.Kamys: 2016/17 115

gdzie x0 i αi sa staªymi a ξij to zmienna o rozkªadzie N(0,σ).Warto±¢ oczekiwana zmiennej xij i jej wariancja wyra»aja sie wzorami:

E (xij) = x0 + αi

σ2 (xij) = σ2 (ξij) = σ2

Stad wida¢, »e parametry αi nale»y interpretowa¢ jako efekty oddziaªywania poszcze-gólnych poziomów "i"klasykujacego czynnika a oryginalna hipoteze zerowa, któragªosi , »e warto±ci oczekiwane zmiennej x sa takie same dla wszystkich populacji tj.E(xij) = x0 mo»na przedstawi¢ nastepujaco:

Ho : α1 = α2 = ... = αk = 0.

Gdy odrzucamy hipoteze zerowa, czyli stwierdzamy »e nie wszystkie populacje majarówne warto±ci oczekiwane badanej wielko±ci x, pojawia sie problem oszacowania tychwarto±ci oczekiwanych. W ten sposób mo»emy zwiaza¢ warto±¢ oczekiwana zmiennejmierzonej x z warto±ciami (poziomami) czynnika klasykujacego.

• Jako nieobcia»ony estymator warto±ci oczekiwanej i-tej populacji przyjmujesie:

Tni(x0 + αi) ≡ xi· = 1ni

ni∑j=1

xij

σ2 (xi·) = σ2

ni

• Jako nieobcia»ony estymator x0 bierze sie ±rednia wa»ona ±rednich arytmetycz-nych dla poszczególnych prób:

TN(x0) ≡ x·· = 1N

k∑i=1

xi·ni

σ2 (x··) = σ2

N

• Jako estymator αi bierze sie ró»nice

αi ≈ Tni(x0 + αi)− TN(x0)

SMOP-2 B.Kamys: 2016/17 116

9.9.2 PRAKTYCZNE RACHUNKI W ANOVA

Rachunki zwiazane z analiza wariancji nale»y prowadzi¢ z mo»liwie du»a do-kªadno±cia , gdy» pozornie niewielkie zaokraglenia moga silnie znieksztaªci¢ wyniki.

Sumy kwadratów wystepujace w denicjach s2b i s2

w zaleca sie liczy¢ wg wzorów przyto-czonych poni»ej:

SSb ≡ (k − 1) · s2b =

k∑i=1

nix2i. −Nx2

..

SSw ≡ (N − k) · s2w =

k∑i=1

ni∑j=1

x2ij −

k∑i=1

nix2i.

SS ≡ (N − 1) ·k∑i=1

ni∑j=1

(xij − x..)2 =k∑i=1

ni∑j=1

x2ij −Nx2

..

gdzie suma kwadratów SS jest obliczana jako sprawdzian bo musi zachodzi¢:

SS = SSb + SSw

Zwykle czastkowe wyniki zapisuje sie w postaci tabeli analizy wariancji jednoczynnikowej:

Rodzaj wariancji SS≡ sum of squares DF≡ degrees of freedom MS≡ mean square F - statystyka

(suma kwadratów) (liczba stopni swobody) (±redni kwadrat) testowa

Pomiedzy grupami SSb k − 1 s2b = SSb/(k − 1)

Wewnatrz grup SSw N − k s2w = SSw/(N − k)

Caªkowita SS N − 1 s2 = SS/(N − 1) F = s2b/s2w

9.9.3 STABILIZACJA WARIANCJI

Warunkiem stosowalno±ci analizy wariancji jest normalno±¢ analizowanej zmiennejoraz jednorodno±¢ wariancji (równo±¢ wariancji) dla wszystkich porównywanych popu-lacji. Z praktyki wiadomo, »e drugi warunek jest znacznie wa»niejszy , tzn. niejed-norodno±¢ wariancji wpªywa silniej na wyniki analizy wariancji ni» niewielkie odstepstwaod normalno±ci rozkªadu zmiennej X.

W przypadku, gdy estymator wariancji zmienia sie regularnie wraz z estymatoremwarto±ci oczekiwanej (±rednia arytmetyczna), co stwierdzamy odkªadajac na wykresie es-tymatory s2 w funkcji ±rednich z poszczególnych prób, mo»na dla tych prób zastosowa¢

SMOP-2 B.Kamys: 2016/17 117

przeksztaªcenie zmiennej wyj±ciowej X, które spowoduje, »e nowa zmienna bedzie miaªaw przybli»eniu te sama wariancje we wszystkich próbach. Dla tej nowej zmiennej mo»naju» przeprowadzi¢ procedure ANOVA. Takie postepowanie, nazywa sie stabilizacja wa-riancji.

Korzysta sie z twierdzenia które gªosi:

TWIERDZENIE:Je»eli S2(x) ≈ f(x) jest funkcja wyra»ajaca zwiazek pomiedzy wariancjami i warto±ciamioczekiwanymi obserwowanej zmiennej losowej x w badanych próbach, to zastosowanietransformacji

z =

∫C · dx√f(x)

prowadzi do przybli»onej stabilizacji wariancji, gdzie staªa C jest przybli»ona warto±ciawariancji nowej zmiennej z.

Czesto nie interesuje nas konkretna warto±¢ wariancji nowej zmiennej lecz tylko to abywariancje byªy jednorodne. Wtedy zamiast staªej C stosuje sie jedynke.

Najcze±ciej spotykane relacje pomiedzy wariancjami i warto±ciami oczekiwanymi to

• Proporcjonalno±¢: S2 ≈ a · x. Wystepuje ona wtedy, gdy dane wyra»aja czesto±¢pewnych zdarze«, np. wypadków drogowych, gdzie nie ma wyra¹nego maximum.Wtedy stosuje sie przeksztaªcenie pierwiastkowe: z =

√x. Oczywi±cie mo»na je

stosowa¢ tylko dla nieujemnych x. Je»eli na dane skªadaja sie maªe liczby i zera tozaleca sie stosowanie wzoru: z =

√x+ 0.5.

• Gdy wariancja proporcjonalna jest do kwadratu ±redniej: S2 ≈ a · x2 to stosujesie przeksztaªcenie logarytmiczne: z = log(x), przy czym dla maªych liczb zalecasie u»ycie wzoru: z = log(x + 1). Oczywi±cie tak»e w tym wypadku zmiennax powinna przyjmowa¢ nieujemne warto±ci. Z taka relacja pomiedzy wariancja i±rednia spotykamy sie przy danych dotyczacych subiektywnych oszacowa« pewnychwielko±ci a tak»e przy badaniu czasu reakcji na bod¹ce.

• W ogólnosci, gdy wariancja proporcjonalna jest do b-tej"potegi ±redniej: S2 ≈ xbgdzie wykªadnik potegi b 6= 2 to u»ywa sie przeksztaªcenia z = x1−b/2. Naprzykªad, gdy do kwadratu ±redniej proporcjonalne jest odchylenie standardowe:√S2 ≈ a · x2 czyli S2 ≈ a2 · x4 to transformacja zapewniajaca jednorodno±¢

wariancji jest wyliczanie odwrotno±ci: z = 1/x. Tak»e pierwszy przytoczony po-wy»ej przypadek, tj. proporcjonalno±¢ wariancji do ±redniej (b = 1) podlega temuprzepisowi.

• W przypadku, gdy zmienna x wyra»a procentowy udziaª lub prawdopodobie«stwojakiego± procesu to pomiedzy wariancja i warto±cia ±rednia mo»na zaobserwowa¢

SMOP-2 B.Kamys: 2016/17 118

zwiazek nastepujacy: S2 ≈ x · (1 − x). Wtedy stosuje sie przeksztaªcenie: z =arcsin(x). Przy tym przeksztaªceniu zmienna x powinna nale»e¢ do przedziaªu(0,1).

Po zastosowaniu transformacji przeprowadza sie procedure ANOVA dla nowej zmiennej iwyciaga sie wnioski tak jakby analizowano oryginalne dane (dla których nie wolno byªostosowa¢ ANOVA ze wzgledu na brak jednorodno±ci wariancji).

SMOP-2 B.Kamys: 2016/17 119

9.10 ANALIZA WARIANCJI (ANOVA) - klasykacja dwuczynni-

kowa

Dwuczynnikowa analiza wariancji mo»e by¢ potraktowana jako automatyczne rozsze-rzenie jednoczynnikowej analizy wariancji. Ró»nica polega na tym, »e wyniki bada« kla-sykujemy (dzielimy na próby) przez zastosowanie dwu czynników a nie jednego czynnika.Wyniki pomiarów zmiennej x przedstawiamy stosujac model analogiczny do tego, którystosowali±my przy jednoczynnikowej klasykacji. Zakªadamy, »e wynik k-tego pomiarudla grupy sklasykowanej przez i-ty poziom pierwszego czynnika i j-ty poziom drugiegoczynnika mo»e by¢ zapisany nastepujaco:

xijk = x0 + αi + βj + γij + ξijk

gdzie x0, αi, βj i γij sa nielosowymi parametrami, ktore interpretujemy nastepujaco:

x0 - wspólna warto±¢ oczekiwana pomiarów gdy wpªyw pierwszego i drugiego klasy-kujacego czynnika na warto±¢ zmiennej x mo»e by¢ zaniedbany,

αi - efekt odziaªywania poziomu pierwszego czynnika na x,

βj - efekt odziaªywania poziomu drugiego czynnika na x,

γij - efekt wspóªdziaªania pierwszego i drugiego czynnika na x.

ξijk - czynnik losowy o rozkªadzie N(0,σ).

Wyró»niamy r poziomów (dla zmiennej jako±ciowej) lub warto±ci (dla zmiennej ilo±cio-wej) pierwszego czynnika klasykujacego (i = 1, 2, ..., r) oraz c poziomów lub warto±cidrugiego czynnika (j = 1, 2, ..., c). Symbole r i c pojawiaja sie jako pierwsze literyangielskich sªów row (wiersz) i column (kolumna). Z ka»dej z tych r · c populacji po-biera sie prosta próbe (tj. niezale»ne pomiary) o tej samej liczebno±ci m, tj. wska¹nik kprzebiega m warto±ci (k = 1, 2, ...,m).

Mo»emy sprawdza¢ trzy rodzaje hipotez zerowych:

H(1)0 : α1 = α2 = . . . = αr = 0

H(2)0 : β1 = β2 = . . . = βc = 0

H(3)0 : γ11 = γ12 = . . . = γrc = 0

SMOP-2 B.Kamys: 2016/17 120

Pierwsza hipoteza oznacza, »e klasykacja ze wzgledu na pierwszy czynnik nie ma wpªywuna warto±ci oczekiwane zmiennej x, druga oznacza, »e klasykacja ze wzgledu na drugiczynnik nie wpªywa na warto±ci oczekiwane zmiennej x a trzecia, »e efekt wspóªdziaªaniaobu czynników jest zaniedbywalny.

Wprowadzamy oznaczenia:

xi·· ≡1

c ·m

c∑j=1

m∑k=1

xijk

x·j· ≡1

r ·m

r∑i=1

m∑k=1

xijk

xij· ≡1

m

m∑k=1

xijk

x··· ≡1

r · c ·m

r∑i=1

c∑j=1

m∑k=1

xijk

Korzystajac z tych denicji mozemy przedstawi¢ dwuczynnikowa analize wariancjiprzy pomocy tabeli:

ródªo SS DF MS F - statystyka

zmienno±ci suma kwadratów stopnie swobody ±redni kwadrat testowa

Czynnik 1 SS1 = c ·mr∑

i=1

(xi·· − x···)2 r − 1 s21 = SS1

(r−1)s21/s

2e

Czynnik 2 SS2 = r ·mc∑

j=1

(x·j· − x···)2 c− 1 s22 = SS2

(c−1)s22/s

2e

Wspóªdz. SS3 = mm∑

k=1

(xij· − xi·· − x·j· + x···)2 (r − 1)(c− 1) s23 = SS3

(r−1)(c−1)s23/s

2e

Resztowe SS4 =r∑

i=1

c∑j=1

m∑k=1

(xijk − xij·)2 rc(m− 1) s2e = SS4

rc(m−1)

Caªkowita SS5 =r∑

i=1

c∑j=1

m∑k=1

(xijk − x···)2 rmc− 1 s2 = SS5

(rmc−1)

Wiersz pierwszy (oznaczony czynnik 1 ) odpowiada testowaniu hipotezyH(1)0 , wiersz drugi

testowaniu hipotezy H(2)0 a wiersz trzeci testowaniu hipotezy H(3)

0 .

W ka»dym przypadku statystyka testowa rzadzona jest rozkªadem F Fishera-Snedecorao liczbie stopni licznika takiej jak liczba stopni swobody podana w danym wierszu a liczbiestopni swobody mianownika takiej jak dla wiersza nr 4 (czyli dla zmienno±ci resztowej).

SMOP-2 B.Kamys: 2016/17 121

W ka»dym z tych trzech przypadków obszar krytyczny jest prawostronny.

Poniewa» w ANOVA bardzo wa»na jest dokªadno±¢ rachunków wiec obliczenia sumkwadratów nie robi sie wg wzorów denicyjnych podanych w tabeli lecz zaleca sie stoso-wanie nastepujacego schematu rachunkowego:

1. Liczymy SS1, SS2, SS4 i SS5 wg wzorów podanych poni»ej a potem

2. Liczymy najbardziej niestabilna numerycznie sume SS3 wg przepisu:

SS3 = SS5 − (SS1 + SS2 + SS4)

ad 1.)

SS1 =r∑i=1

(c∑j=1

m∑k=1

xijk

)2

c ·m−

(r∑i=1

c∑j=1

m∑k=1

xijk

)2

n

SS2 =c∑j=1

(r∑i=1

m∑k=1

xijk

)2

r ·m−

(r∑i=1

c∑j=1

m∑k=1

xijk

)2

n

SS4 =r∑i=1

c∑j=1

m∑k=1

x2ijk −

r∑i=1

c∑j=1

(m∑k=1

xijk

)2

m

SS5 =r∑i=1

c∑j=1

m∑k=1

x2ijk −

(r∑i=1

c∑j=1

m∑k=1

xijk

)2

n

gdzie n = r · c ·m czyli n jest caªkowita liczba pomiarów.

Wydaje sie rozsadnym zaczyna¢ analize od testowania hipotezy H(3)0 , tzn. od sprawdze-

nia, czy mo»na zaniedba¢ wpªyw wspóªdziaªania obu czynników klasykacyjnych na war-to±ci oczekiwane mierzonej zmiennej x.

Je»eli mo»na przyja¢ te hipoteze, tj. nie ma podstaw do jej odrzucenia to mo»na dokªad-niej oszacowa¢ wariancje resztowa, a wiec bardziej precyzyjnie wyznaczy¢ oba sprawdzianytestu dla hipotezy H(1)

0 i H(2)0 . W tym celu sumujemy SS3 + SS4 i po podzieleniu tej

sumy przez nowa liczbe stopni sqobody: (r−1)(c−1)+rc(m−1) ≡ rmc−c−r+1traktujemy ja jako nowa wariancje resztowa s2

e.

SMOP-2 B.Kamys: 2016/17 122

Je»eli stwierdzimy, »e jedna lub wiecej hipotez zerowych jest nieprawdziwa to szacujemyjaki jest wpªyw klasykujacych czynników na warto±¢ oczekiwana mierzonej wielko±ci x.Stosujemy w tym celu nastepujace estymatory:

dla αi: xi·· − x···

dla βj: x·j· − x···

dla γij: xij· − xi·· − x·j· + x···

dla x0: x···

SMOP-2 B.Kamys: 2016/17 123

9.11 TESTWSPÓZALENOCI STATYSTYCZNEJ POMIEDZYCECHAMI JAKOCIOWYMI

DEFINICJA: Zale»no±¢ statystyczna dwu (lub wiecej) zmiennych to taka, którapowoduje, »e ich wspólny rozkªad prawdopodobie«stwa nie daje sie przedstawi¢ jako ilo-czyn rozkªadów brzegowych poszczególnych zmiennych.

Nale»y podkre±li¢, »e fakt istnienia zwiazku statystycznego zwykle nie mo»eby¢ potraktowany jako argument na rzecz istnienia relacji deterministycz-nej tzn. je»eli zmienna losowa Y jest zale»na statystycznie od zmiennej losowej X tonie mo»na wygªosi¢ twierdzenia, »e pojawienie sie danej warto±ci (lub kategorii) zmien-nej X jest przyczyna pojawianie sie konkretnych warto±ci (kategorii) zmiennej Y. Jest tospowodowane przez dwa wa»ne powody:

1.) Dla zwiazku statystycznego zawsze jest speªnione nastepujace wynikanie: je»eliX nie zale»y statystycznie od Y to Y nie zale»y statystycznie od X. Tego niemo»emy powiedzie¢ o relacji zale»no±ci deterministycznej, np. z faktu, »edochody rodziców nie zale»a od dochodów maªoletnich dzieci nie wynika, »e dochodytych dzieci nie zale»a od dochodów rodziców.

2.) fakt zale»no±ci statystycznej zmiennej X od zmiennej Y (i vice versa) mo»e by¢ spo-wodowany zale»no±cia obu tych zmiennych od trzeciej zmiennej (która mo»e nawetnie by¢ rozpatrywana) a nie od siebie wzajemnie.Na przykªad, zakres opanowania materiaªu szkolnego i wzrost sa statystycznie zwiazaneze soba bo obie te cechy zale»a od wieku. Ustalenie wieku badanych osób powoduje,»e znika statystyczna zale»no±¢ miedzy ilo±cia opanowanego materiaªu szkolnegoi wzrostem, która jest oczywista gdy traktowa¢ jako równorzedne obserwacje od-noszace sie do mªodzie»y licealnej, uczniów szkoªy podstawowej i przedszkolakówbez rozró»niania wieku.Te druga mo»liwo±¢ musza zawsze bra¢ pod uwage badacze zajmujacy sie »ywymiorganizmami bo ich badania prawie zawsze odbywaja sie w obecno±ci zmian takichczynników, które nie sa explicite brane pod uwage.

Uwagi podane powy»ej prowadza do wniosku, »e bardziej logiczne jest nazywanie zale»-no±ci statystycznej - wspóªzale»no±cia statystyczna.

Poni»ej omówimy metody stwierdzenia, »e istnieje wspóªzale»no±¢ statystyczna dwu zmien-nych, przy czym jedna lub obie zmienne moga mie¢ charakter jako±ciowy. Taka zale»no±¢nazywa si¦ kontyngencj¡

Przyjeªo sie nazywa¢ zwiazki pomiedzy zmiennymi no-minalnymi asocjacja a wspóªczynniki okre±lajace siªezwiazków wspóªczynnikami asocjacji.

SMOP-2 B.Kamys: 2016/17 124

9.11.1 TEST FISHERA DLA TABLIC KONTYNGENCJI 2x2

Wspóªzale»no±¢ statystyczna miedzy cechami, z których przynajmniej jedna jest cechajako±ciowa nazywana jest kontyngencja. Bardzo czesto klasykacja ze wzgledu na ce-chy jako±ciowe przebiega wg. podziaªu na 2 kategorie, np. : wystepowanie cechy -brak tej cechy. Wtedy wyniki próby badajacej zwiazek statystyczny dwu cech zapisu-jemy w postaci tablicy 2 x 2, w której w ka»dym polu (odpowiadajacym parze kategoriiprzyporzadkowanych do pierwszej i drugiej cechy) umieszcza sie liczebno±¢ obserwacjidanej pary .

Dla ªatwiejszego przedstawienia testu Fishera omówimy go na przykªadzie konkret-nego eksperymentu: Interesuje nas, czy terapia przy zastosowaniu leku A jest bardziejefektywna ni» przy zastosowaniu leku B.Pierwsza zmienna (oznaczmy ja przez X) jest rodzaj stosowanej terapii. Jest to zmiennajako±ciowa przyjmujaca 2 kategorie: 1) stosowanie leku A, 2) stosowanie leku B.Druga zmienna (oznaczona przez Y)jest stan zdrowia pacjentów, który równie» traktu-jemy jako zmienna jako±ciowa przyjmujaca 2 kategorie: 1) poprawa stanu zdrowia, 2) brakpoprawy.Próbe skªadajaca sie z n elementów dzielimy ze wzgledu na ceche X na dwie cze±ci oliczebno±ci n1 i n2 . Pacjentom z pierwszej grupy podajemy lek A a pacjentom z drugiejgrupy lek B.Liczebno±ci n1 i n2 nie sa liczbami losowymi, przy czym n = n1 + n2.

Sprawdzamy ilu pacjentów pierwszej grupy (m1) wykazuje poprawe zdrowia, tzn. ilujest pacjentów odpowiadajacych równoczesnemu zdarzeniu: (X=lek A, Y=poprawa) orazilu pacjentów drugiej grupy (m2) wykazuje poprawe, tzn. (X=lek B, Y=poprawa). Li-czebno±ci m1 i m2 sa zmiennymi losowymi takimi, »e warto±ci oczekiwane stosunkówm1

n1i m2

n2sa odpowiednio równe prawdopodobie«stwom p1 i p2 poprawy zdrowia po za-

stosowaniu leku A i B.

Tablica 3: Czteropolowa (tj. 2x2) tablica kontyngencji

Cecha X

Kategoria X1 X2 Suma

Y Y1 m1 m2 m

Y2 n1 −m1 n2 −m2 n−m

Suma n1 n2 n

Je»eli zaªo»ymy, »e cecha pierwsza (w przykªadzie - rodzaj podanego leku) jest nieza-

SMOP-2 B.Kamys: 2016/17 125

le»na statystycznie od cechy drugiej (poprawa zdrowia lub jej brak) to p1 = p2 i mo»emypoliczy¢ dokªadnie prawdopodobie«stwo zaobserwowaniam1 im2 przypadków wybranejkategorii cechy drugiej przy danych kategoriach cechy pierwszej (patrz ni»ej).

Je»eli liczebno±¢ próby n jest niewielka to stosujemy tzw. dokªadny test Fishera.Termin dokªadny oznacza, »e operuje sie tylko liczbami caªkowitymi i dostaje sie do-kªadne wzory na prawdopodobie«stwo pojawienia sie takiego a nie innego ukªadu liczb wtabeli.

• Hipoteza zerowa gªosi, »e obie klasykacje ze wzgledu na ceche X i na ceche Y sa statystycznie niezale»ne.

• Statystyka testowa jest obserwowana tabela liczebno±ci a konkretnie zespóª liczeb-no±ci czterech pól w tabeli. Zauwa»my jednak, »e przy danych liczebno±ciach brze-gowych przyjecie jakiej± konkretnej warto±ci m1 (w lewym górnym rogu tabeli)jednoznacznie narzuca warto±ci wszystkim pozostaªym liczbom w tabeli. Dlategomo»emy numerowa¢ wszystkie mo»liwe tabele przez warto±¢ m1 i jako statystyketestowa przyja¢ warto±¢ m1.

Prawdopodobie«stwo tej statystyki to prawdopodobie«stwo pojawienia sie w do±-wiadczeniu danych liczebno±ci w czterech polach tabeli (przy ustalonych liczebno-±ciach brzegowych (n1, n2, m, n−m). R. A. Fisher pokazaª, »e prawdopodo-bie«stwo tabeli o danym rozkªadzie liczebno±ci (przy prawdziwo±ci hipotezy zerowej,przy ustalonej liczebno±ci próby n i liczebno±ciach brzegowych) wyra»a sie prostymwzorem:

P =n1!

m1! (n1 −m1)!·

n2!

m2! (n2 −m2)!·m! (n−m)!

n!(89)

• Obszar krytycznyto taki zakres statystyki testowej, który jest najmniej prawdopodobny przy praw-dziwo±ci hipotezy zerowej a najbardziej prawdopodobny przy prawdziwo±ci hipotezyalternatywnej.

Pierwszy warunek mówi, »e w obszarze krytycznym statystyka testowa, tzn.liczebno±¢m1, powinna by¢ mo»liwie daleka od centrum rozkªadu wyliczonego przyzaªo»eniu prawdziwo±ci H0. A wiec powinna mie¢ albo bardzo du»e warto±ci albobardzo maªe , przy czym oczywi±cie nie mo»e by¢ wieksza od m ≡ m1 + m2 animniejsza od zera.

Drugi warunek zale»y od konkretnej hipotezy alternatywnej, która mo»e fa-woryzowa¢ jeden z kierunków zmiany kategorii badanych cech.

H1 : p1 > p2

Je»eli mamy podstawy przypuszcza¢, »e dana para kategorii cechy pierwszej idrugiej odpowiadajaca liczebno±ci m1 powinna by¢ bardziej prawdopodobna

SMOP-2 B.Kamys: 2016/17 126

ni» to wynika z H0 - tj. z niezale»no±ci zmiennych - to obszarem krytycznymjest zbiór najwiekszych warto±ci m1 (oczywi±cie gdy hipoteza gªosi, »e p1 <p2 to jest to zbiór najmniejszych warto±ci m1).

Wtedy liczymy sume prawdopodobie«stw zaobserwowanej w doswiadczeniu li-czebno±ci m1 oraz liczebno±ci wiekszych od niej. Ta suma daje nam warto±¢poziomu istotno±ci, tzn. prawdopodobie«stwa popeªnienia bªedu pierwszego ro-dzaju, polegajacego na odrzuceniu prawdziwej hipotezy zerowej H0 : p1 = p2.Inaczej mówiac, Je»eli to prawdopodobie«stwo jest mniejsze od zaªo»onego po-ziomu istotno±ci to odrzucamy H0 i przyjmujemy H1 : p1 > p2.

H1 : p1 6= p2

Je»eli nie mamy wskazówek ±wiadczacych, »e dany kierunek kategorii jest wy-ró»niony, to stosujemy test dwustronny odpowiadajacy hipotezie alternatywnejgªoszacej, »e zmienne nie sa niezale»ne albo inaczej H1 : p1 6= p2.

Wtedy liczymy sume prawdopodobie«stw liczebno±ci m1 oddalonych od cen-trum rozkªadu w góre i w dóª tyle lub wiecej jednostek jak obserwowana w pró-bie warto±¢m1 (patrz przykªad poni»ej). Ta suma daje nam warto±¢ poziomuistotno±ci, tj. prawdopodobie«stwa odrzucenia prawdziwej H0 (i przyjecia faª-szywej H1). Gdy ta suma jest mniejsza od zaªo»onego poziomu istotno±ci toodrzucamy H0 (przyjmujac H1).

W ten sposób zamieniamy szukanie obszaru krytycznego na sprawdzanie czy prawdo-podobie«stwo pojawienia sie danegom1 jest odpowiednio maªe. Ta procedura zosta-nie poni»ej zilustrowana przykªadem, który powinien wyja±ni¢ ewentualne watpliwo±ci.

Wzór (89) mimo swej prostoty jest niewygodny do rachunków ze wzgledu na wielkieliczby w liczniku i mianowniku. Mo»na sie zabezpieczy¢ przez trudno±ciami numerycznymialbo logarytmujac wzór (zamieniajac dzielenie silni na odejmowanie logarytmów z silni ipowrót do normalnej reprezentacji przez zastosowanie funkcji wykªadniczej) albo stosujacwzory rekurencyjne na prawdopodobie«stwo w nastepujacy sposób: Przyjmujemy m1 =0, a wiec m2 = m oraz n1 − m1 = n1. Wtedy wzór na prawdopodobie«stwo P0

wyglada nastepujaco [2]:

P0 =(n1 + n2 −m)! (m+ n2 −m)!

n! (n2 −m)!

=(n−m)! n2!

n!(n2 −m)!

a wzór rekurencyjny

Pk+1 =(m− k)(n1 − k)

(k + 1)(n2 −m+ k + 1)Pk

SMOP-2 B.Kamys: 2016/17 127

UWAGA:

• Gdy P0 ≈ 0 to nie mo»na stosowa¢ wzorów rekurencyjnych(bo dostaniemy dla wszystkich k; Pk ≈ 0 )

• Dla poprawnego stosowania wzorów rekurencyjnych nale»y tak przegrupowa¢ usta-wienia wierszy i kolumn aby zmienna m1 miaªa najmniejsza warto±¢ z czterech liczbm1, m2, n1-m1, n2-m2 (mo»e by¢ tak»e równa której± z pozostaªych liczb).

Przykªad [12]: Bada sie skuteczno±¢ dwóch leków A i B werykujac hipoteze zerowa,gªoszaca, »e oba leki sa jednakowo skuteczne. Zespóª 23 pacjentów podzielono losowo nadwie grupy o liczebno±ciach 9 i 14 (to klasykacja ze wzgledu na ceche X). Pacjentompierwszej grupy podano lek A, pacjentom drugiej grupy lek B i zaobserwowano 6 wynikówpozytywnych w pierwszej grupie oraz 3 wyniki pozytywne w drugiej grupie (podziaª napozytywne i niepozytywne wyniki to klasykacja ze wzgledu na ceche Y). Wyniki leczeniai teoretyczne przewidywania zestawiono w dwu tabelach przytoczonych poni»ej.

Cecha Lek

Kategoria A B Suma

Wynik + 6 3 9

− 3 11 14

Suma 9 14 23

m1 0 1 2 3 4

P (m1) 2, 449910−3 3, 307310−2 1, 511910−1 3, 086810−1 3, 086810−1

m1 5 6 7 8 9

P (m1) 1, 543410−1 3, 741610−2 4, 008910−3 1, 541910−4 1, 223710−6

H1: Lek A jest lepszy ni» lek B Z tabeli pomiarów widzimy, »e wynik pozytywny po-jawia sie cze±ciej u pacjentów przyjmujacych lek A ni» u pacjentów przyjmujacychlek B, a wiec mo»emy przypuszcza¢, »e lek ten jest lepszy, co w formalizmie staty-stycznego opisu oznaczaªoby H1 : p1 > p2. Aby sprawdzi¢ istotno±¢ tej hipotezy

SMOP-2 B.Kamys: 2016/17 128

wzgledem hipotezy H0 : p1 = p2 analizujemy tabele prawdopodobie«stw sumujacprawdopodobie«stwa dla m1 ≥ 6. Dostajemy w wyniku 0,0416, co interpretu-jemy nastepujaco: Je»eli przyjmiemy H1 (odrzucajac H0) to popeªnimy bªad w4,16% przypadków. Inaczej mówiac mamy prawo odrzuci¢ H0 na poziomie istotno-±ci nie mniejszym ni» 0,0416.

Gdyby±my zaªo»yli, »e prawdopodobie«stwo odrzuceniaH0 ma by¢ jeszcze mniejsze,np. 0,01 to wtedy nie mieliby±my podstaw twierdzi¢, »e lek A jest lepszy ni» lek B.

H1 :Lek B jest lepszy ni» lek A. Nie mamy ilo±ciowych argumentów za taka hipo-teza, ale spróbujmy ja formalnie postawi¢ i zwerykowa¢. Taka hipoteza medycznabedzie zapisana w jezyku statystyki nastepujaco: H1 : p1 < p2. Wtedy obszarkrytyczny to zbiór maªych warto±ci m1, gdy» du»e prawdopodobie«stwo (liczeb-no±¢ wzgledna m2/m) powoduje, »e m1/m ≡ 1 −m2/m musi by¢ maªe. Abyilo±ciowo znale¹¢ poziom istotno±ci sumujemy prawdopodobie«stwa liczebno±ci m1

mniejszych lub równych obserwowanej w próbie warto±ci tj. 6. Dostajemy jako wy-nik tej sumy 0,9958, co oznacza, »e przyjecie takiej H1 (odrzucenie H0 : p1 = p2

na korzy±¢ hipotezy H1 : p1 < p2) bedzie bªedne w 99,58% przypadków.

Jak wida¢ nie mo»emy przeforsowa¢ takiej hipotezy H1.

H1 : Lek A i B nie sa jednakowo skuteczne. Te hipoteze zapisujemy nastepujaco:H1 : p1 6= p2. Aby ja ilo±ciowo przetestowa¢ sumujemy prawdopodobie«stwatakich liczebno±ci m1, które oddalone sa od maksimum rozkªadu (tu ok. 3,5) przy-najmniej tak daleko (w góre i w dóª) jak obserwowana w próbie warto±¢ m1 = 6.Dostajemy poziom istotno±ci równy 0,0771 (sumowane byªy prawdopodobie«stwadla m1 = 6, 7, 8, 9 oraz m1 = 1, 0 bo 6 i 1 sa tak samo odlegªe od maksimumrozkªadu: 6=3,5 + 2,5, 1=3,5 - 2,5). A wiec na takim poziomie istotno±ci (lub oczy-wi±cie wiekszym) mo»emy twierdzi¢, »e nale»y odrzuci¢ H0 i przyja¢ interesujacanas hipoteze H1. Popeªniamy przy tym bªad w ok. 8% przypadków.

Cochran (W.G. Cochran, Biometrics 10 (1954) 417) zaleca u»ywanie dokªadnego testuFishera dla tablic kontyngencji 2 x 2 gdy n < 20 lub gdy 20 < n < 40 i najmniejszawarto±¢ oczekiwana jest mniejsza ni» 5. Przy du»ej liczbie elementów próby stosowanyjest raczej test χ2 Pearsona.

SMOP-2 B.Kamys: 2016/17 129

9.11.2 TEST χ2 DLA TABLIC KONTYNGENCJI 2x2

Tablice 2x2 - zwane równie» czteropolowymi tablicami sa szczególnym przypadkiemtablic rxc (r sªu»y jako skrót angielskiego sªowa row - wiersz, a c jako skrót sªowacolumn - kolumna). Gdy liczebno±¢ odpowiadajaca poszczególnym polom jest du»a tozamiast dokªadnego testu Fishera stosuje sie test χ2, który ju» rozpatrywali±my jako testzgodno±ci przy okazji testowania normalno±ci rozkªadu prawdopodobie«stwa.

• Hipoteza zerowa taka sama jak dla dokªadnego testu Fishera, tj. klasykacja zewzgledu na jedna ceche (kategoriom cechy odpowiadaja wiersze) jest niezale»na sta-tystycznie od klasykacji ze wzgledu na druga ceche (kategoriom cechy odpowiadajakolumny).

• Statystyka testowa X2 - taka jak we wzorze (9.6.3):

X2 =k∑i=1

(ni − n · πi)2

nπi

gdzie tu suma wykonywana jest po 4 polach tablicy (k = 4), ni oznacza obser-wowana liczebno±¢ w danym polu (oznaczana tradycyjnie O od angielskiego sªowaobserved - obserwowana), a nπi oznacza teoretyczna liczebno±¢ w danym polu(oznaczana tradycyjnie E od angielskiego sªowa expected - oczekiwana ). A wiecpowy»szy wzór na statystyke testowa X2 zapisujemy nastepujaco:

X2 =2∑i=1

2∑j=1

(Oij − Eij)2

Eij(90)

Teoretyczna liczebno±¢ wyznaczana jest z liczebno±ci brzegowych (sum po wierszachdla danej kolumny lub sum po kolumnach dla danego wiersza) przy zaªo»eniu, »ebadane zmienne (cechy) sa niezale»ne.

Prawdopodobie«stwo dwu niezale»nych zdarze« A i B wyra»a sie iloczynem ichprawdopodobie«stw P (A ∩ B) = P (A) · P (B). Biorac czesto±ci brzegowe jakoestymatory prawdopodobie«stw, np. T (P (A)) = nA

n, T (P (B)) = nB

noraz

uwzgledniajac, »e szukamy liczebno±ci a nie prawdopodobie«stwa pola A ∩ B do-staniemy na te liczebno±¢ n(A∩B) = T (P (A)) ·T (P (B)) ·n czyli ta liczebno±¢wynosi nA

n· nBn· n = nA·nB

n.

W tabeli (4) podane sa (nieopisane) obserwowane liczebno±ci oraz ich oczekiwaneodpowiedniki (opisane sªowem expected).

Wstawiajac wyra»enia na Oij i Eij wypisane w powy»szej tabeli dostajemy wyra-»enie X2 przez liczebno±ci obserwowane:

SMOP-2 B.Kamys: 2016/17 130

Tablica 4: Czteropolowa (tj. 2x2) tablica kontyngencji - w nawiasach umieszczone saoczekiwane liczebno±ci Eij , powy»ej nich - liczebno±ci obserwowane Oij

Cecha X

Kategoria X1 X2 Suma

Y Y1 m1 m2 m

(expected) (m·n1

n) (m·n2

n)

Y2 n1 −m1 n2 −m2 n−m

(expected) ( (n−m)·n1

n) ( (n−m)·n2

n)

Suma n1 n2 n

X2 =n · [m1 · (n2 −m2)−m2 · (n1 −m1)]2

m · (n−m) · n1 · n2

(91)

atwo zapamieta¢ ten wzór bo w nawiasie kwadratowym licznika mamy ró»niceiloczynów elementów macierzy na gªównej przekatnej i drugiej przekatnej (czyliwyznacznik macierzy) a w mianowniku znajduje sie iloczyn wszystkich brzegowychliczebno±ci.

Wyra»enie to ma asymptotycznie (dla du»ych liczebno±ci) rozkªad χ21.

Mo»na by przypuszcza¢, »e liczba stopni swobody powinna by¢ wieksza ni» jeden(bo sa 4 pola a wiec cztery wyrazy w sumie) ale - jak to pokazano dla dokªadnegotestu Fishera - tylko jedna z czterech liczebno±ci jest niezale»na. Pozostaªe trzy sajednoznacznie okre±lone przez warto±¢ tej wybranej liczebno±ci i liczebno±ci brze-gowe. Taka sytuacja, tzn. mo»liwo±¢ otrzymania zwartego, prostego wzoru (91) naX2, jak i jednoznaczne okre±lenie wszystkich pól tabeli przez liczebno±¢ jednegopola jest cecha jedynie tabeli czteropolowych.

Poprawka Yatesa na nieciagªo±¢ . Zmienna losowa χ2 z denicji jest zmiennaciagªa. Wyliczanie statystyki X2 z ilorazu caªkowitych liczb powoduje, »e jej war-to±ci nie reprezentuja wszystkich liczb rzeczywistych, np. nie moga pojawi¢ sieliczby niewymierne. Co wiecej, ta statystyka mo»e przyja¢ tylko tyle warto±ci ilejest ró»nych tablic czteropolowych przy ustalonych liczebno±ciach brzegowych. Dla-tego, nawet przy stosunkowo du»ych liczebno±ciach nale»aªoby ten efekt wzia¢ poduwage.

SMOP-2 B.Kamys: 2016/17 131

Po uwzglednieniu poprawki zaproponowanej przez Yatesa wzór na X2 dla tablicyczteropolowej wyglada nastepujaco:

X2 =n · (| m1 · (n2 −m2)−m2 · (n1 −m1) | −n

2)2

m · (n−m) · n1 · n2

(92)

• Obszar krytyczny to du»e warto±ci statystyki X2 bo jak wynika ze wzoru (90) przywarto±ciach obserwowanych liczebno±ciOij bliskich warto±ciom oczekiwanym liczeb-no±ci Eij , X2 jest bliskie zera co jest najmniejsza z dozwolonych przez ten wzórwarto±ci.

Przy zaªo»onym poziomie istotno±ci α obszar krytyczny to zbiór warto±ci statystykitestowej wiekszy od kwantyla rozkªadu χ2

1 na poziomie 1− α:

X2 > χ21(1− α)

Przykªad: Rozwa»my zestawienie [1] wyników próby klinicznej, w której stosowanodwa sposoby leczenia (A i B)- wyniki zamieszczone sa w tabeli (5).

Tablica 5: Czteropolowa (tj. 2x2) tablica kontyngencji przedstawiajaca wyniki próbyklinicznej

Cecha Sposób leczenia

Kategoria leczenie A leczenie B Razem

Wynik poprawa 216 180 396

brak poprawy 41 64 105

Razem 257 244 501

Hipoteza zerowa: Wyniki leczenia nie zale»a od sposobu leczenia.Statystyka testowa: Zmienna X2 liczona bez poprawki Yatesa i z poprawka, odpo-

wiednio wg wzorów (91) i (92). Bez poprawki mamy:

X2 =501 · (216 · 64− 180 · 41)2

396 · 105 · 257 · 244= 7, 979

SMOP-2 B.Kamys: 2016/17 132

Z poprawka otrzymujemy:

X2 =501 · (| 216 · 64− 180 · 41 | −501

2)2

396 · 105 · 257 · 244= 7, 371

Warto±ci statystyki testowej porównujemy z warto±cia kwantyla χ21(1− α). Z tablic

znajdujemy, »e ten kwantyl wynosi odpowiednio 3,84 (dla α = 0,05), 5,02 (dla α =0,025), 6,63 (dla α = 0,01) oraz 10,83 (dla α = 0,001). Wyliczona warto±¢ statystykiX2 z próby nale»y do obszaru krytycznego dla poziomu istotno±ci 0,01 ale ju» nie nale»ydo tego obszaru dla poziomu istotno±ci 0,001.

Stad wnioskujemy, »e dwa sposoby leczenia daja istotnie ró»ne wyniki na poziomieistotno±ci mniejszym od 0,01 lecz wiekszym od 0,001 (tzn. nasz wniosek mo»e by¢bªedny w mniej ni» jednym przypadku na sto ale cze±ciej ni» raz na tysiac przypad-ków).

Jak ªatwo zauwa»y¢ ze wzorów naX2 oraz z warto±ci tej statystyki w powy»szym przy-kªadzie, test z poprawka Yatesa jest bardziej konserwatywny, tzn. nie odrzuca hipotezyzerowej w takich przypadkach gdy test bez poprawki odrzuciªby ja.

9.11.3 WSPÓCZYNNIK KORELACJI RANG % SPEARMANA

Przy analizie wspóªzale»no±ci statystycznej dwu zmiennych porzadkowych (asocjacji, kon-gruencji) najcze±ciej stosowana miara tej wspóªzale»no±ci jest wspóªczynnik rang Spear-mana oznaczany zwykle przez % (podobnie jak wspóªczynnik Pearsona korelacji cechmierzalnych) lub rd.

W tym celu obserwacje z obu prób A i B porzadkujemy przypisujac im rangi w tensposób, »e najbardziej korzystnej, po»adanej kategorii cechy przypisujemy range 1 akolejnym gorszym kategoriom rangi 2, 3, itd. Je»eli kilka kategorii odpowiada równiekorzystnej sytuacji to nadajemy im identyczne rangi (równe ±redniej arytmetycznej rang,które otrzymaªyby te obserwacje gdyby sie minimalnie ró»niªy).Takie rangi nazywane sarangami wiazanymi.

Wspóªczynnik korelacji rang % Spearmana deniowany jest nastepujaco:

% = 1−6n∑i=1

(r1i − r2i)2

n(n2 − 1)

Tu r1i i r2i - oznaczaja rangi dla i-tej kategorii tej samej cechy odpowiednio w pierwszeji drugiej próbie, przy czym obie próby maja liczebno±¢ n.

SMOP-2 B.Kamys: 2016/17 133

Wspóªczynnik ten przyjmuje warto±ci z przedziaªu [-1,+1]:

• % = +1 w przypadku idealnej zgodno±ci rang,

• % = −1 w przypadku maksymalnej niezgodno±ci (du»ym r1i odpowiadaja maªer2i i odwrotnie)

• % = 0 w przypadku czysto losowego ustawienia rang, tzn. przy ich niezale»no±ciw obu porównywanych ciagach.

Na przykªad: poproszono dwie osoby o uporzadkowanie ich preferencji kulinarnychdotyczacych kilku zup.

Pierwsza osoba podaªa nastepujace preferencje:Barszcz czerwony, »urek, pomidorowa, ogórkowa, rosóª, chªodnik.

Druga:Chªodnik, ogórkowa, pomidorowa, barszcz czerwony, »urek, rosóª.

Preferencje pierwszej osoby mo»emy uzna¢ za wzorzec i przyporzadkowa¢ im kolejneliczby naturalne: 1, 2, 3, 4, 5, 6. Tym rangom beda odpowiadaªy nastepujace rangiwybrane przez druga osobe: 4, 5, 3, 2, 6, 1.

Suma kwadratów ró»nicy rang bedzie wynosi¢ 9+9+0+4+1+25=48. Poniewa» n=6wiec wspóªczynnik %=1-6*48/[6*(36-1)]= - 0,37.Wniosek: Obie osoby maja niezgodne preferencje kulinarne.

Oczywi±cie dla ilo±ciowego testowania czy odchylenie wspóªczynnika korelacji rang odzera jest istotne trzeba korzysta¢ ze specjalnych tablic. Je»eli liczba obserwacji n jestwieksza od 10 to mo»na posªu»y¢ sie asymptotycznymi wzorami, poniewa» dla du»ychprób wspóªczynnik korelacji rang ma w przybli»eniu rozkªad normalny. W tymcelu korzystamy z twierdzenia:TWIERDZENIE: Je»eli prawdziwa jest hipoteza zerowa gªoszaca, »e rangi dwu serii ob-serwacji sa niezale»ne statystycznie to :

E% = 0

V ar% = 1n−1

A wiec dla n > 10 mo»na u»ywa¢ poni»szego przybli»onego wzoru [4]:

W tym wzorze Φ oznacza dystrybuante standardowego rozkªadu normalnego.

Mo»na równie» dla n ≥ 10 stosowa¢ transformacje [7]:

SMOP-2 B.Kamys: 2016/17 134

t = %

√n− 2

1− %2

Zmienna t ma rozkªad Studenta o (n-2) stopniach swobody. Poniewa» o znaku t decydujeznak % wiec dla t stosuje sie identyczny obszar krytyczny (lewostronny, prawostronny lubdwustronny) jak dla %.

W tabeli poni»ej podane sa kwantyle testu Spearmana %0,95 i %0,99 dla prób o maªej li-czebno±ci. Mozna je zastosowa¢ do sprawdzania testu prawostronnego dla dwu najcze±ciejstosowanych poziomów istotno±ci: α = 0, 05 i α = 0, 01. Dla testu lewostronnego na-le»y wykorzysta¢ fakt, »e %q = −%1−q:

n %0,95 %0,99 n %0,95 %0,99

4 1,000 14 0,456 0,645

5 0,900 1,000 16 0,425 0,601

6 0,829 0,943 18 0,399 0,564

7 0,714 0,893 20 0,377 0,534

8 0,643 0,833 22 0,359 0,508

9 0,600 0,783 24 0,343 0,485

10 0,564 0,746 26 0,329 0,465

12 0,506 0,712 28 0,317 0,448

14 0,456 0,645 30 0,306 0,432

9.11.4 WSPÓCZYNNIK KORELACJI RANG τ KENDALLA

Wspóªczynnik korelacji rang τ Kendalla daje równowa»ne informacje do tych, które mo»nauzyska¢ analizujac wspóªczynnik korelacji rang % Spearmana tzn. równy jest +1, -1 i 0gdy rangi w dwu próbach uszeregowane sa identycznie, odwrotnie i losowo. Wspóªczynnikτ Kendalla m ma dwie zalety w porównaniu do wspólczynnika korelacji rang Spearmana:

SMOP-2 B.Kamys: 2016/17 135

1. ªatwiej mo»na go skorygowa¢, gdy istnieje wiele rang wiazanych,

2. jest szybciej zbie»ny do rozkªadu normalnego ni» wspóªczynnik % Spearmana.

DEFINICJA:

τ =S

12n(n− 1)

S =n∑i=1

n∑j=i+1

sign(rj − ri)

gdzie ri i rj sa rangami w zbiorze kategorii cechy drugiej ( rangi dla cechy pierwszejustawione sa jako rosnacy ciag liczb naturalnych: 1,2, .. z ewentualna modykacjadla cech wiazanych). Przyczynki do sumy deniujacej S liczymy nastepujaco: porównu-jemy piewsza range z druga, z trzecia, itd., nasteepnie druga range z trzecia, czwarta, itd.(ªacznie n(n-1)/2 wyrazów)

• dla naturalnej kolejno±ci rang przyczynek +1,

• dla odwróconej kolejno±ci rang przyczynek -1,

• dla rang wiazanych (identycznych) przyczynek 0.

Je»eli zdarzy sie, »e równie» dla pierwszej cechy wystepuja rangi wiazane to odpowia-dajacym im parom rang cechy drugiej przypisujemy przyczynek 0 niezale»nie od ich uporzadkowania.

Przykªad 1 (rangi wiazane tylko dla cechy drugiej - Y):

Rangi cechy X 1 2 3 4 5 6

Rangi cechy Y 2 3 4.5 4.5 1 6

Przyczynki do S (od 2) +1 +1 +1 -1 +1

Przyczynki do S (od 3) +1 +1 -1 +1

Przyczynki do S (od 4.5) 0 -1 +1

Przyczynki do S (od 4.5) -1 +1

Przyczynki do S (od 1) +1

Suma wszystkich przyczynków daje S=6.

SMOP-2 B.Kamys: 2016/17 136

Rangi cechy X 1.5 1.5 3 5 5 5

Rangi cechy Y 2 3 4.5 4.5 1 6

Przyczynki do S (od 2) 0 +1 +1 -1 +1

Przyczynki do S (od 3) +1 +1 -1 +1

Przyczynki do S (od 4.5) 0 -1 +1

Przyczynki do S (od 4.5) 0 0

Przyczynki do S (od 1) 0

Przykªad 2 (rangi wiazane zarówno dla pierwszej cechy - X jak i dla drugiej cechy -Y):Suma wszystkich przyczynków do S daje S=4 . Gdy wystepuja rangi wiazane musimy

w inny sposób normalizowa¢ sume S aby dosta¢ τ :

τ =S

12

√√√√[n(n− 1)−m∑i=1

ti(ti − 1)

] [n(n− 1)−

r∑j=1

uj(uj − 1)

]

Suma po wska¹niku i to suma po grupach rang wiazanych dla pierwszej zmiennej, tito liczebno±¢ i-tej grupy rang, a suma po wska¹niku j to suma po grupach rang wiazanychdla drugiej zmiennej, uj to liczebno±¢ j-tej grupy rang.

W pierwszym przykªadzie powy»ej wspóªczynnik τ bedzie liczony wg wzoru:

τ = S12

√n(n−1)[n(n−1)−2(2−1)]

= 612

√6(6−1)[6(6−1)−2(2−1)]

= 0, 414

W drugim przykªadzie powy»ej wspóªczynnik τ bedzie liczony wg wzoru:

SMOP-2 B.Kamys: 2016/17 137

τ = S12

√n(n−1)[n(n−1)−2(2−1)]

= 412

√[6(6−1)−2(2−1)−3(3−1)][6(6−1)−2(2−1)]

= 0, 322

Policzenie wspóªczynnika τ i blisko±¢ jego warto±ci do granicznych warto±ci (+1,-1 lub0) pozwalaja wyciagna¢ wnioski jako±ciowo o korelacji rang.

Dla ilo±ciowego testowania hipotezy H0: τ = 0wygodniej jest rozwa»a¢ sama sume S deniowana powy»ej. Suma ta bardzo szybko da»ydo rozkªadu normalnego a wiec dla n≥ 10 mo»na sie posªugiwa¢ tablicami rozkªadu N(0,1)je»eli bedziemy rozwa»a¢ zmienna

z =|S| − 1

σ(S)

przy czym wariancja S σ2(S) liczona jest z poni»szych wzorów (dla przypadku gdy niema rang wiazanych i gdy sa rangi wiazane):

a) bez rang wiazanych:

σ2(S) =n(n− 1)(2n+ 5)

18

b) z rangami wiazanymi:

σ2(S) = 118

[n(n− 1)(2n+ 5)−

m∑i=1

ti(ti − 1)(2ti + 5)−r∑j=1

uj(uj − 1)(2uj + 5)

]

+ 19n(n−1)(n−2)

[m∑i=1

ti(ti − 1)(ti − 2)

] [r∑j=1

uj(uj − 1)(uj − 2)

]

+ 12n(n−1)

[m∑i=1

ti(ti − 1)

] [r∑j=1

uj(uj − 1)

]

SMOP-2 B.Kamys: 2016/17 138

Wzory te a szczególnie ostatni wygladaja skomplikowanie ale liczby w nich wystepujacesa niewielkie, a wiec rachunki nie sa trudne.

Jako przykªad rozwa»my przypadek rozwa»any oryginalnie przez Kendalla: Egzaminzdawaªo o±miu chªopców (C) i siedem dziewczat (D). Pytanie brzmiaªo: Czy wyniki eg-zaminu dla chªopców sa inne ni» dla dziewczat. W tabelce poni»ej w pierwszym wierszupodana jest ranga uzyskana na egzaminie a w drugim kategoria cechy jako±ciowej czylipªci:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

C C D C D D C C C D C D C D D

Ze wzgledu na druga ceche mamy dwie grupy rang wiazanych o liczebno±ci 8 (chªopcy) i7 (dziewczeta). Biorac jako wspólna range dla chªopców ±rednia z rang 1 - 8 = 4,5 a dladziewczat ±rednia z rang 9 - 15 = 12 dostajemy tabelke:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

4,5 4,5 12 4,5 12 12 4,5 4,5 4,5 12 4,5 12 4,5 12 12

Suma S liczona wedªug przepisu podanego wy»ej na podstawie tych rang wynosi:S=7+7-6+6-5-5+4+4+4-2+3-1+2+0=18.

Wspóªczynnik τ :

τ =18

12

√15(15− 1) [15(15− 1)− 8(8− 1)− 7(7− 1)]

= 0, 235

Jest on niewielki co sugeruje, »e H0 jest prawdziwa (przy czym jego znak nie maznaczenia bo zale»y od konwencji, w której mniejsze rangi nadano chªopcom a to byªoarbitralne).

Dla ilo±ciowego testu liczymy wariancje zmiennej S (korzystajac ze skomplikowanegowzoru podanego powy»ej). Poniewa» rangi dla pierwszej cechy (jako±¢ zdawania) nie sapowiazane wiec wzór bardzo sie upraszcza bo sumy, w których wystepuje ti znikaja idostajemy:

σ(S) =√

118

[15(15− 1)(2 · 15 + 5)− 8(8− 1)(2 · 8 + 5)− 7(7− 1)(2 · 7 + 5)] = 17, 28

a standaryzowana zmienna o rozkªadzie normalnym bedzie miaªa warto±¢:

z =|S| − 1

σ(S)=

18− 1

17, 28= 0, 984

Je»eli jako poziom istotno±ci we¹miemy α=0,05 to przy te±cie dwustronnym dosta-niemy obszar krytyczny z > 1, 96 lub z < −1, 96. Poniewa» z z do±wiadczenia nietraa do obszaru krytycznego wiec nie ma podstaw odrzuca¢ hipotezy zerowej.

SMOP-2 B.Kamys: 2016/17 139

9.11.5 ANALIZA ASOCJACYJNA

Analiza korelacyjna cech niemierzalnych sprowadza sie do badania, czy okre±lone kombi-nacje wariantów rozpatrywanych cech maja tendencje do wyra¹nie czestszego lub wyra¹nierzadszego pojawiania sie ni» by to miaªo miejsce w przypadku niezale»no±ci cech X i Y.Taka analize wystepowania skojarze« okre±lonych wariantów cech nazywa sie "analizaasocjacyjna".

Wyró»niamy r wariantów cechy jako±ciowej X (r≥2) oraz c wariantów cechy jako±cio-wej Y (c≥2). Niech n oznacza liczbe obserwacji w próbie, ni· i n·j liczbe obserwacji wktórych zaobserwowano wariant xi cechy X i wariant yj cechy Y oraz nij niech oznaczaliczbe obserwacji w których zaobserwowano zarówno i-ty wariant cechy X jak i j-ty wariantcechy Y.

Wielko±ci te speªniaja relacje:

r∑i=1

c∑j=1

nij =r∑i=1

ni· =c∑j=1

n·j = n

WSPÓCZYNNIK KORELACJI CECH NIEMIERZALNYCH Rxi,yj

Deniujemy go nastepujaco:

Rxiyj =

nijn− ni·

n

n·jn√

ni·n

(1− ni·n

)n·jn

(1− n·jn

)

Wspóªczynnik ten przyjmuje warto±ci z przedziaªu [-1,+1] przy czym

• R=0 dla nieskorelowanych wariantów xi i yj ,

• R=+1 wtedy i tylko wtedy, gdy warianty xi i yj wystepuja w próbie zawsze razem,

• R=-1 wtedy i tylko wtedy, gdy wystepowanie jednego z wariantów wyklucza poja-wienie sie drugiego z nich.

Ten wspóªczynnik korelacji pozwala wnioskowa¢ o niezale»no±ci (lub okre-±lonym typie zale»no±ci) dwu wyró»nionych wariantów cech X i Y.Ujemna warto±¢ empirycznego wsp. korelacji oznacza, »e wzgledna czesto±¢ ªacznegowystepowania wariantów xi i yj jest mniejsza ni» dla niezale»nych cech Xi Y, dodatniaoznacza, »e wzgledna czesto±¢ równoczesnego wystepowania wariantów xi i yj jestwiekszani» dla niezale»nych cech X i Y.

Wzór denicyjny mo»na przepisa¢ w formie wygodniejszej dla oblicze«:

SMOP-2 B.Kamys: 2016/17 140

Rxiyj =n · nij − ni· · n·j√

ni· · (n− ni·) · n·j · (n− n·j)

PRZYKAD (zaczerpniety z [14]):

Dostawcy

Jako±¢ surowców B1 B2 B3 B4 Ogóªem

Dobra A1 35 23 60 31 149

Przecietna A2 17 11 15 20 63

Zªa A3 6 7 10 15 38

Ogóªem 58 41 85 66 250

Macierz wspóªczynników RAi,Bj (to nie jest zwykªa macierz korelacji !!):

Dostawcy

Jako±¢ surowców B1 B2 B3 B4

Dobra A1 0,0083 -0,0316 0,1607 -0,1542

Przecietna A2 0,0520 0,0166 -0,1249 0,0704

Zªa A3 -0,0743 0,0231 -0,0687 0,1256

Przeglad warto±ci wspóªczynników korelacji pokazuje, »e najwieksza dodatnia warto±¢ma wspóªczynnik RA1,B3=0,1607 a najmniejsza (ujemna) wspóªczynnik RA1,B4=-0,1542.Drugi najwiekszy wspóªczynnik korelacji to RA3,B4=0,1256 a drugi najmniejszy (ujemny)to wspóªczynnik RA1,B4=-0,1249. Nale»y to interpretowa¢ w ten sposób, »e:

• Surowce dostarczane przez dostawce B3 maja dobra jako±¢ wyra¹nie cze±ciej ni»gdyby to byªo przypadkowe (RA1,B3=0,1607),

• Surowce dostraczane przez dostawce B4 maja dobra jako±¢ wyra¹nie rzadziej, ni»gdyby to byªo przypadkowe (RA1,B4=-0,1542).

SMOP-2 B.Kamys: 2016/17 141

• Surowce dostarczane przez dostawce B4 maja zªa jako±¢ cze±ciej ni» gdyby to byªoprzypadkowe (RA3,B4=0,1256),

• Surowce dostarczane przez dostawceB3maja przecietna jako±¢ rzadziej ni» gdybyto byªo przypadkowe (RA1,B4=-0,1249).

TEST CHI-KWADRAT NIEZALENOCI CECH X i Y (uogólnienie z przy-padku 2x2)

Hipoteza zerowa:Ka»de zdarzenie losowe xi jest parami niezale»ne od ka»dego ze zdarze« yj .

Statystyka testowa:

X2 =r∑i=1

c∑j=1

(nij−nij)2nij

nij = nni·n

n·jn

K. Pearson udowodniª, »e ta statystyka ma przy prawdziwo±ci hipotezy zerowej asympto-tycznie (tzn. dla n→∞) rozkªad chi-kwadrat o (r-1)(c-1) stopniach swobody.

Obszar krytyczny: prawostronny.

PRZYKAD (zaczerpniety z [14]):Korzystajac z danych umieszczonych w tabeli z poprzedniego przykªadu mo»na wyliczy¢macierz warto±ci

nij =

35, 0 24, 4 50, 7 38, 9

14, 6 20, 3 21, 4 16, 7

8, 4 6, 3 12, 9 10, 4

SMOP-2 B.Kamys: 2016/17 142

wstawiajac te wielko±ci do wzoru na statystyke testowa dostaniemy:

X2 =(35− 35)2

35+

(23− 24, 4)2

24, 4+ . . . +

(15− 10, 4)2

10, 4= 10, 8

Liczba stopni swobody zmiennej χ2 wynosi 6≡ (3− 1) · (4− 1). Obszar krytyczny napoziomie istotno±ci α=0,1 to X2 > χ2

6(1− α) ≡ χ26(0, 9) = 16, 8.

Poniewa» X2 jest mniejsze od tej warto±ci, wiec nie ma podstaw do odrzucenia H0.

9.11.6 MIARY SIY ZWIAZKUNOMINALNYCH CECH JAKOCIOWYCH

W dwu poprzednich rozdziaªach zajmowali±my sie metodami stwierdzenia, »e zmiennejako±ciowe nie sa od siebie niezale»ne. Po zastosowaniu tych metod mogli±my dowiedzie¢sie, »e zwiazek statystyczny istnieje ale nie dostali±my iformacji czy jest to silny zwiazek.

Jak nale»y rozumie¢ okre±lenie sªaby zwiazek lub silny zwiazek ?Dla zmiennych ilo±ciowych jest to ªatwe do zdeniowania - najsilniejszym zwiazkiem

bedzie zwiazek funkcyjny, który polega na tym, »e warto±¢ argumentu (pierwsza rozpa-trywana zmienna) jednoznacznie okre±la warto±¢ funkcji (druga rozpatrywana zmienna) ivice versa (gdy funkcja jest monotoniczna).

Dla zmiennych jako±ciowych mo»emy przez analogie rozumowa¢, »e silny zwiazek totaki, przy którym przyjmowanie przez zmienna jako±ciowa jakiej± kategorii powoduje, »edruga zmienna jako±ciowa te» bedzie nale»e¢ do wybranej kategorii.

Na przykªad, jako jedna zmienna jako±ciowa mo»emy przyja¢ rodzaj podawanego lekua jako druga skuteczno±¢ kuracji. Kategoriami pierwszej zmiennej sa konkretne leki akategoriami drugiej zmiennej jest pozytywny lub negatywny skutek leczenia. Gdy poda-nie leku A zawsze ko«czy sie wyleczeniem pacjenta a podanie leku B zawsze nie przy-nosi skutku to wtedy w sposób oczywisty mamy do czynienia z najsilniejszym mo»liwymzwiazkiem pomiedzy rodzajem leku i skuteczno±cia terapii. Warto zauwa»y¢, »e dla tablickontyngencji 2x2 jest to przypadek odpowiadajacy maksymalnej ró»nicy warto±ci iloczynuelementów na gªównej i drugiej przekatnej. Jak przekonamy sie za chwile, jest to jedna zcech wykorzystywanych do oceniania miary siªy zwiazku.

MIARY SIY ZWIAZKU OPARTE O χ2.

Korzystajac ze wzoru (91) na X2 oraz wzorów na Eij podanych w tabeli (4) widzimy, »eX2 zeruje sie dla niezale»nych zmiennych bo iloczyny wyrazów na przekatnych sa iden-tyczne. Z drugiej strony wiemy z rozwa»a« podanych powy»ej »e najsilniejszy zwiazekodpowiada sytuacji, gdy jest maksymalna ró»nica iloczynów wyrazów na obu przekatnych,

SMOP-2 B.Kamys: 2016/17 143

co wg wzoru (91) oznacza najwieksza warto±¢ statystyki X2. To mogªoby nasuna¢ przy-puszczenie, »e warto±¢ tej statystyki mogªaby by¢ miara siªy zwiazku. Niestety warto±¢X2 zale»y nie tylko od siªy zwiazku ale równie» od liczebno±ci próby - ro±nie proporcjo-nalnie do liczebno±ci próby.

Gdy zwiekszymy N-krotnie liczebno±¢ próby n to wszystkie liczebno±ci Oij i Eij równie» powieksza sie N-krotnie. To spowoduje, »e statystyka X2 tak»e zwiekszy sie N-krotnie (licznikN2-krotnie a mianownik N-krotnie). Dzieje sie tak przy tym samym zwiazkupomiedzy zmiennymi a wiec wida¢, »e musimy sie pozby¢ zale»no±ci od liczebno±ci próbyaby mo»na byªo statystyke X2 u»ywa¢ jako miare siªy zwiazku.

Jako miare siªy zwiazku dla próby o liczebno±ci n wprowadza sie nastepujaca staty-styke (nazywana czasem wspóªczynnikiem Yule'a):

Φ2 ≡X2

n.

Dla tablic 2xk (a wiec i dla tablic 2x2 ) Φ2 przyjmuje warto±ci z przedziaªu[0,1], przy czym niezale»nym zmiennym odpowiada warto±¢ zero a najsilniej-szemu zwiazkowi warto±¢ jeden. W ogólnym przypadku tablic rxc Φ2 mo»eznacznie przekroczy¢ jedno±¢.

Dlatego wprowadzono równie» inne miary siªy zwiazku oparte na statystyce X2 [10].Sa to:

• wspóªczynnik T - Czuprowa,

• wspóªczynnik C - Cramera (nazywany równie» wspóªczynnikiem V - Cramera) i

• wspóªczynnik P - Pearsona (nazywany tak»e wspóªczynnikiem C - Pearsona).

WSPÓCZYNNIK T CZUPROWA:

T ≡

√X2

n ·√

(r − 1)(c− 1)±

σ(X2)

2 · n ·√

(r − 1)(c− 1) · T

Wspóªczynnik T osiaga warto±¢ +1 przy najsilniejszym zwiazku tylko wtedy gdy liczbykolumn (c) i wierszy (r) sa takie same. W przeciwnym wypadku jest mniejszy od jedno±ci.Najwieksza jego warto±¢ to:

SMOP-2 B.Kamys: 2016/17 144

max(T ) =

√min(r − 1, c− 1)

max(r − 1, c− 1)

Gdy zmienne nie sa wspóªzale»ne to wspóªczynnik T zeruje sie.Poniewa» wspóªczynnik T jest statystyka, wiec jest obarczony bªedem. Estymator

bªedu jest równie» podany we wzorze (9.11.6). Oczywi±cie wzór ten jest dany dla T 6= 0.

WSPÓCZYNNIK C CRAMERA

C ≡

√X2

n ·min[(r − 1)(c− 1)]±

σ(X2)

2 · n ·min(r − 1, c− 1) · C

Wspóªczynnik C Cramera zachowuje sie podobnie jak wspóªczynnik Czuprowa, tzn.znika gdy nie ma zale»no±ci pomiedzy zmiennymi a ro±nie gdy zale»no±¢ taka pojawia sieale ma te zalete, »e jego maksymalna warto±¢ jest równa +1 dla dowolnej liczby wierszyi kolumn. Bªad tego wspóªczynnika podany we wzorze (9.11.6) równie» jest okre±lonytylko dla C 6= 0.

WSPÓCZYNNIK P PEARSONA:

P ≡

√X2

X2 + n±

n · σ(X2)

2 ·√X2 · (n+X2)3

Wspóªczynnik P jest zawsze mniejszy od jedno±ci. Dla zmiennych caªkowicie nieza-le»nych ten wspóªczynnik zeruje sie ale przy istnieniu zwiazku miedzy zmiennymi jegowarto±¢ zale»y od liczby wierszy i kolumn tablicy kontyngencji. Na przykªad, dla tablic2x2 przyjmuje warto±¢ 1√

2.

Powy»sze trzy wspóªczynniki wykorzystuja wªasno±ci statystyki X2 a jedynie sa wró»ny sposób normowane. Dzieki jednoznacznej normalizacji (zero dla zmiennych niezale»-nych, jeden dla najsilniejszego zwiazku) najbardziej wygodnym wspóªczynnikiem wydajesie by¢ wspóªczynnik C - Cramera. W literaturze mo»na jednak spotka¢ sie z u»ywaniemwszystkich trzech wspóªczynników.

Poni»ej podamy jeszcze jeden wspóªczynnik u»ywany do okre±lania siªy zwiazku pomiedzynominalnymi zmiennymi jako±ciowymi nie wykorzystujacy statystyki X2. Jest to wiel-ko±¢ nazywana wspóªczynnikiem Q - Kendalla mimo i» Kendall gªosi autorstwo Yule'a[10].

SMOP-2 B.Kamys: 2016/17 145

WSPÓCZYNNIK Q - KENDALLA stosowany tylko dla tablic kontyngencji 2x2 zdeniowany jest nastepujacym wzorem:

Q ≡m1 · (n2 −m2)−m2 · (n1 −m1)

m1 · (n2 −m2) +m2 · (n1 −m1)

Jest to jak wida¢ unormowany wyznacznik tablicy kontyngencji. Dlatego przyj-muje warto±ci z przedziaªu [−1,+1], przy czym dla zmiennych niezale»nych zeruje sie adla najsilniejszego zwiazku Q = ±1.

SMOP-2 B.Kamys: 2016/17 146

9.12 Test istotno±ci dla wspóªczynnika korelacji Pearsona

Wspóªczynnik korelacji %(X,Y ), który omawiali±my przy deniowaniu macierzy kowa-riancji

• mówi o istnieniu zale»no±ci liniowej zmiennych X i Y gdy jego warto±¢ zbli»onajest (co do moduªu) do jedno±ci,

• zeruje si¦, gdy zmienne X i Y s¡ niezale»ne statystycznie (tw. odwrotne nie zawszejest sªuszne, tj. zerowanie si¦ wspóªczynnika korelacji jest warunkiem koniecznym anie wystarczaj¡cym niezale»no±ci zmiennych).

Wa»ne jest wi¦c badanie nast¦puj¡cych hipotez:

1. H0 : % = %0

2. H0 : % = 0

Estymatorem wspóªczynnika korelacji Tn(%) jest

r ≡

n∑i=1

(xi − x) (yi − y)√[n∑i=1

(xi − x)2

] [n∑i=1

(yi − y)2

] .R.A. Fisher pokazaª, »e je»eli zmienne X i Y pochodz¡ z dwuwymiarowego rozkªadu

Gaussa to mo»na poda¢ ±cisªy wzór na rozkªad estymatora r wspóªczynnika korelacji %sªuszny dla wszystkich warto±ci % (z wyj¡tkiem |%| = 1) i dla wszystkich rozmiarówpróby n:

f (r) =n− 2

π

(1− %2

)n−12(1− r2

)n−42

1∫0

tn−2dt

(1− r%t)n−1√1− t2

Rozkªad ten mo»e by¢ u»yty do numerycznego obliczania odpowiednich warto±ci kry-tycznych r(n, α) przy ustalonej warto±ci %. Ze wzgl¦du na to, »e tego typu obliczeniamog¡ by¢ skomplikowane a stosowanie tablic lub procedur obliczania kwantyli rozkªadustandardowego normalnego jest powszechnie znane wi¦c najcz¦±ciej nie korzysta si¦ zpowy»szego wzoru lecz posªuguje si¦ wynikami twierdzenia podanego poni»ej (tak»e udo-wodnionego przez R.A. Fishera).

TWIERDZENIE: Je»eli r jest estymatorem wspóªczynnika korelacji z próby prostej oliczebno±ci n > 3 z populacji o dwuwymiarowym rozkªadzie normalnym i wspóªczynnikukorelacji % to zmienna z zdeniowna poni»ej ma w przybli»eniu standardowy rozkªadnormalny: f(z) = N(0, 1):

z =√n− 3

[1

2ln

(1 + r) (1− %)

(1− r) (1 + %)−

%

2 (n− 1)

]

SMOP-2 B.Kamys: 2016/17 147

ad (1) H0 : % = %0 Stosujemy powy»sze przeksztaªcenie i w zale»no±ci od hipotezyalternatywnej okre±lamy obszar krytyczny dla danego poziomu istotno±ci α.

H1 Obszar krytyczny

% 6= %0 z < zα/2⋃z > z1−α/2

% > %0 z > z1−α

% < %0 z < zα

ad (2) H0 : % = 0 Dla tej szczególnej warto±ci %0 mo»na u»y¢ tej samej metody jakdla innych, rozwa»anych powy»ej warto±ci ale mo»na skorzysta¢ z innego przeksztaª-cenia:

TWIERDZENIE: Je»eli badana próba prosta o liczebno±ci n pochodzi z dwu-wymiarowej populacji normalnej, w której % = 0, to zmienna losowa v zdeniowanaponi»ej ma rozkªad Studenta o n− 2 stopniach swobody.

v =

√n− 2 · r√

1− r2

Korzystamy wówczas z poni»szych reguª okre±lania obszaru krytycznego:

H1 Obszar krytyczny

% 6= 0 v < t(n−2); α/2

⋃v > t(n−2); 1−α/2

% > 0 v > t(n−2); 1−α

% < 0 v < t(n−2); α

SMOP-2 B.Kamys: 2016/17 148

9.13 Test istotno±ci dla stosunku korelacyjnego

W przypadku, gdy badamy nieliniowy zwi¡zek pomi¦dzy zmiennymi X i Y zastosowaniewspóªczynnika korelacji liniowej %(x, y) (Pearsona) nie daje nam peªnej informacji opostulowanym zwi¡zku lub o jego braku. Spowodowane jest to tym, »e zerowanie si¦tego wspóªczynnika korelacji mo»e zachodzi¢ równie» wtedy gdy istnieje ±cisªy zwi¡zeknieliniowy pomi¦dzy zmiennymi.

Dla siªy nieliniowego zwi¡zku statystycznego pomi¦dzy ilo±ciowymi zmiennymi loso-wymi X i Y stosuje si¦ wi¦c inny wielko±ci. S¡ nimi:

1. Wspóªczynnik zgodno±ci ϕ2

2. Wspóªczynnik korelacji krzywoliniowej R ≡√

1− ϕ2

3. Stosunek korelacyjny zmiennej Y wzgl¦dem X: H2X|Y

4. Stosunek korelacyjny zmiennej X wzgl¦dem Y: H2Y |X

ad (1): Wspóªczynnik zgodno±ci deniuje si¦ jako:

ϕ2 =

n∑i=1

[yi − f(xi)]2

n∑i=1

[yi − y]2

gdzie yi i xi to zmierzone pary warto±ci zmiennych Y i X wyst¦puj¡ce w próbie oliczebno±ci n , y to ±rednia arytmetyczna warto±ci zmiennej Y w próbie a f(x) to funkcjaregresji z parametrami dobranymi metod¡ najmniejszych kwadratów.

Zgodnie z podstawow¡ wªasno±ci¡ funkcji regresji i metody najmniejszych kwadratówsuma kwadratów w liczniku musi by¢ nie wi¦ksza od sumy kwadratów w mianowniku awi¦c wspóªczynnik zgodno±ci musi by¢ mniejszy lub równy jedno±ci a jako iloraz nieujem-nych liczb musi by¢ nieujemny:

0 ≤ ϕ2 ≤ 1.

Oczywi±cie im lepiej funkcja regresji odtwarza zwi¡zek Y (X) tym mniejszy jest wspóª-czynnik zgodno±ci.

ad (2): Wspóªczynnik korelacji krzywoliniowej R równie» przyjmuje warto±ci z tegosamego zakresu co wspóªczynnik zgodno±ci przy czym cz¦±ciej u»ywa si¦ kwadratu tegowspóªczynnika:

R2 = 1−

n∑i=1

[yi − f(xi)]2

n∑i=1

[yi − y]2

SMOP-2 B.Kamys: 2016/17 149

Wida¢, »e w przypadku gdy funkcja regresji bardzo dobrze opisuje zale»no±¢ Y (X)to uªamek znika i R2 ≈ 1. Co wi¦cej, mo»na pokaza¢, »e dla liniowego zwi¡zkuY(X) wspóªczynnik R2 jest równy kwadratowi zwykªego wspóªczynnika korelacjiPearsona r2.

ad (3): H2Y |X - stosunek korelacyjny zmiennej Y wzgl¦dem zmiennej X.

Oba powy»sze wspóªczynniki, tj. ϕ2 i R2 mog¡ by¢ zastosowane do okre±lenia jako±ciopisu zale»no±ci Y (X) przez funkcj¦ regresji ale aby to wykona¢ musimy zna¢ parametryfunkcji regresji. Z tego powodu, nie jeste±my w stanie powiedzie¢ bez dopasowania war-to±ci parametrów tej funkcji, czy zmienne X i Y s¡ powi¡zane nieliniowym zwi¡zkiemstatystycznym.

Aby pokona¢ t¦ trudno±¢ K. Pearson zaproponowaª zastosowanie, tzw. stosunkukorelacyjnego:

H2Y |X ≡

E [E(Y |X)− E(Y )]2

σ2(Y ),

którego estymatorem jest

η2Y |X =

l∑i=1

[y(xi)− y]2 ni·

m∑k=1

[yk − y]2 n·k

,

gdzie prób¦ (xj, yj), j = 1, ..., n podzielono na mniejsze próby o liczebno±ciach ni,k, i =1, ...l, k = 1, ...,m, przy czym ka»da grupa ma centrum (xi, yk) a suma liczebno±ciwynosi n:

∑i,k

ni,k = n.

Symbol y(xi) jest ±redni¡ warunkow¡, tj. ±redni¡ ze zmiennej (y|xi) a symboleni· =

∑k

ni,k oraz n·k =∑i

ni,k.

Estymator stosunku korelacyjnego mo»e by¢ policzony tak»e wg nast¦puj¡cego wzoru:

η2Y |X = 1−

l∑i=1

m∑k=1

[yk − y(xi)]2 nik

m∑k=1

[yk − y]2 n·k

Z tego wzoru wida¢, »e η2Y |X = 1 wtedy i tylko wtedy, gdy yk = y(xi) dla ka»dej

niezerowej liczebno±ci ni,k. Zachodzi to tylko wtedy, gdy dla ka»dej warto±ci xi zmienna

SMOP-2 B.Kamys: 2016/17 150

Y przyjmuje tylko jedn¡ warto±¢ a wi¦c istnieje dla caªej próby zwi¡zek funkcyjny yi =y(xi). Z kolei z pierwszego wzoru na stosunek korelacyjny wida¢, »e b¦dzie si¦ on zerowaªwtedy i tylko wtedy gdy y(xi) − y a wi¦c gdy zmienna y przyjmuje t¦ sam¡ warto±¢ ydla wszystkich warto±ci x. Wtedy oczywi±cie zmienne s¡ nieskorelowane.

Z tych rozwa»a« wynika, »e:

0 ≤ η2Y |X ≤ 1.

ad (4.): Analogicznie do stosunku korelacyjnego zmiennej Y wzgl¦dem X mo»nastworzy¢ niezale»ny od niego wspóªczynnik korelacyjny zmiennej X wzgl¦dem zmien-nej Y : H2

X|Y .

H2X|Y ≡

E [E(X|Y )− E(X)]2

σ2(X),

którego estymator liczy si¦ wg poni»szych wzorów:

η2X|Y =

m∑k=1

[x(yk)− x]2 n·k

l∑i=1

[xi − x]2 ni·

= 1−

m∑k=1

l∑i=1

[xi − x(yk)]2 nik

l∑i=1

[xi − x]2 ni·

Mo»na pokaza¢, »e zachodz¡ nast¦puj¡ce relacje pomi¦dzy stosunkami korelacyjnymii wspóªczynnikiem korelacji krzywoliniowej R:

R2 ≤ η2X|Y ∩ R2 ≤ η2

Y |X

Wystarczy wi¦c pokaza¢, »e którykolwiek stosunek korelacyjny zeruje si¦ aby równie»zerowaª si¦ wspóªczynnik korelacji krzywoliniowej.

Hipotez¦: H0 : H2Y |X = 0 testuje si¦ wprowadzaj¡c statystyk¦ testow¡:

F =η2Y |X

1− η2Y |X

n− ll− 1

,

SMOP-2 B.Kamys: 2016/17 151

która ma rozkªad F(l−1),(n−l) tj. rozkªad Fishera-Snedecora o (l− 1), (n− l) stopniach swobody.Obszar krytyczny: prawostronny, tj. F > (F(l−1),(n−l))1−α gdzie α jest poziomem istot-no±ci.

Analogicznie przebiega testowanie hipotezy: H0 : HX|Y = 0.Jako statystyk¦ testow¡ bierze si¦:

F =η2X|Y

1− η2X|Y

n−mm− 1

,

która ma rozkªad F(m−1),(n−m), tj. rozkªad Fishera-Snedecora o (m − 1), (n − m)stopniach swobody. Oczywi±cie obszar krytyczny jest te» prawostronny.

SMOP-2 B.Kamys: 2016/17 152

10 METODA MONTE CARLO

Metoda ta polega na przyporzadkowaniu problemowi matematycznemu lub przyrodni-czemu równowa»nego problemu statystycznego i rozwiazaniu go metodami statystyki.Szczególnie po»yteczna okazaªa sie w przypadkach, gdy szczegóªy badanego problemusa zrozumiaªe i daªyby sie rozwiaza¢ analitycznie ale rachunki takie sa zbyt czasochªonne,np. policzenie caªek wielokrotnych gdy wymiar przestrzeni caªkowania jest du»y czy te»±ledzenie losu neutronów przechodzacych przez niejednorodne ±rodowisko takie jak wreaktorze jadrowym i jego obudowie. Ten ostatni przykªad, tj. ±ledzenie losu neutro-nów przy ªa«cuchowej reakcji rozszczepienia prowadzacej do wybuchu bomby atomowejbyª pierwszym zastosowaniem tej metody zaproponowanej przez J. von Neumanna i S.Ulama.

Zwykle udaje sie zastapi¢ poszukiwanie rozwiazania oryginalnego problemu przez es-tymacje warto±ci oczekiwanej pewnej funkcji na podstawie próby statystycznej skªa-dajacej sie z zespoªu warto±ci tej funkcji obliczonego dla wylosowanych warto±ci argu-mentu. W zwiazku z tym pojawiaja sie nastepujace pytania:

1. Jak sformuªowa¢ problem statystyczny, tzn. jak ma wyglada¢ funkcja dla którejposzukujemy warto±ci oczekiwanej ? Bierzemy przy tym pod uwage:

• Jak zminimalizowa¢ blad estymacji przy ustalonym rozmiarze próby statystycz-nej ?

• Z jakim rozkªadem prawdopodobie«stwa (gesto±ci prawdopodobie«stwa) na-le»y losowa¢ warto±ci argumentu funkcji ?

2. W jaki sposób przeprowadzi¢ generacje liczb losowych ?

Odpowiedzi na te pytania zale»a od rozwiazywanego problemu. Poni»ej beda przedsta-wione przykªady jak mo»na dobiera¢ posta¢ funkcji i jakie pojawiaja sie wtedy rozkªadyprawdopodobie«stwa gdy stosuje sie metode Monte Carlo do liczenia caªek.

10.1 LICZENIE CAEK METODA MONTE CARLO

Caªke

I ≡∫ b

a

f(x)dx

mo»emy zapisa¢ w równowa»nej postaci

I =

b∫a

g(x)

g(x)· f(x) · dx

SMOP-2 B.Kamys: 2016/17 153

gdzie funkcja g(x) > 0 orazb∫a

g(x)dx = 1 - czyli g(x) jest pewna funkcja gesto±ci

prawdopodobie«stwa na odcinku [a,b]).

Porównujac drugi wzór na caªke I ze wzorem na warto±¢ oczekiwana funkcji f(x)

g(x):

E

f(x)

g(x)

≡

b∫a

dx · g(x) ·(f(x)

g(x)

)wida¢, »e caªka jest po prostu warto±cia oczekiwana funkcji f(x)

g(x)dla gesto±ci prawdopo-

dobie«stwa g(x).

W szczególno±ci jako funkcje g(x) mo»emy wzia¢ funkcje gesto±ci prawdopodobie«stwarozkªadu jednorodnego na odcinku [a,b] i dostaniemy:

I =

b∫a

dx ·1

(b− a)· (b− a)f(x)

Estymatorem powy»szej warto±ci oczekiwanej jest ±rednia arytmetyczna

Tn(I) = (b− a) ·1

n

n∑i=1

f(xi)

gdzie argumenty xi sa losowane z rozkªadem jednorodnym (równomiernym) na odcinku[a,b]. Jest to tzw. podstawowa metoda liczenia caªki metoda Monte Carlo.

Dla wygody rozwa»a sie zwykle caªki liczone na odcinku [0,1] bo wtedy nie mu-simy jawnie wypisywa¢ dªugo±ci przedziaªu caªkowania a mo»na zawsze przezliniowa zmiane zmiennych przej±¢ do dowolnego odcinka [a,b]. W poni»szychrozwa»aniach bedziemy stosowa¢ te konwencje.

Wzór na estymator caªki jest wtedy po prostu ±rednia arytmetyczna warto±ci funkcjipodcaªkowej gdzie argumenty xi sa losowane z rozkªadem jednorodnym na przedziale[0,1].

Bªad estymatora caªki to bªad ±redniej arytmetycznej :

SMOP-2 B.Kamys: 2016/17 154

σI =

√√√√σ2

1

n

n∑i=1

f(xi)

=

√√√√ 1

n2

n∑i=1

σ2f(xi)

=

√n · σ2f

n2

=σf√n

Niestety ten wzór nie mo»e by¢ w praktyce stosowany bo liczenie σf wymagaªobyznajomo±ci warto±ci szukanej caªki:

σ2f =

1∫0

f2(x)dx−

1∫0

f(x)dx

2

=

1∫0

f2(x)dx− I2

Dlatego dla liczenia estymatora bªedu caªki S(I) zamiast σf u»ywa sie estymatoraSf liczonego wg wzoru:

S (f) =

√√√√ 1

n− 1

n∑i=1

[f(xi)− Tn(I)]2

S (I) =S (f)√n

gdzie Tn(I) jest równe (ze wzgledu na jednostkowa dªugo±¢ przedziaªu caªkowania) ±red-niej arytmetycznej z warto±ci funkcji f(x).

Poniewa» przy liczeniu caªek chcieliby±my wiedzie¢ nie tylko jakie jest odchylenie stan-dardowe estymatora caªki, lecz chcieliby±my okre±li¢ przedziaª gdzie prawie na pewnobedzie znajdowa¢ sie prawdziwa warto±¢ caªki to przyjeªo sie jako bªad caªki bra¢ po-ªowe przedziaªu ufno±ci na poziomie ufno±ci 0,9545, który równy jest podwojonej warto±ciodchylenia standardowego przy zaªo»eniu, »e ±rednia arytmetyczna ma rozkªad normalny.

A wiec jako bªad caªki bierzemy wielko±¢:

SMOP-2 B.Kamys: 2016/17 155

2S(f)√n

Z powy»szego wzoru wida¢, »e bªad liczenia caªki metoda Monte Carlo maleje propor-cjonalnie do odwrotno±ci pierwiastka z liczby obliczanych warto±ci funkcji podcaªkowej1/√n. Dzieje sie tak niezale»nie od tego czy caªka jest liczona w przestrzeni

jedno- czy wielowymiarowej . Na tym, przede wszystkim, polega przewaga me-tody Monte Carlo nad innymi metodami liczenia caªki.

W przypadku caªki jednokrotnej taka przewaga nie ujawnia sie bo istnieje wiele in-nych metod numerycznych takich jak np. metoda Simpsona, Romberga czy Gaussa,które sa bardziej precyzyjne od metody Monte Carlo przy tej samej liczbie wyliczonychwarto±ci funkcji podcaªkowej. Jednak»e gdyby±my chcieli zastosowa¢ która± z tych me-tod do caªki wielokrotnej to oka»e sie, »e otrzymanie maªego bªedu caªki wymaga przyzwiekszaniu wymiaru przestrzeni argumentów zwiekszania liczby oblicze« funkcji podcaª-kowej w sposób proporcjonalny do nw, gdzie n jest liczba warto±ci jednego argumentua w jest wymiarem przestrzeni argumentów. W odró»nieniu od tych metod wielko±¢bªedu estymatora caªki uzyskanego metoda Monte Carlo maleje tak jak bªad ±redniejarytmetycznej czyli proporcjonalnie do 1/

√n niezale»nie od wymiaru przestrzeni

argumentów . A wiec zwiekszanie wymiaru przestrzeni argumentów funkcji podcaªkowejnie musi przedªu»a¢ czasu obliczenia caªki.

Rozwa»my prosty przykªad: do obliczenia caªki 10 krotnej, wyliczajac funkcje podcaª-kowa 10 razy dla ka»dego wymiaru musieliby±my obliczy¢ funkcje podcaªkowa 1010 razy.Je»eli potramy w ciagu sekundy obliczy¢ funkcje podcaªkowa 10 000 razy to znalezieniewarto±ci caªki wymagaªoby 1000 000 sekund czyli okoªo 12 dni i nocy. Tymczasem sto-sujac metode Monte Carlo, mo»emy oszacowa¢ warto±¢ caªki z dobr¡ dokªadno±cia (równ¡σ(f)/1000) wyliczajac 1000 000 razy funkcje podcaªkowa, tzn. skracajac czas oblicze«do 100 sekund.

10.2 ZMNIEJSZANIE BEDU CAKI

Podstawowa metoda stosowana w tym celu jest tzw. metoda ±redniej wa»onej (zwanapo angielsku importance sampling). Polega ona na tym, »e zamiast losowa¢ argumentfunkcji podcaªkowej z rozkªadem jednorodnym losuje sie go z rozkªadem g(x) mo»li-wie podobnym do funkcji podcaªkowej . Wtedy estymatorem caªki na przedziale [0,1]z funkcji f(x) jest ±rednia wa»ona:

Tn(I) =1

n

n∑i=1

f(xi)

g(xi)

SMOP-2 B.Kamys: 2016/17 156

gdzie argumenty xi losowane sa cze±ciej tam gdzie funkcja f(x) jest du»a a wiec przy-czynki do caªki sa znaczace stad angielska nazwa losowanie istotne.

Mo»na pokaza¢, »e zastosowanie tej metody zawsze daje mniejszy bªad caªki ni» otrzymy-wany w metodzie podstawowej.

Inna metoda jest tzw. losowanie warstwowe polegajace na rozbiciu przedziaªucaªkowania na mniejsze przedziaªy, w których funkcja podcaªkowa zmienia sie mo»liwiemaªo jest prawie staªa. Wtedy u»ycie najprostszej metody podstawowej w ka»dymz przedziaªów zdecydowanie zmniejsza wariancje (bªad) caªki. Wida¢ to ewidentnie dlafunkcji przedziaªami staªej. Tam metoda warstwowa daje bªad równy zeru (!).

Tu tak»e mo»na pokaza¢, »e bªad caªki jest zawsze mniejszy lub równy od bªedu metodypodstawowej.

Metoda zmiennych kontrolnych to szukanie funkcji h(x) podobnej do f(x) aletakiej, »e caªka z h(x) na przedziale [0,1] jest znana. Wtedy mo»emy liczy¢ podstawowametoda Monte Carlo caªke z ró»nicy f(x) − h(x). Jest to opªacalne je»eli liczeniefunkcji h(x) nie jest zbyt pracochªonne. Zwykle przyjmuje sie, »e wspóªczynnik korelacji

pomiedzy funkcjami f(x) i h(x) powinien speªnia¢ relacje: ρ(f(x), h(x)) ≥√

1− 1k

gdzie k oznacza ile razy bardziej pracochªonne jest policzenie ró»nicy f(x)− h(x) odpoliczenia samej funkcji f(x).

Metoda zmiennych antytetycznychJe»eli f1(ξ) i f2(η) sa dwoma estymatorami liczonej powy»ej caªki to ich ±rednia

arytmetyczna g2 te» bedzie estymatorem caªki:

g2 ≡1

2(f1 + f2),

przy czym je»eli oba estymatory f1 i f2 sa nieobcia»one to i estymator g2 jest nieobcia»ony.

Z drugiej strony wariancja estymatora g2 bedzie zale»e¢ nie tylko od wariancji esty-matorów f1 i f2 ale tak»e od ich kowariancji:

σ2 (g2) ≡1

4(σ2 (f1) + σ2(f2)) +

1

2cov(f1, f2).

Je»eli kowariancja estymatorów bedzie ujemna i du»a co do moduªu, to wariancja esty-matora g2 mo»e by¢ mniejsza od wariancji ka»dego z estymatorów f1 i f2. Powy»szerozumowanie mo»na oczywi±cie rozszerzy¢ na ±rednia m estymatorów caªki.

PRZYKAD:

Je»eli funkcja podcaªkowa f(x) jest monotoniczna to jako dwa wy»ej omawiane es-tymatory mo»emy wzia¢ nastepujace funkcje: f1 = f(x) i f2 = f(1 − x). Wtedyestymator g2 bedzie bardziej zbli»ony do staªej na odcinku [0,1] ni» ka»dy z dwu skªadni-ków. To spowoduje, »e jego wariancja bedzie mniejsza od wariancji ka»dego ze skªadników

SMOP-2 B.Kamys: 2016/17 157

a o to nam chodzi.

Dla funkcji monotonicznej na caªym przedziale caªkowania mo»na dobra¢ inny wy-godny estymator g2, który bedzie ±rednia wa»ona a nie ±rednia arytmetyczna a wagidobierze sie tak aby najbardziej zmniejszy¢ wariancje estymatora g2:

g2 ≡ α · f(αx) + (1− α) · f(1− (1− α)x) gdzie 0 < α < 1.

Znalezienie optymalnej warto±ci wspóªczynnika α mo»e by¢ bardzo trudne, wiec czestozadawalamy sie zastosowaniem nastepujacego, prostszego przepisu, który zwykle daje po-równywalnie maªa wariancje caªki jak optymalna warto±¢ α. Jest to rozwiazanie równania:

f(α) = (1− α) · f(1) + α · f(0)

Powy»sze przykªady liczenia caªki metoda Monte Carlo nie wyczerpuja wszystkichstosowanych wariantów tej metody lecz sªu»a raczej do ilustracji na czym polega problemdoboru funkcji, dla której szukamy warto±ci oczekiwanej.

SMOP-2 B.Kamys: 2016/17 158

10.3 GENERACJA LICZB LOSOWYCH

Przy obliczeniach metoda Monte Carlo konieczna jest generacja liczb losowych o po»adanymrozkªadzie (gesto±ci) prawdopodobie«stwa. Liczby te w praktyce znajduje sie przy pomocyodpowiednich programów komputerowych co powoduje, »e ciagi liczb losowych otrzymanez tych samych startowych parametrów sa powtarzalne a wiec nie sa naprawde losowe. Ztej przyczyny u»ywa sie czesto okre±lenia liczby pseudolosowe.

Najwa»niejszym ze stosowanych rozkªadów jest rozkªad jednorodny(równomierny,jednostajny), gdy» przy jego u»yciu mo»na wygenerowa¢ liczby pseudolosowe o innychpo»adanych rozkªadach prawdopodobie«stwa. Jak bedzie pokazane poni»ej istnieja me-tody pozwalajace na stworzenie prostych i krótkich programów komputerowych do ge-neracji liczb pseudolosowych o rozkªadzie jednorodnym. Mo»na wiec samemu napisa¢taki program. Okazuje sie jednak, »e bezpieczniej jest korzysta¢ z gotowych, o-pracowanych przez specjalistów procedur , gdy» speªniaja one nie tylko podstawowewymagania narzucane na liczby pseudolosowe ale uwzgledniaja tak»e bardziej zaawanso-wane warunki, które musza by¢ zapewnione przy niektórych obliczeniach. Takimi godnymipolecenia generatorami liczb losowych sa na przykªad procedury RANLUX i RAN-MAR z biblioteki procedur CERN. Pierwszy z tych generatorów zostaª napisany przezF. Jamesa (Comp. Phys. Comm. 79 (1994) 111) i oznaczony jest symbolem V115 w bi-bliotece procedur CERN a drugi (stworzony w oparciu o raport G. Marsaglia, A. Zaman,and W.W. Tsang, Towards a Universal Random Number Generator, Supercomputer Com-putations Research Institute, Florida State University technical report FSU-SCRI-87-50(1987)) przez F. Carminati i F. Jamesa i wystepuje jako procedura V113 w biblioteceprocedur CERN.

10.3.1 Generacja liczb o rozkªadzie równomiernym

W olbrzymiej wiekszo±ci przypadków ciagi liczb pseudolosowych tworzone sa przy pomocyzwiazków rekurencyjnych. Najlepiej zbadanym algorytmem jest tzw. metoda kongru-encyjna, która generuje kolejna liczbe pseudolosowa w oparciu o k + 1 poprzednich wgwzoru:

xn+1 = (a0xn + a1xn−1 + . . .+ akxn−k)(modM),

gdzie zapis a(modb) nale»y rozumie¢ jako reszte z dzielenia liczby a przez liczbe b.LiczbaM a tak»e wszystkie liczby ai oraz xi sa liczbami caªkowitymi z przedziaªu [0,M).

Generatory stanowiace szczególne przypadki powy»szego wzoru maja swoje specjalnenazwy. Generatory stosujace wzór:

xn+1 = xn + xn−1(modM)

nazywane sa generatorami Fibonacciego,te, które u»ywaja relacji:

xn+1 = a0xn(modM)

SMOP-2 B.Kamys: 2016/17 159

okre±la sie mianem generatorów multiplikatywnych a oparte o wyra»enie:

xn+1 = a0xn + a1(modM)

nosza nazwe generatorów mieszanych.Wszystkie ciagi liczb pseudolosowych sa ciagami okresowymi. Dobry generator powi-

nien mie¢ mo»liwie dªugi okres, tak dªugi aby w czasie wykonywania prac obliczeniowychwykorzystywa¢ tylko niewielka cze±¢ okresu. Maksymalny mo»liwy okres ciagu liczb lo-sowych otrzymanych ogólna metoda kongruencyjna nie mo»e przekroczy¢Mk+1. A wiecmaksymalny okres generatora Fibonacciego toM2 a generatora multiplikatywnego i mie-szanego nie przekraczaM . Te maksymalne warto±ci sa osiagane tylko przy odpowiednimdoborze wspóªczynników formuªy rekurencyjnej. Na przykªad, mo»na pokaza¢, »e dªugo±¢okresu ciagu liczb losowych generatora mieszanego wynosi M wtedy i tylko wtedy, gdyspeªnione sa nastepujace warunki:

• a1 i M nie maja wspólnych dzielników,

• (a0 − 1) jest wielokrotno±cia liczby pierwszej, która jest dzielnikiem liczby M ,

• (a0 − 1) jest wielokrotno±cia liczby 4, o ile M jest te» wielokrotno±cia liczby 4.

Od dobrego generatora, »adamy równie» aby mo»na byªo kolejne liczby pseudolosoweuwa»a¢ za niezale»ne. W szczególno±ci powinny by¢ niezale»ne liniowo. Mo»emy tosprawdzi¢ liczac wspóªczynniki korelacji pomiedzy parami liczb:

%j ≡ %(xi, xi+j).

Wspóªczynniki korelacji %j ,j=1,2,... powinny by¢ równe zero.Zamiast liczy¢ wspóªczynniki korelacji mo»na niezale»no±¢ liniowa generowanych liczb

sprawdza¢ przez wykonanie pewnych kontrolnych zada« rachunkowych. Jednym znajprostszych zada« jest liczenie metoda Monte Carlo (np. podstawowa metoda szukaniacaªki) objeto±ci kuli o jednostkowym promieniu w przestrzeni N-wymiarowej. Objeto±¢kuli wynosi:

VN =2

N

πN/2

Γ(N/2),

gdzie Γ(N/2) to funkcja gamma Eulera. Funkcja ta przyjmuje warto±¢√π dla argu-

mentu 1/2 i mo»e by¢ liczona rekurencyjnie wg wzoru Γ(z + 1) = z · Γ(z). Nawetniewielka korelacja pomiedzy generowanymi liczbami pseudolosowymi odbija sie wyra¹niena wynikach oblicze« dyskredytujac stosowany generator.

Inna, bardzo wa»na cecha generatora liczb pseudolosowych jest aby te liczby pokrywaªyprzedziaª (0,1) odpowiednio gesto.Aby to prosto wyja±ni¢ we¹my pod uwage rekurencyjny algorytm, w którym nastepnaliczba generowana jest przy pomocy poprzedniej: xn+1 = f(xn). Je»eli wykre±limy napowierzchni jednostkowego kwadratu (czyli kwadratu o wierzchoªkach (0,0),(1,0),(1,1) i(0,1) poªo»enia punktów o wspóªrzednych (x = xn, y = xn+1) to w przypadku praw-dziwych losowych liczb xn i xn+1 powinny one pokrywa¢ równomiernie powierzchnie

SMOP-2 B.Kamys: 2016/17 160

kwadratu. Natomiast dla pseudolosowych liczb dostaniemy punkty le»ace na krzywejy = f(x). A wiec krzywa y = f(x) musi wielokrotnie i to w maªych odlegªo±ciachprzechodzi¢ przez powierzchnie kwadratu aby zapewni¢ w miare równomierne pokryciepowierzchni kwadratu. Ten warunek podobnie jak i inne powy»ej wymienione jest jedy-nie warunkiem koniecznym aby generator mógª by¢ uznany za zadawalajacy generator.

Dla surowego testowania generatorów wymy±lono caªy zestaw testów, które powinnyby¢ speªniane przez dobre generatory (np. G. Marsaglia, A Current View of RandomNumber Generators, Computer Science and Statistics: 16th Symposium on the Interface,Elsevier (1985)). Wspomniane na wstepie generatory RANLUX, RANMAR przeszªy po-my±lnie ten zestaw testów.

10.3.2 Generacja liczb losowych o dowolnych rozkªadach prawdopodobie«-stwa

Je»eli dysponujemy ju» dobrym generatorem liczb pseudolosowych o rozkªadzie równo-miernym na odcinku [0,1] to mo»emy przystapi¢ do generacji liczb o dowolnych rozkªa-dach prawdopodobie«stwa. Zacznijmy od generacji zmiennej dyskretnej przyjmujacejn warto±ci z zadanym rozkªadem prawdopodobie«stwa:

P (x = xi) = pi, dla i = 1, 2, ...n

W tym celu podzielmy przedziaª [0,1] na n przedziaªów o dªugo±ci ∆i = pi. Litera γoznacza¢ bedziemy wygenerowana zmienna o rozkªadzie równomiernym w przedziale [0,1].Wtedy ªatwo udowodni¢ nastepujace twierdzenie:

TWIERDZENIELosowa wielko±¢ x okre±lona formuªa

x = xi gdy γ ∈ ∆i

ma poszukiwany rozkªad dyskretny.

DOWÓD:

P (x = xi) = P (γ ∈ ∆i) = ∆i = pi

♦

UWAGA 1: Powy»sze twierdzenie mo»na uogólni¢ na przypadek zmiennej dyskretnejprzyjmujacej niesko«czenie wiele warto±ci. Wtedy zarówno warto±ci zmiennej xi jaki prawdopodobie«stwa pi okre±lone sa wzorami okre±lajacymi ich zale»no±¢ od wska¹nikai. Dla efektywnego losowania wybiera sie pewne nmax tak du»e, »e suma prawdopodo-bie«stw

nmax∑i=1

pi = 1− ε

SMOP-2 B.Kamys: 2016/17 161

jest bliska jedno±ci (tj. ε > 0 jest odpowiednio maªe) i dla wska¹ników i = 1, ..., nmaxwylicza sie przed generacja xi i pi (przechowujac je nastepnie w pamieci komputera) aobliczenia wg zadanych wzorów wykonuje sie tylko przy generacji maªo prawdopodobnychwarto±ci xi (dla i > nmax).♦

UWAGA 2: Czesto przy symulacji zjawisk przyrodniczych spotykamy sie z sytuacja, wktórej musimy zdecydowa¢ jakie zdarzenie spo±ród wszystkich mo»liwych i wyklu-czajacych sie zdarze« (A1, A2, ..., An) zachodzi w danym momencie je»eli znamyprawdopodobie«stwa tych zdarze«. Taka sytuacja dokªadnie odpowiada schematowiwyboru warto±ci zmiennej dyskretnej to»samej ze wska¹nikiem i danego zdarzenia Ai oznanym rozkªadzie prawdopodobie«stw pi, i = 1, ..., n.♦

Generacja zmiennej ciagªej z zadana funkcja gesto±ci prawdopodobie«stwa f(x).Zaªó»my, »e zmienna losowa x ma funkcje gesto±ci prawdopodobie«stwa f(x) > 0 w sko«-czonym lub niesko«czonym przedziale [a,b]. Wtedy dystrybuanta zmiennej x opisywanajest wzorem:

F (x) =

x∫a

f(t)dt

i jest silnie rosnaca funkcja.

TWIERDZENIEPrzy tych zaªo»eniach losowa wielko±¢ x okre±lona formuªa

F (x) = γ

ma funkcje gesto±ci prawdopodobie«stwa f(x).

DOWÓD:Dla silnie rosnacej dystrybuanty F (x) mo»emy napisa¢ nastepujacy zespóª równa« (przezY oznaczamy dystrybuante traktowana jako zmienna losowa):

P (y < Y < y + dy) = P (x < X < x+ dx)

P (y < Y < y + dy) ≡ g(y)dy

P (x < X < x+ dx) ≡ f(x)dx

g(y)dy = f(x)dx

skad wynika, »e

g(F (x))dF (x) = f(x)dx.

SMOP-2 B.Kamys: 2016/17 162

Z denicji dystrybuanty wiadomo, »e:

dF (x) = f(x)dx,

a wiec

g(F (x)) = 1,

czyli dystrybuanta ma rozkªad równomierny w przedziale [0,1].Stad generujac warto±¢ liczby losowej γ okre±lamy jednoznacznie warto±¢ dystrybuantyF(x) a co za tym idzie warto±¢ zmiennej x o funkcji gesto±ci prawdopodobie«stwa f(x):

x = F−1(γ),

gdzie F−1(x) oznacza funkcje odwrotna do dystrybuanty.♦

UWAGA 1: Je»eli funkcja gesto±ci prawdopodobie«stwa f(x) zeruje sie na pewnych od-cinkach warto±ci argumentu to dystrybuanta F(x) nie jest funkcja silnie rosnaca i wtedyrozwiazanie równania F (x) = γ nie jest jednoznaczne (F(x) nie ma funkcji odwrotnej).Mo»na temu jednak zapobiec zastepujac funkcje odwrotna do dystrybuanty F−1(x) przezfunkcje G(y) zdeniowana nastepujaco:

G(y) ≡ inf xx|y<F (x)

.

A wiec generujemy liczbe losowa o rozkªadzie gesto±ci prawdopodobie«stwa f(x) przypomocy równo±ci:

x = G(γ).

♦

UWAGA 2: Przedstawiona powy»ej metode generacji liczb pseudolosowych nazywa sienajcze±ciej metoda funkcji odwrotnych ( inverse functions method). Nale»y podkre±li¢,»e zamiast wzorów x = F−1(γ) lub x = G(γ) ze specjalnym wyborem funkcji G po-danym powy»ej mo»na stosowa¢ wzór x = g(γ) , gdzie g nie jest monotoniczna, bylebytylko speªniaªa relacje P (g(γ) < x) = F (x).♦

SMOP-2 B.Kamys: 2016/17 163

PRZYKAD: Generacja zmiennej losowej x o rozkªadzie wykªadniczym dla x ≥ x0.

f(x) =

C · exp[−C(x− x0)] dla x ≥ x0

0 dla x < 0

Dystrybuanta:

F (x) =

x∫x0

C · exp[−C(t− x0)] · dt = 1− exp[−C(x− x0)].

Rozwiazujemy ze wzgledu na x równanie F (x) = γ, gdzie γ jest pseudolosowa liczbao rozkªadzie równomiernym w [0,1]. Wstawiajac jawna posta¢ dystrybuanty dostajemy:1− exp[−C(x− x0)] = γ. Rozwiazanie równania to:

x = x0 −1

C· ln(1− γ).

♦

Szukanie funkcji odwrotnej do dystrybuanty mo»e by¢ trudne ze wzgledów numerycznych.Wtedy czesto daje sie upro±ci¢ generacje stosujac tzw. metode superpozycji. U»ywasie jej wtedy gdy dystrybuante zmiennej, która chcemy generowa¢ udaje sie przedstawi¢w postaci kombinacji liniowej dystrybuant o prostszej postaci, takich dla których ªatwoznale¹¢ funkcje odwrotne. Istotne jest, »e wspóªczynniki kombinacji liniowej (o sko«czonejlub niesko«czonej liczbie wyrazów) powinny mie¢ warto±ci nale»ace do przedziaªu (0,1)a ich suma ma by¢ równa jedno±ci, tak aby mo»na je byªo interpretowa¢ jako prawdo-podobie«stwa. Wtedy kombinacje liniowa mo»na interpretowa¢ jako formuªe peªnegoprawdopodobie«stwa:

F (x) =N∑k=1

ck · Fk(x)

N∑k=1

ck = 1, 0 < ck < 1

Wmetodzie superpozycji generujemy dwie niezale»ne liczby losowe o rozkªadzie jednorod-nym w [0,1]: γ1 i γ2. Pierwsza z nich stosujemy do losowego wyboru warto±ci wska¹nika k(zgodnie z przepisem podanym wy»ej dla generacji warto±ci dyskretnej zmiennej) a drugado generacji warto±ci zmiennej x posiadajacej dystrybuante Fk(x).

PRZYKAD:Chcemy generowa¢ warto±ci zmiennej x o funkcji gesto±ci prawdopodobie«stwa:

f(x) =5

12· [1 + (x− 1)4] dla x ∈ (0, 2).

SMOP-2 B.Kamys: 2016/17 164

Dystrybuanta zmiennej x ma posta¢:

F (x) =5x

12+

1

12· [(x− 1)5 + 1] dla x ∈ (0, 2)

co powoduje, »e dla generacji metoda funkcji odwrotnych musieliby±my rozwiaza¢ równa-nie piatego stopnia:

1

12

((x− 1)5 + 5x+ 1

)= γ.

Gdy przedstawimy funkcje gesto±ci prawdopodobie«stwa jako kombinacje liniowa owspóªczynnikach c1 = (5/6) i c2 = (1/6) dwu funkcji gesto±ci prawdopodobie«stwa:

f(x) =

(5

6

)·

1

2+

(1

6

)·

5

2(x− 1)4

to dystrybuanta te» bedzie kombinacja liniowa postaci:

F (x) =

(5

6

)·x

2+

(1

6

)·

1

2[(x− 1)5 + 1].

Wtedy generacja metoda funkcji odwrotnej dla obu prostszych dystrybuant daje jawnewzory na funkcje odwrotne i dostajemy nastepujacy przepis na wyliczenie x:

x = 2γ2 gdy γ1 < 5/6

= 1 + 5√

2γ2 − 1 gdy γ1 ≥ 5/6.

♦

Obok metody funkcji odwrotnych u»ywa sie dla generacji liczb losowych równie» innemetody, spo±ród których najbardziej popularna jest metoda eliminacji zaproponowanaprzez J. von Neumanna lub metody wykorzystujace wzory typu: x = g(γ1, γ2, ..., γn).Omówimy je poni»ej.

Metode eliminacji stosuje sie gdy zmienna x ma rozkªad o gesto±ci prawdopodobie«-stwa opisany funkcja f(x) w przedziale [a,b] i równy zero poza przedziaªem, oraz f(x) jestograniczona od góry: f(x) ≤ c. Postepuje sie wtedy wg nastepujacej procedury:

1. Generujemy warto±¢ zmiennej x wg wzoru: x = (b − a)γ1 + a z rozkªademjednorodnym w przedziale [a,b].

2. Generujemy warto±¢ zmiennej y wg wzoru: y = cγ2 z rozkªadem jednorodnym wprzedziale [0,c].

SMOP-2 B.Kamys: 2016/17 165

3. Sprawdzamy, czy y ≤ f(x). Je»eli tak, to akceptujemy warto±¢ x, w przeciwnymprzypadku para (x,y) jest eliminowana i generacje powtarza sie od nowa.

Metody wykorzystujace przeksztaªcenie x = g(γ1, γ2, ..., γn)Sa to metody, wykorzystujace ró»norodne wªasno±ci statystyczne funkcji wielu nieza-

le»nych zmiennych losowych o rozkªadzie jednorodnym. Nie ma wiec ogólnego przepisuna szukanie funkcji g. Poni»ej zostana podane wybrane przykªady zastosowania takiegoprzeksztaªcenia.

PRZYKAD 1 (jednowymiarowy rozkªad normalny).Centralne twierdzenie graniczne gªosi, »e suma niezale»nych zmiennych losowych da»ydo rozkªadu normalnego, gdy liczba skªadników w sumie da»y do niesko«czono±ci. Roz-kªady skªadników sumy powinny przy tym speªnia¢ bardzo ogólne warunki, które sa dobrzespeªnione przez rozkªad jednorodny na odcinku [0,1] jaki maja generowane liczby pseudo-losowe.

We¹my wiec

g(γ1, . . . , γn) ≡n∑i=1

γi

Wiadomo, »e

E γi = 12

σ2 γi = 112

skad wynika, »e

E g(γ1, . . . , γn) = E

n∑i=1

γi

=

n∑i=1

E γi = n2

σ2 g(γ1, . . . , γn) = σ2

n∑i=1

γi

=

n∑i=1

σ2 γi = n12.

Wykorzystali±my fakt, »e warto±¢ oczekiwana sumy jest (zawsze) równa sumie warto-±ci oczekiwanych skªadników oraz to »e wariancja sumy niezale»nych zmiennych losowychjest suma wariancji skªadników.

Dla du»ych n powy»sza suma bedzie (bardzo szybko) zbli»a¢ sie do zmiennej losowej orozkªadzie normalnym a po standaryzacji (tj. odjeciu jej warto±ci oczekiwanej i podziele-niu przez odchylenie standardowe) bedzie miaªa rozkªad standardowy normalny N(0,1).

Ostatecznie stosujemy nastepujacy przepis na generacje zmiennej o rozkªadzie N(0,1):

g(γ1, . . . , γn) =

√12

n

n∑i=1

(γi −

1

2

)

SMOP-2 B.Kamys: 2016/17 166

UWAGA: Najcze±ciej stosuje sie powy»szy wzór biorac n = 12, gdy» wtedy wzór przyj-muje najprostsza posta¢.

UWAGA: W przypadku gdy potrzebne sa warto±ci standaryzowanej zmiennej losowejwieksze od 6 lub mniejsze od -6 to musimy zwiekszy¢ liczbe skªadników w sumie booczywi±cie suma dwunastu powy»szych skªadników nigdy nie osiagnie takich warto±ci.

PRZYKAD 2 (jednowymiarowy rozkªad normalny).Rozkªad wspólny dwu niezale»nych zmiennych losowych x, y o rozkªadach N(0,1) jest ichiloczynem i mo»e by¢ zapisany nastepujaco:

f(x, y) =1

2πexp

[−x2 + y2

2

]Przechodzac do wspóªrzednych biegunowych (r, ϕ) dostajemy:

x = r cosϕ

y = r sinϕ

gdzie rozkªad h zmiennych (r, ϕ) wyra»a sie poni»szym wzorem:

h(r, ϕ) = f(r cosϕ, r sinϕ) |r| ,

w którym |r| jest moduªem jakobianu transformacji. Wida¢, »e rozkªad zmiennych (r, ϕ)jest tak»e iloczynem dwu rozkªadów:

h(r, ϕ) =

(1

2π

)·(r exp

[−r2

2

]).

Sa to; jednorodny rozkªad dla zmiennej ϕ w przedziale [0, 2π] oraz rozkªad o gesto±cire−r

2/2 dla nieujemnych r (stad mo»na opu±ci¢ moduª przy r). Oczywi±cie faktoryzacjarozkªadu h(r, ϕ) oznacza, »e zmienne r i ϕ sa niezale»ne.

Poniewa» zmienna ϕma rozkªad równomierny wiec mo»na ja ªatwo generowa¢ stosujacwzór:

ϕ = 2πγ1

a zmienna r tak»e generuje sie prosto przez odwracanie dystrybuanty co daje:

r =√−2 ln γ2.

Po takiej generacji mo»na powróci¢ do startowych zmiennych x, y i otrzyma¢ pare zmien-nych niezale»nych o rozkªadzie N(0,1) wg wzorów (x = g1(γ1, γ2) i y = g2(γ1, γ2)):

x =√−2 ln γ2 cos 2πγ1

y =√−2 ln γ2 sin 2πγ1

SMOP-2 B.Kamys: 2016/17 167

PRZYKAD 3 (rozkªad chi-kwadrat o n stopniach swobody)Jak wiadomo suma kwadratów n niezale»nych zmiennych losowych o rozkªadzie standar-dowym normalnym ma rozkªad chi-kwadrat o n stopniach swobody:

χ2n ≡

n∑i=1

X2i .

Generujac n niezale»nych zmiennych losowych o rozkªadzie N(0,1) jednym z powy»ejomówionych sposobów mo»emy wstawi¢ je do sumy kwadratów i otrzymamy zmiennao rozkªadzie chi-kwadrat. Warto rozwa»y¢ dokªadniej przypadek, gdy do generacji zmien-nych N(0,1) zastosuje sie ostatnia z podanych metod. Wtedy dla przypadku, gdy njest parzyste wystarczy doda¢ n/2 par kwadratów zmiennych N(0,1) i dostaniemy zde-cydowane uproszczenie wzoru gdy» suma kwadratów sinusa i cosinusa tego samego katajest równa jedno±ci a suma kwadratów pierwiastków bedzie równa sumie logarytmów(ze znakiem minus) stanowiacych wyra»enia podpierwiastkowe a wiec bedzie logarytmemiloczynu. Gdy n jest nieparzyste mamy n/2 − 1 par zachowujacych sie tak jak dlan parzystego a dodatkowo musimy doda¢ jedna warto±¢ zmiennej o rozkªadzie N(0,1).Ostatecznie dostaniemy:

χ2n =

−2 ln

(γ1 . . . γn/2

)n parzyste

−2 ln(γ1 . . . γ(n−1)/2

)− 2 ln(γ(n+1)/2) cos2 2πγ(n+3)/2 n nieparzyste

PRZYKAD 4Poka»emy, »e zmienna o rozkªadzie gesto±ci prawdopodobie«stwa:

f(x) = n · xn−1 dla x ∈ [0, 1]

czyli o dystrybuancie

F (x) = xn dla x ∈ [0, 1]

mo»na generowa¢ stosujac wzór: x = max(γ1, ..., γn).

Dowód:Wprowad¹my funkcje schodkowa zdeniowana nastepujaco:

θ(z) =

0 dla z ≤ 0

1 dla z > 0.

SMOP-2 B.Kamys: 2016/17 168

Zmienna losowa g(γ1, ..., γn) bedzie miaªa dystrybuante F (x) wtedy i tylko wtedy gdy

1∫0

. . .

1∫0

dy1 . . . dyn θ(x− g(γ1, ..., γn)) = F (x).

Jest oczywiste, »e θ(x − max1≤i≤n

yi) nie równa jest zero wtedy i tylko wtedy gdy równo-

cze±nie y1 < x, y2 < x , ..., yn < x. A wiec caªka

1∫0

. . .

1∫0

dy1 . . . dyn θ(x− max1≤i≤n

yi)

mo»e by¢ zapisana jako:

x∫0

. . .

x∫0

dy1 . . . dyn = xn

a to jest wªa±nie taka dystrybuanta zmiennej x jaka chcieliby±my uzyska¢.♦

UWAGAZmienna losowa o dystrybuancie F (x) = xn dla x ∈ [0, 1] mo»na generowa¢ metodafunkcji odwrotnych, z której dostajemy:

x = n√γ.

Porównujac ten wynik z poprzednim dostajemy zaskakujacy wniosek, »e mo»nazastapi¢ obliczanie pierwiastka n-tego stopnia z liczby losowej o rozkªadzierównomiernym w [0,1] przez obliczanie maksimum n liczb losowych o takimrozkªadzie .

10.3.3 Generacja wielowymiarowych zmiennych losowych

Metoda eliminacji mo»e by¢ ªatwo uogólniona na przypadek zmiennych wielowymia-rowych. Je»eli f(x1, x2, ..., xn) jest gesto±cia prawdopodobie«stwa dla n-wymiarowejzmiennej losowej (x1, x2, ...xn), która znika poza kostka n-wymiarowa: ai ≤ bi, i =1, 2, .., n i ograniczona przez liczbe c to przeprowadzamy generacje w nastepujacy sposób:

SMOP-2 B.Kamys: 2016/17 169

1. Generujemy warto±¢ zmiennej x1, x2, ...xn+1 wg wzoru:

xi = (bi − ai)γi + ai, i = 1, 2, ..., n oraz xn+1 = cγn+1

z rozkªadem równomiernym w przedziale (a1 ≤ x1 ≤ b1, ..., an ≤ xn ≤ bn) iograniczona przez liczbe c: (0 ≤ xn+1 ≤ c)

2. Sprawdzamy, czy xn+1 ≤ f(x1, x2, ..., xn). Je»eli tak, to akceptujemy punktx1, x2, ..., xn, w przeciwnym przypadku punkt ten jest eliminowany i generacjepowtarza sie od nowa.

Wielowymiarowe zmienne losowe mo»emy równie» generowa¢ metoda funkcji odwrot-nych. Nale»y rozwa»y¢ oddzielnie dwa przypadki:

1. Gdy poszczególne skªadowe wielowymiarowej zmiennej sa niezale»ne to ka»da z nichgeneruje sie niezale»nie jedna z metod omawianych dla jednowymiarowych zmien-nych losowych.

2. Gdy skªadowe sa zale»ne to korzystamy z poni»szego twierdzenia:

TWIERDZENIEGdy γ1, γ2, ..., γn sa niezale»nymi liczbami losowymi o rozkªadzie równomiernym w prze-dziale [0,1) to zbiór liczb x1, x2, ..., xn otrzymanych jako rozwiazania nastepujacegoukªadu równa«:

F1(x1) = γ1

F2(x2|x1) = γ2

· · ·Fn(xn|x1, ..., xn−1) = γn

ma po»adana gesto±¢ prawdopodobie«stwa f(x1, x2, ..., xn).♦

SMOP-2 B.Kamys: 2016/17 170

10.4 MODELOWANIE KOMPUTEROWE

Zjawiska przyrodnicze, zadania techniczne czy ekonomiczne maja czesto charakter pro-babilistyczny . Jest to spowodowane faktem, »e same prawa przyrody maja takicharakter (mechanika kwantowa) a tak»e tym, »e w danym zagadnieniu uczestniczytak wielka liczba obiektów (np. atomów), i» ±cisªy opis nawet w ramach klasycznej(niekwantowej) teorii jest niemo»liwy. Wtedy logicznym staje sie wprowadzenie pojecialosowych funkcji czyli takich funkcji rzeczywistego argumentu, »e dla ustalonej warto±ciargumentu warto±¢ funkcji jest zmienna losowa.

Modelowanie komputerowe polega na szacowaniu przy zastosowaniu komputerów±rednich charakterystyk funkcji losowych pojawiajacych sie w badanym problemie. Sato zwykle warto±ci oczekiwane wielko±ci charakteryzujacych problem, ich wariancje ikowariancje lub te» rozkªady prawdopodobie«stwa tych wielko±ci.

Czesto zjawiska przyrodnicze, zadania techniczne czy matematyczne opisywane funk-cjami losowymi sa tak skomplikowane, »e modelowanie musi rozpocza¢ sie od stworzeniauproszczonego modelu badanego zagadnienia a dopiero potem rozwiazuje sie go meto-dami probabilistycznymi przy wykorzystaniu komputera. Naturalna metoda, która sªu»ydo tego celu jest metoda Monte Carlo.

Charakterystyczna cecha tej metody jest to, »e czesto wygodniej jest stworzy¢ odpoczatku pewien schemat komputerowych losowa« odpowiadajacych badanym zjawiskomni» szuka¢ równa« nimi rzadzacych, a dopiero pó¹niej tworzy¢ uproszczony model proba-bilistyczny dla rozwiazania tych równa«. Dzieje sie tak, gdy» czesto potramy przewidzie¢mo»liwe zdarzenia zachodzace w realnym, badanym problemie oraz wiemy gdzie wystepujaczynniki losowe, których efekt mo»emy odtworzy¢ przeprowadzajac odpowiednie losowa-nia. Taki sposób postepowania, tzn. imitacja lub symulacja badanego problemu jestnajprostszym, narzucajacym sie sposobem rozwiazania i tak wªa±nie byªy formuªowanepierwsze zastosowania metody Monte Carlo.

10.4.1 MODELOWANIE PRZECHODZENIA NEUTRONÓWPRZEZ ORO-DEK SYMULACJA

Jest to jedno z pierwszych zastosowa« metody Monte Carlo do modelowania realnegoprocesu zycznego. Dla ustalenia uwagi rozwa»my przechodzenie neutronów przez osªonereaktora jadrowego. Osªone te traktujemy jako jednorodny o±rodek materialny otoczonypró»nia (obszarem pozbawionym obiektów z którymi neutrony mogªyby oddziaªywa¢).Chcemy bada¢ proces przechodzenia neutronów przez materiaª osªony aby zaprojektowa¢niezawodne i bezpieczne osªony.

Na poczatku nale»y zrobi¢ pewne zaªo»enia, które musza mie¢ uzasadnienie zyczneale przede wszystkim sªu»a do tego aby upro±ci¢ badane zagadnienie.

1. Liczba neutronów przechodzacych przez o±rodek jest na tyle niewielka, »e mo»nazaniedba¢ ich wzajemne oddziaªywanie.

2. Gesto±¢ o±rodka i jego skªad nie zmienia sie w czasie.

SMOP-2 B.Kamys: 2016/17 171

3. Prawdopodobie«stwo ró»nych sposobów oddziaªywania neutronu z o±rodkiem niezale»y od tego jaka jest historia ruchu neutronu przez o±rodek.

Te zaªo»enia powoduja, »e badane zjawisko mo»e by¢ traktowane jako zbiórniezale»nych historii ruchu poszczególnych neutronów .

Neutron charakteryzowany jest wspóªrzedna przestrzenna ~r ≡ (x, y, z) i czasowa t, kie-runkiem ruchu okre±lonym przez jednostkowy wektor ~ω ≡ (ωx, ωy, ωz) oraz energia E.

Modelujemy historie neutronu w nastepujacy sposób:

a) Historia neutronu rozpoczyna sie od jego pojawienia w ¹ródle neutronów (reakto-rze). Zakªadajac pewien rozkªad gesto±ci prawdopodobie«stwa f(~r, t, ~ω, E) generujemypoczatkowe warto±ci wspóªrzednych neutronu: (~r0, t0, ~ω0, E0).

b) Neutron wylatuje ze ¹ródªa i porusza sie ruchem jednostajnym po prostej do chwili zde-rzenia z jadrem atomu o±rodka. Generujemy dªugo±¢ drogi swobodnego ruchu.

c) Neutron mo»e oddziaªywa¢ na kilka sposobów z jadrem atomu o±rodka (mo»e ulec roz-proszeniu , pochªonieciu np. wychwyt radiacyjny lub rozmno»eniu jak w przypadkurozszczepienia jadra). Generujemy rodzaj oddziaªywania oraz ewentualnie kierunek(kierunki) dalszego ruchu i energie neutronu (neutronów).

d) Powracamy do punktu b) lub ko«czymy symulacje gdy neutron zostaª pochªoniety alboopu±ciª badany o±rodek.

ad a) W chwili t0 rozkªad poªo»e« i energii neutronów zale»y od konkretnego problemu- ksztaªtu reaktora i reakcji w nim zachodzacych. Natomiast generacja kierunkówlotu przeprowadzana jest zwykle izotropowo a wiec omówimy tu sposób genera-cji izotropowego wektora w przestrzeni trójwymiarowej: Idea algorytmu polega nawylosowaniu punktów jednorodnie rozmieszczonych w kuli o jednostkowym promie-niu a wektor o izotropowym rozkªadzie kierunków to wektor poprowadzony ze±rodka kuli do wylosowanych jednorodnie punktów.

1. Losujemy trzy niezale»ne liczby losowe o rozkªadzie jednorodnym na odcinku[0,1]: γ1, γ2 i γ3. Przeksztaªcamy je tak aby odpowiadaªy wspólrzednymkartezja«skim jednorodnie rozªo»onych punktów w sze±cianie o ±rodku w po-czatku ukªadu i boku równym dwu jednostkom: α1 = 1 − 2 · γ1, α2 =1− 2 · γ2, α3 = 1− 2 · γ3 .

2. Obliczamy

d2 =3∑i=1

α2i

SMOP-2 B.Kamys: 2016/17 172

i sprawdzamy warunekd2 ≤ 1.

Je»eli warunek jest speªniony to wyliczamy skªadowe wersora kierunku lotu:

ωx = α1/d,

ωy = α2/d,

ωz = α3/d.

w przeciwnym wypadku powtarzamy caªa procedure od generacji γ1, γ2 i γ3.

Inny, najcze±ciej stosowany sposób losowania izotropowych kierunków to wy-korzystanie wspólrzednych sferycznych. Wiadomo, »e kierunek w przestrzeni bedziemiaª izotropowy rozkªad, gdy rozkªad elementu kata bryªowego dΩ bedzie rozkªa-dem równomiernym:

f(dΩ) = 1/4π dla dΩ ∈ [0, 4π]

czyli wszystkie kierunki ~ω beda równie prawdopodobne.

Element kata bryªowego we wspóªrzednych sferycznych wyra»a sie nastepujacymwzorem:

dΩ = sin θdθ · dϕ

co oznacza, »e niezale»ne zmienne dϕ i dcosθ te» maja rozkªady równomierne:

f(d cos θ) ≡ f(sin θdθ) = 1/2 dla d cos θ ∈ [−1, 1]

g(dϕ) = 1/2π dla dϕ ∈ [0, 2π].

Stad otrzymujemy nastepujacy schemat losowania kierunku izotropowego:

cos θ = 2γ1 − 1

ϕ = 2πγ2.

Wtedy wspóªrzedne kartezja«skie jednostkowego wektora okre±lajacego kierunekmoga by¢ wyra»one przez wspóªrzedne sferyczne:

SMOP-2 B.Kamys: 2016/17 173

ωx = cosϕ ·√

1− cos2θ

ωy = sinϕ ·√

1− cos2θ

ωz = cosθ

ad b) Generacja drogi swobodnej: Zakªadamy, »e prawdopodobie«stwo warunkowe(pod warunkiem, »e neutron przebyª droge l) i» na drodze od l do l + dl nastapizderzenie jest proporcjonalne do drogi dl a wspóªczynnikiem proporcjonalno±ci jesttzw. makroskopowy przekrój czynny deniowany nastepujaco:

Σ(~r, E) ≡m∑i=1

%i(~r)σi(E)

gdzie %i(~r) jest liczba jader typu i w 1 cm3, σi(E) jest przekrojem czynnym naoddziaªywanie neutronu o energii E z jadrem atomowym typu i a m jest liczbarodzajów jader atomowych w materiale osªony. Mo»emy wiec prawdopodobie«stwoiloczynu zdarze« polegajacych na tym, »e

• A ≡ neutron nie oddziaªuje na odcinku od zera do l,

• B ≡ neutron oddziaªuje na odcinku od l do l + dl

zapisa¢ nastepujaco:

P (A ·B) = P (A) · P (B|A) =

= [1− F (l)] · [Σ(l) dl]

gdzie F (l) jest dystrybuanta dªugo±ci swobodnego lotu neutronu, tj.

F (l) = P (droga < l)

a1− F (l) = P (droga ≥ l).

Z drugiej strony to samo prawdopodobie«stwo, »e oddziaªywanie nastapi na odcinkuod l do l + dl mo»na wyrazi¢ przez dystrybuante F (l) jako:

F (l + dl)− F (l) ≡ dF.

SMOP-2 B.Kamys: 2016/17 174

Porównujac te dwa wzory dostaniemy:

dF

1− F (l)= Σ(l) · dl.

Caªkujac obie strony otrzymujemy:

− ln(1− F (l)) =l∫

0

Σ(x) · dx

1− F (l) = exp

[−

l∫0

Σ(x) · dx].

Ostatecznie dystrybuanta drogi swobodnego ruchu wynosi:

F (l) = 1− exp

− l∫0

Σ(x) · dx

Poniewa» energia neutronu nie zmienia sie w czasie lotu pomiedzy zderzeniami wiecmakroskopowy przekrój czynny Σ(~r, E) = Σ(~r) mo»e zmienia¢ sie tylko jakojawna funkcja poªo»enia. Jest to istotne wtedy gdy zmienia sie skªad materiaªu przezktóry przechodzi neutron. Przy jednorodnym skªadzie materiaªu znika caªkowiciezale»no±¢ od ~r czyli w powy»szym wzorze na dystrybuante makroskopowy przekrójczynny jest staªa wielko±cia: Σ(~r, E) = Σ. Wtedy mo»na ªatwo losowa¢ drogeswobodnego ruchu metoda funkcji odwrotnej do dystrybuanty:

l = −(1/Σ) lnγ

gdzie γ jest liczba pseudolosowa z przedziaªu [0,1].

Co zrobi¢, gdy materiaª nie jest jednorodny? Wydawaªoby sie, »e wtedy koniecznebedzie znaczne skomplikowanie procesu losowania drogi swobodnej. Znaleziono jed-nak»e bardzo zreczny sposób obej±cia trudno±ci. Sposób ten omówimy poni»ej pod-czas dyskusji nastepnego problemu tzn. losowania rodzaju zderzenia.

SMOP-2 B.Kamys: 2016/17 175

ad c) Losowanie rodzaju oddziaªywania wymaga okre±lenia makroskopowych przekro-jów czynnych na trzy gªówne procesy:

• Rozpraszanie (scattering) Σs(~r, E),

• Absorpcje czyli wychwyt (absorption, capture) Σa(~r, E) i

• Rozmno»enie dzieki reakcji rozszczepienia (ssion) Σf(~r, E).

Je»eli wiemy, »e w danej chwili musi zaj±¢ jeden z tych trzech procesów, to prawdo-podobie«stwo ka»dego z nich mo»na zapisa¢ nastepujaco:

Pi =Σi

3∑j=1

Σj

a losowanie mo»e polega¢ na tym, »e po wygenerowaniu liczby pseudolosowej γ zprzedziaªu [0,1] sprawdzamy czy:

• γ < P1, (je»eli tak, to zachodzi proces nr 1),

• P1 ≤ γ ≤ P2, (je»eli tak, to zachodzi proces nr 2), oraz

• γ > P2, (je»eli tak, to zachodzi proces nr 3).

Omówimy teraz wspomniany powy»ej efektywny sposób losowania drogi swo-bodnego lotu neutronu w niejednorodnym materiale. Dla tego celu zaªó»my,»e oprócz tych trzech procesów mo»e zaj±¢ jeszcze kcyjne rozproszenie, które niezmienia ani energii ani kierunku lotu neutronu a tak»e nie powoduje znikania neu-tronu czy te» jego rozmno»enia". Wprowad¹my staªy (niezale»ny od ~r i od energii)przekrój czynny α, który speªnia warunek:

α ≥ sup(Σs + Σa + Σf) .

Wtedy deniujemy makroskopowy przekrój na kcyjne rozproszenie ΣF jako:

ΣF ≡ α− Σs − Σa − Σf

a prawdopodobie«stwo kcyjnego rozproszenia równe jest:

P (F ) = ΣF/α ,

podobnie jak prawdopodobie«stwa pozostaªych procesów:

P (s) = Σs/α

P (a) = Σa/α i

P (f) = Σf/α.

SMOP-2 B.Kamys: 2016/17 176

Nale»y podkre±li¢, »e ka»dy z przekrojów ΣF ,Σs,Σa, i Σf mo»e sie zmienia¢ wrazz ~r oraz z energia ale ich suma α jest staªa. Mo»na wiec do losowania drogi swo-bodnego lotu neutronu w niejednorodnym materiale zastosowa¢ prosty wzór po-dany powy»ej dla jednorodnego materiaªu zastepujac przekrój Σ przekrojem α iuwzgledniajac kcyjne rozpraszania w losowaniu rodzaju procesu:

l = −(1/α) lnγ .

W ten sposób losowanie kolejnych odcinków drogi odbywa sie bardzo ªatwo aleoczywi±cie trzeba za to zapªaci¢ zwiekszona liczba losowa«, które beda sie ko«czy¢kcyjnym rozpraszaniem. Inaczej mówiac zamiast losowa¢ w skomplikowany sposóbw jednym kroku dªugo±¢ swobodnego przebiegu neutronu robimy to w ªatwy spo-sób w kilku kolejnych krokach, w których neutron porusza sie bez zderze« ruchemjednostajnym po tej samej prostej.

Poprawno±¢ powy»szej intuicyjnej metody postepowania zostaªa ±ci±le udowodniona(W.A. Coleman, Nucl. Sci. Engng. 32 (1968) 76).

Dla oszacowania prawdopodobie«stwa konkretnego losu neutronu, tzn. prawdopodo-bie«stwa absorpcji w o±rodku, prawdopodobie«stwa zaj±cia rozszczepienia lub te» prawdo-podobie«stwa opuszczenia o±rodka przez neutron tworzymy estymator prawdopodobie«-stwa danego zdarzenia A korzystajac z twierdzenia Bernoulliego (Cantellego):

TN(pA) =NA

N

gdzie NA to liczba tych historii neutronu, w których zaszªo zdarzenie A a N to liczbawszystkich neutronów rozwa»anych w symulacji.

UWAGA:Mo»na uwa»a¢, »e ka»dej historii losowanego neutronu przypisujemy zmienna XA przyj-mujaca warto±¢ 1 gdy zdarzenie A zachodzi i warto±¢ 0 gdy to zdarzenie nie zachodzi.Wtedy prawdopodobie«stwo zaj±cia zdarzenia A jest oczywi±cie równe prawdopodobie«-stwu tego, »e zmienna XA przyjmie warto±¢ 1:

P (XA = 1) = pA

P (XA = 0) = 1− pA

Postepujemy tak miedzy innymi wtedy, gdy rejestrujemy zdarzenia i tworzymy histogramwarto±ci obserwowanej zmiennej dodajac do histogramu jedynke dla wyró»nionego prze-dziaªu warto±ci mierzonej zmiennej lub nie dodajac jedynki (tzn. dodajac zero) do tego

SMOP-2 B.Kamys: 2016/17 177

przedziaªu.

Prawdopodobie«stwo traenia warto±ci mierzonej zmiennej do wybranego przedziaªuwynosi pA i jest równe warto±ci oczekiwanej zmiennej losowej XA:

E(XA) = 1 · pA + 0 · (1− pA) = pA

a wiec jako estymator prawdopodobie«stwa, »e zaszªo zdarzenie A bierzemy

TN(pA) =1

N

N∑i=1

(XA)i

Wariancja zmiennej XA tak»e jest ªatwa do policzenia:

var(XA) ≡ E(X2A)− E2(XA) = [12 · pA + 02 · (1− pA)]− p2

A = pA − p2A.

10.4.2 MODELOWANIE PRZEZ ZASTOSOWANIE WAG STATYSTYCZ-NYCH

Modelowanie przez zastosowanie symulacji jest najbardziej intuicyjna i naturalna metodaale nie jest najbardziej efektywne. Okazuje sie, »e mo»na przy tym samym wysiªku obli-czeniowym uzyska¢ znacznie mniejsza wariancje wyników (czyli znacznie mniejszy bªad)gdy zastosuje sie modelowanie z u»yciem wag statystycznych rozwa»anych zdarze«.Metoda ta opiera sie na twierdzeniu omówionym poni»ej:

TWIERDZENIE:Je»eli zmienna losowa X ma warto±¢ oczekiwana równa E(X) = pA oraz speªnia nie-równo±¢ 0 ≤ X ≤ 1, to wariancja X jest mniejsza lub równa wariancji zmiennej zero-jedynkowej XA.

DOWÓD:Poniewa» 0 ≤ X ≤ 1 to zawsze X2 ≤ X, a wiec

E(X2) ≤ E(X) ≡ pAstad wariancja X

var(X) ≡ E(X2)− E2(X) ≤ pA − E2(X) = pA − p2A ≡ var(XA). c.b.d.o.

SMOP-2 B.Kamys: 2016/17 178

WNIOSEK: zamiast przyporzadkowywa¢ zdarzeniom zmienna zero-jedynkowa XA jestbardziej efektywne przyporzadkowa¢ wage o wªasno±ciach zmiennej X z omawianegotwierdzenia.

PRZYKAD:

Badamy ±redni czas »ycia τ promieniotwórczej substancji rejestrujac liczbe rozpadówna jednostke czasu, np. na minue, przez godzine od chwili wytworzenia tej substancji.Chcemy znale¹¢ ±redni czas »ycia rozpadajacych sie jader metoda najwiekszej wiarygod-no±ci lub najmniejszych kwadratów. W tym celu generujemy histogramy liczby rejestro-wanych zdarze« przy ró»nych zaªo»onych warto±ciach czasu »ycia. Okazuje sie, »e czas»ycia jest tak krótki, »e w ciagu godziny liczba rejestrowanych zdarze« maleje 106 razy.Rozpatrzmy jak beda sie ró»ni¢ dwie metody modelowania: 1) symulacja ka»dego zda-rzenia i 2) losowanie zdarze« i przypisywanie im wag:

ad 1.W takiej sytuacji modelowanie rozkªadu przez symulacje, tzn. losowanie czasu zgodnie zrozkªadem wykªadniczym i dodawanie jedno±ci do odpowiedniego przedziaªu histogramudawaªoby bardzo ró»na statystyke rejestrowanych zdarze« dla krótkich i dªugich czasów»ycia. Na przykªad, gdy dla pierwszej minuty wylosowano by 106 zdarze« to dla ostatniejtylko jedno zdarzenie. A wiec bªad wzgledny liczby rozpadów po krótkim czasie byªbyrzedu 0.001 podczas gdy dla ostatniej minuty bªad wgledny byªby rzedu jedno±ci. Abywiec dosta¢ bªad wzgledny ∼ 0.1 dla dªugich czasów nale»aªoby losowa¢ 100 razy wiecejzdarze« dla caªego histogramu. Byªoby to ªacznie ponad 108 losowa«.

ad 2.Wylosujemy liczby z rozkªadu równomiernego tak aby na ka»da minute wypadaªo 100 zda-rze«, czyli na caªy histogram 60 · 100 = 6000 zdarze«. Ka»demu zdarzeniu przypiszemywage ∼ exp(− t

τ). Histogram tworzymy dodajac wagi zdarze« odpowiadajacych odpo-

wiednim przedziaªom (minutom) czasu obserwacji. Wtedy dostaniemy histogram, którybedzie miaª dla ka»dego przedziaªu taka sama warto±¢ oczekiwana wysoko±ci sªupka jakprzy losowaniu wg pierwszej metody ale wzgledny bªad wysoko±ci wszystkich sªupkówbedzie taki sam równy 0.1.

Wida¢, »e zastosowanie wag ma nastepujace zalety:

• Pozwala na otrzymanie takich samych warto±ci wzglednych bªedów dla ka»dego prze-dziaªu histogramu co jest wa»ne gdy chcemy odtworzy¢ ksztaªt rozkªadu.

• Pozwala poprawi¢ statystyke rzadkich zdarze«.

• Mo»e znacznie skróci¢ rachunki, co czesto jest bardzo wa»ne szczególnie gdy ra-chunki musza by¢ wykonywane wielokrotnie.

SMOP-2 B.Kamys: 2016/17 179

10.4.3 MODELOWANIE PRZECHODZENIA NEUTRONÓWPRZEZ ORO-DEK WAGI STATYSTYCZNE

Przy zastosowaniu wag statystycznych rezygnujemy z imitacji jeden do jeden realnegoprocesu. Wybieramy wagi statystyczne, tak aby otrzyma¢ informacje o tych aspektachprocesu, które nas interesuja. Stad wybór wag zale»y od celu jaki chcemy osiagna¢. Naprzykªadzie badania prawdopodobie«stwa absorpcji neutronów w danym o±rodku poka-»emy ró»ne sposoby wyboru wag:

1. Wagi zastepujace losowanie absorpcja inny rodzaj oddziaªywania.

2. Wagi uwzgledniajace wylot neutronu z o±rodka

3. Wagi uwzgledniajace oba efekty

ad 1.) Wagi zastepujace losowanie absorpcja inny rodzaj oddziaªywania Przypu±¢-my, »e ze ¹ródªa emitujacego neutrony wylatuje nie jeden neutron lecz du»a grupan0 neutronów o tych samych charakterystykach (energia, kierunek lotu). Po wylo-sowaniu dªugo±ci drogi swobodnego lotu (do pierwszego zderzenia) rozpatrujemy codzieje sie w chwili zderzenia neutronu z jadrem atomowym. Zakªadajac, »e wynikiemzderzenia jest rozproszenie neutronu lub jego absorpcja oraz znajac makroskopoweprzekroje czynne Σs i Σa, odpowiednio na rozproszenie (scattering), i absorpcje(absorption) mo»emy stwierdzi¢, »e prawdopodobie«stwo rozproszenia (si) i praw-dopodobie«stwo absorpcji (ai) w punkcie ~ri wyra»aja sie wzorami:

si ≡ Σs(~ri)/ [Σs(~ri) + Σa(~ri)]

ai ≡ Σa(~ri)/ [Σs(~ri) + Σa(~ri)]

czyli ±rednio (a1 ·n0) neutronów dozna absorpcji w punkcie r1 a (s1 ·n0) neutronówbedzie kontynuowaªo lot. Od tego momentu procedura losowania powtarza sie, tzn.losuje sie kierunek i dªugo±¢ drogi swobodnego lotu grupy rozproszonych neutronówa» do nastepnego zderzenia. A wiec przy drugim zderzeniu (s1 ·a2 ·n0) neutronówzostanie zaabsorbowane a (s1 · s2 ·n0) rozproszy sie. Rachunki te powtarza sie takdªugo a» neutrony opuszcza badany o±rodek. Ostatecznie liczba neutronów, którezostana zaabsorbowane podczas takiej serii zderze« mo»e by¢ zapisana nastepujaco:

n =

(j−1∑i=0

s1 · s2 . . . si · ai+1

)n0 =

(j−1∑i=0

s1 · s2 . . . si · (1− si+1)

)n0

Prosze zwróci¢ uwage, »e zamiast bra¢ du»a grupe neutronów mo»emy przyja¢n0 ≡ 1, ale musimy wtedy zmieni¢ interpretacje wielko±ci n w powy»szym wzorze.Otó» po przyjeciu n0 = 1 nale»y interpretowa¢ n jako prawdopodobie«stwo, »e po-jedynczy neutron wysªany ze ¹ródªa zostanie zaabsorbowany podczas przebywania

SMOP-2 B.Kamys: 2016/17 180

wylosowanej drogi w o±rodku. A wiec prawdopodobie«stwo absorpcji pa neu-tronu w o±rodku jest warto±cia oczekiwana z tego prawdopodobie«stwa dla ró»nychdróg neutronu przez o±rodek :

pa = E(n)

a estymatorem prawdopodobie«stwa absorpcji jest ±rednia arytmetyczna z prawdo-podobie«stw absorpcji neutronów poruszajacych sie po ró»nych drogach w o±rodku:

TN(pa) =1

N

N∑k=1

nk.

Poniewa» prawdopodobie«stwo n absorpcji neutronu na ró»nych drogach speªniawarunki twierdzenia omawianego poprzednio dla wag zdarze« ( E(n) = pa i0 ≤ n ≤ 1), wiec mo»emy uzna¢ je za wage neutronu i dostajemy, »e wariancjan jest mniejsza od wariancji zmiennej Xa przyjmujacej warto±¢ jeden (gdy nastapiabsorpcja) i zero (gdy absorpcji nie ma), która u»ywa sie w zwykªej symulacji.

Nale»y podkre±li¢, »e wysiªek rachunkowy przy losowaniu historii N neutronów jestpraktycznie taki sam, gdy do oszacowania pa bierzemy zmiennaXa i wage n mimo,»e w drugim wypadku otrzymujemy oszacowanie z mniejszym bªedem .

ad 2.) Wagi uwzgledniajace wylot neutronu z o±rodka Omówimy teraz jak przy po-mocy wag mo»na uwzgledni¢ fakt, »e cze±¢ neutronów wydostaje sie z o±rodka a wiecnie moga by¢ zaabsorbowane. Zacznijmy od analogicznego rozumowania jak powy-»ej: Grupa n0 neutronów wylatuje ze ¹ródªa poªo»onego w ~r0 w tym samym kie-runku ~ω0. Odlegªo±¢ od ¹ródªa do granicy o±rodka w tym kierunku wynosi l0. Je»elioznaczymy przez F0(l0) warto±¢ dystrybuanty dªugo±ci swobodnej drogi neutronuto prawdopodobie«stwo tego, »e nukleon bedzie na tej drodze zderzaª sie z jadramiatomowymi o±rodka wynosi P (l < l0) ≡ F0(l0). Poniewa» chcemy rozpatrywa¢tylko te neutrony, które nie opu±ciªy badanego o±rodka wiec:

1. Wiemy, »e ±rednio w punkcie ~r1 bedzie oddziaªywaªo n1 = n0 · F0(l0).

2. Poniewa» chcemy, aby dla tych neutronów oddziaªywanie nastapiªo z pewno±ciawiec odlegªo±¢ l′ od ~r0 do ~r1 losujemy z rozkªadu odlegªo±ci obcietego doodcinka 0 < l′ < l0, czyli:

F (l′) = F0(l′)/F0(l0).

Omówimy to bardziej szczegóªowo poni»ej.

3. Losujemy (ze znajomo±ci makroskopowych przekrojów Σs(~r1) na rozproszeniei Σa(~r1) na absorpcje) czy nastapi rozproszenie i wtedy grupa wylatujacychz punktu ~r1 neutronów bedzie zawieraªa n1 neutronów lub zostanie ona za-absorbowana w tym punkcie i wtedy przestajemy ±ledzi¢ los grupy neutronówwiedzac, »e n1 neutronów zostaªo zaabsorbowane.

SMOP-2 B.Kamys: 2016/17 181

Powtarzajac powy»sze kroki postepowania dostajemy, »e liczba neutronów zaabsor-bowanych po i zderzeniach wynosi:

n = F0(l0) · F1(l1) . . . Fi−1(li−1) · n0

a postepujac tak jak poprzednio, tzn. kªadac n0 = 1 dostajemy jako wage neu-tronu wyra»enie:

n = F0(l0) · F1(l1) . . . Fi−1(li−1)

a estymatorem prawdopodobie«stwa absorpcji bedzie ±rednia arytmetyczna z po-wy»szych wag otrzymanych dla ró»nych dróg neutronu w o±rodku:

TN(pa) =1

N

N∑k=1

nk

UWAGA:Powracajac do losowania odlegªo±ci pomiedzy zderzeniami, nale»y sobie u±wiadomi¢,»e w tej metodzie »adamy aby neutron zostaª pochªoniety czyli nie mo»e on opu±-

ci¢ o±rodka . adanie to prowadziªoby do niezycznych wyników ale kompensujemyto wªa±nie przez dobór wag i przez to, »e losowanie swobodnej drogi pomiedzyzderzeniami wykonywane jest przy wykorzystaniu obcietego rozkªadu dªugo±ci drogiswobodnej. Przez rozkªad uciety rozumiemy rozkªad ograniczony do sko«czonegoodcinka zmiennej losowej. Je»eli oryginalna funkcja gesto±ci prawdopodobie«stwadªugo±ci drogi swobodnej f(x) byªa wieksza od zera dla nieujemnych warto±ci drogi toobcieta funkcja gesto±ci g(x) jest wieksza od zera tylko dla argumentów z przedziaªu[0, l], gdzie l jest odlegªo±cia od danego punktu do brzegu o±rodka. Ucieta funkcjagesto±ci prawdopodobie«stwa jest równa zero poza tym odcinkiem a ma warto±ciproporcjonalne do f(x) na tym odcinku. Wspóªczynnikiem proporcjonalno±ci jest:

1

F (l)− F (0)

ale poniewa» droga musi by¢ nieujemna wiec F (0) = 0 i wspóªczynnikiem propor-cjonalno±ci jest

1

F (l)

jak to podali±my powy»ej.

SMOP-2 B.Kamys: 2016/17 182

ad 3.) Wagi uwzgledniajace oba efekty Przeprowadzajac analogiczne rozumowanie jakw dwu poprzednich punktach i uwzgledniajac w wagach zarówno mo»liwo±¢ absorp-cji jak i »adanie aby neutron nie opu±ciª o±rodka dostajemy, »e dla danej trajektoriineutronu po i zderzeniach prawdopodobie«stwo rozproszenia w punkcie ~ri+1 bedzierówne:

ni+1(s) = F0(l0)s1 · F1(l1)s2 . . . Fi−1(li−1)si · Fi(li)si+1

a prawdopodobie«stwo absorpcji:

ni+1(a) = F0(l0)s1 · F1(l1)s2 . . . Fi−1(li−1)si · Fi(li)ai+1

Jak wida¢ oba prawdopodobie«stwa sa niezerowe a wiec trajektorie zawieraªybyniesko«czenie wiele zderze«. W praktyce przerywamy losowanie gdy prawdopodo-bie«stwa powy»sze ró»nia sie zaniedbywalnie maªo od zera.

Caªkowite prawdopodobie«stwo pochªoniecia neutronu na danej trajektorii (czyliinaczej waga neutronu wynosi w tym przypadku:

n =∞∑i=0

ni+1(a)

a estymator prawdopodobie«stwa absorpcji:

TN(pa) =1

N

N∑k=1

nk

gdzie sumowanie odbywa sie po N trajektoriach (historiach) neutronu.

SMOP-2 B.Kamys: 2016/17 183

Literatura

[1] P. Armitage, Metody statystyczne w badaniach medycznych", Pa«stwowy ZakªadWydawnictw Lekarskich, Warszawa 1978

[2] Hubert M. Blalock, Statystyka dla socjologów", Pa«stwowe Wydawnictwo Naukowe,Warszawa 1977

[3] Zdzisªaw Bogucki, Elementy statystyki dla biologów", Wydawnictwo Naukowe Uni-wersytetu im. Adama Mickiewicza w Poznaniu, Pozna« 1979

[4] L.N. Bolszew, N.W. Smirnow, "Tablicy matiematiczieskoj statistiki", Nauka, Moskwa1983

[5] Siegmund Brandt, Analiza danych", PWN, Warszawa 1998

[6] W.T. Eadie, D. Drijard, F.E. James, M. Roos, B. Sadoulet, Metody statystyczne wzyce do±wiadczalnej", Pa«stwowe Wydawnictwo Naukowe, Warszawa 1989

[7] George A. Ferguson, Yoshio Takane, Analiza statystyczna w psychologii i pedago-gice", Wydawnictwo Naukowe PWN, Warszawa 1999

[8] M.Fisz, Rachunek prawdopodobie«stwa i statystyka matematyczna", PWN War-szawa 1967)

[9] "High Energy and Nuclear Physics Data Handbook", ed. by W. Galbraith, W.S.C.Williams, Chilton 1963

[10] Maurice G. Kendall, Alan Stuart, "The Advanced Theory of Statistics", CharlesGrin & Company Limited, London 1966

[11] G.A. Korn, T.M. Korn, "Mathematical Handbook for Scientists and Engineers",McGraw-Hill Book Company, Inc., New York - Toronto - London 1961

[12] R. Zieli«ski, "Tablice statystyczne", Warszawa 1972

[13] R. E. Parker, Wprowadzenie do statystyki dla biologów", Pa«stwowe WydawnictwoNaukowe, Warszawa 1978

[14] Zbigniew Pawªowski, Statystyka matematyczna",PWN, Warszawa 1976

[15] Arkadiusz Piekara, Mechanika ogólna", Pa«stwowe Wydawnictwo Naukowe, War-szawa 1975

[16] Bogusªaw Kamys, Statystyczne Metody Opracowania Pomiarów - 1", Wykªad dlastudentów I roku zyki

[17] Andrzej Stanisz, Przystepny kurs statystyki w oparciu o program STATISTICA PLna przykªadach z medycyny", Kraków 1998

[18] NIST/SEMATECH e-Handbook of Statistical Methods,http://www.itl.nist.gov/div898/handbook/

STATYSTYCZNE METODY OPRACOWANIA POMIARÓW - 2users.uj.edu.pl/~ufkamys/BK/bb_zakladki.pdf ·...

Documents

Transcript of STATYSTYCZNE METODY OPRACOWANIA POMIARÓW - 2users.uj.edu.pl/~ufkamys/BK/bb_zakladki.pdf ·...