R.J. Nowak 1
Elementy statystyki matematycznej
Program kursu:1. Podstawy rachunku prawdopodobieństwa
1.1 Zdarzenia elementarne i losowe - zmienna losowa
1.2 Rozkłady zmiennych losowych
1.3 Rozkłady wielowymiarowe
1.4 Rozkłady brzegowe i warunkowe
1.5 Momenty zmiennych losowych
2. Estymatory momentów i parametrów zmiennej losowej
2.1 Wartość średnia i niepewność standardowa
2.2 Średnia waŜona
2.3 Współczynnik korelacji
2.4 Moda, mediana i kwartyle
3. Estymacja
3.1 Metoda momentów
3.2 Metoda największej wiarogodności
3.3 Przedział ufności
R.J. Nowak 2
Elementy statystyki matematycznej4. Testy hipotez
4.1 Wprowadzenie
4.2 Poziom istotności
4.3 Test istotności
4.4 Wartość p testu
4.5 Statystyka ilorazu wiarogodności
4.6 Test Studenta dla jednej próbki
4.7 Test parametru σ rozkładu Gaussa
4.8 Test Studenta dla dwóch próbek niepowiązanych
4.9 Test F
4.10 Test Studenta dla próbek powiązanych
4.11 Test współczynnika korelacji
4.12 Test jednorodności w tablicach wielodzielczych
4.13 Test dokładny Fishera
4.14 Test niezaleŜności w tablicach wielodzielczych
4.15 Testy nieparametryczne - wprowadzenie
4.16 Test zgodności χ2 Pearsona
R.J. Nowak 3
Elementy statystyki matematycznejRachunek prawdopodobieństwa:• J. Jakubowski, R. Sztencel - Wstęp do teorii prawdopodobieństwa, SCRIPT,
Warszawa 2001
• W. Feller, Wstęp do rachunku prawdopodobieństwa, tom 1, PWN, Warszawa
1966, tom 2, Warszawa 1969
Statystyka matematyczna:• A. Łomnicki, Wprowadzenie do statystyki dla przyrodników, Wydawnictwo
Naukowe PWN, Warszawa 1999
• A. Plucińska, E. Pluciński, Probabilistyka, Wydawnictwo Naukowo-
Techniczne, Warszawa 2000
• L.T. Kubik, Zastosowanie elementarnego rachunku prawdopodobieństwa do
wnioskowania statystycznego, Wydawnictwo Naukowe PWN, Warszawa 1998
• J. Kornacki, J. Mielniczuk, Statystyka dla studentów kierunków technicznych
i przyrodniczych, Wydawnictwo Naukowo-Techniczne, Warszawa 2001
• M. Fisz, Rachunek prawdopodobieństwa i statystyka matematyczna, PWN,
Warszawa, 1969
• R. Zieliński, Siedem wykładów wprowadzających do statystyki
matematycznej, PWN, Warszawa, 1990 (www.impan.pl/~rziel/7all.pdf)
R.J. Nowak 4
1.1 Zdarzenia elementarne i losowe
Nun - נ
Gimmel - ג
Hei - ה
Szin - ש
„Nes Gadol Haja Szam” czyli: „wielki cud zdarzył się tam”
Drejdel - urządzenie do „produkowania” zdarzeń elementarnych
R.J. Nowak 5
1.1 Zdarzenia elementarne i losowe
Zmienna losowa - dyskretna lub ciągła - to funkcja liczbowa, skalarna lub
wektorowa, przyporządkowująca zdarzeniu elementarnemu pojedynczą liczbę(naturalną, całkowitą, rzeczywistą...), czyli skalarną zmienną losową lub zespół
takich liczb, czyli wektorową zmienna losową.
Przyporządkowanie to leŜy w wyłącznej gestii badacza i odbywa się na jego
odpowiedzialność.
Przeliczalne zdarzenia elementarne:
• drejdel,
• gatunek złapanego chrząszcza,
• wiek męŜa i Ŝony.
Continuum zdarzeń elementarnych:
• ruletka w kolorze tęczy,
• oczekiwanie na karetkę pogotowia,
• kolor oczu i włosów.
Wybór przestrzeni zdarzeń elementarnych to zadanie spoczywające na barkach
badacza stosującego metody rachunku prawdopodobieństwa i statystyki
matematycznej w swoich badaniach.
Zdarzenie elementarne: w uproszczeniu - wynik pojedynczego eksperymentu.
Przestrzeń zdarzeń elementarnych Ω to zbiór wszystkich moŜliwych wyników
eksperymentu.
R.J. Nowak 6
1.1 Zdarzenia elementarne i losowePrzestrzeń zdarzeń losowych: zbiór wszystkich podzbiorów zdarzeńelementarnych wraz ze zdarzeniem pewnym, czyli zdarzeniem złoŜonym
z całej przestrzeni zdarzeń elementarnych i zdarzeniem niemoŜliwym,
reprezentowanym zbiorem pustym. Od przestrzeni zdarzeń losowych
wymagamy, aby jeśli naleŜy do niej pewne zdarzenie, to takŜe naleŜy do niej
zdarzenie przeciwne, jak równieŜ powinna zawierać wszystkie sumy i iloczyny
zdarzeń losowych.
Zdarzenie losowe: element przestrzeni zdarzeń losowych.
PRZYKŁAD:
• zdarzenia dyskretne: losowanie totolotka - przestrzeń zdarzeń elementarnych
to zbiór wszystkich „numerków”, a zdarzenie losowe to np. trafienie „trójki”;
• continuum zdarzeń elementarnych: czas oczekiwania na autobus kursujący
co kwadrans - przestrzeń zdarzeń elementarnych to odcinek [0;900] s na osi
rzeczywistej, zdarzenie elementarne to np. czas oczekiwania 5 min i 3 s,
a zdarzenie losowe to czas oczekiwania dłuŜszy niŜ np. 3 min, lub np.
dłuŜszy niŜ 5 min i jednocześnie krótszy niŜ 7 min.
R.J. Nowak 7
1.1 Zdarzenia elementarne i losowePewniki Kołmogorowa:
• istnieje miara P(A) zdarzenia losowego A taka, Ŝe: 0 ≤ P(A) ≤ 1,
• P(Ω) = 1,
• jesli A i B są zdarzeniami losowymi takimi, Ŝe zdarzenie A∩B jest
zdarzeniem niemoŜliwym (zbiorem pustym), to P(A∪B) = P(A) + P(B).
Z tych trzech pewników, uzupełnionych o szereg dodatkowych pojęć, wynika
cała teoria prawdopodobieństwa, a w szczególności otrzymujemy z nich dwa
podstawowe prawa:
( ) ( )( ) ( ) ( ) ( )
1 , gdzie jest zdarzeniem przeciwnym do
, jesli zdarzenia i nie wykluczają się.
P A P A A A,
P A B P A P B P A B A B
= −
∪ = + − ∩
Teoria prawdopodobieństwa nigdy nie podpowiada nam, jak mamywybrać ową miarę P w kaŜdym konkretnym przypadku. Wybór tenpozostawiony jest badaczowi wykorzystującemu rachunekprawdopodobieństwa i statystykę matematyczną w swej pracy.
Sytuacja jest analogiczna do tej, jaką spotykamy w nauce geometrii, w której
nigdzie nie jest powiedziane jak naleŜy mierzyć odległość.
R.J. Nowak 8
1.2 Rozkład jednostajny - totolotek
Losowanie "numerków" w totku, N = 25482
0,000
0,005
0,010
0,015
0,020
0,025
0 3 6 9 12 15 18 21 24 27 30 33 36 39 42 45 48
wylosowany "numerek" k
częs
tość
Zmienna losowa o wartości k = 1, 2, 3, ..., n (= 49) i prawdopodobieństwo:
( ) 1P k
n= rozkład jednostajny
Jednostajny charakter rozkładu oznacza rzetelny charakter maszyny losującej
- załoŜenie to odzwierciedla mniemanie budującego model probabilistyczny
badanego zjawiska.
R.J. Nowak 9
1.2 Rozkład jednostajny - wulkany3380 erupcji w latach 1700 - 1999, zgrupowanych w 12 „miesiącach”;
zmienna losowa o wartości k = 1, 2, 3, ..., n (= 12)
( ) 1P k
n= rozkład jednostajny
Jednostajny charakter rozkładu domniemuje jednakowe prawdopodobieństwo
erupcji w kaŜdym miesiącu - załoŜenie to odzwierciedla opinię budującego
model probabilistyczny badanego zjawiska.
0,00
0,02
0,04
0,06
0,08
0,10
I II III IV V VI VII VIII IX X XI XIImiesiąc
częs
tość
Mason, B. G., D. M. Pyle, W. B. Dade, and T. Jupp (2004), Seasonality of volcanic eruptions, J. Geophys. Res., 109,B04206
R.J. Nowak 10
Interludium - prawdopodobieństwo warunkowe
Prawdopodobieństwo P(A|B) warunkowe zdarzenia losowego A pod
warunkiem wystąpienia zadanego (nielosowego) zdarzenia B:
( ) ( )( )
| .P A B
P A BP B
∩=
zdrowi daltoniści suma
męŜczyźni N MZ N MD N M
kobiety N KZ N KD N K
suma N Z N D N
( ) KNP K
N= - jest kobietą
( ) DNP D
N= - cierpi na daltonizm
Prawdopodobieństwo, Ŝe przypadkowo wybrana osoba:
( ) ( )( )
|
KD
KD
KK
NP K DN NP D K
NN P K
N
∩= = =
prawdopodobieństwo, Ŝe kobieta
jest daltonistką - to nie to samo, co
P(K∩D) - prawdopodobieństwo, Ŝekobieta i jednocześnie daltonistka
←
Jeśli prawdopodobieństwo warunkowe P(A|B) zdarzenia losowego A nie
zaleŜy od zdarzenia B, czyli:
( ) ( )( )
( ) ( ) ( ) ( )|P A B
P A B P P A B P BA AP
PB
∩ =∩
= = ⇒
to zdarzenia A i B nazywamy statystycznie (stochastycznie) niezaleŜnymi.
R.J. Nowak 11
1.2 Rozkład dwumianowyPróba Bernoulliego: pojedynczy eksperyment, wynikiem którego jest
zdarzenie poŜądane, zwane sukcesem lub zdarzenie niechciane, czyli poraŜka.
p: prawdopodobieństwo sukcesu,1 − p: prawdopodobieństwo poraŜki,
( )( )
( )!, 1 , 1,2,3,..., 0,1,2,..., , 0 1
! !
n kk
k
nn p p p n k n p
k n k
−= − = = < <−
B
( ) ( )11, 1 , 0,1
kk
k p p p k−= − =B rozklad Bernoulliego
Schemat Bernoulliego: seria statystycznie niezaleŜnych i identycznych prób
Bernoulliego, czyli wielokrotnie powtórzenie, z zachowaniem stałej wartości
prawdopodobieństwa p sukcesu, tego samego eksperymentu w taki sposób, aby
wynik jednego eksperymentu nie miał wpływu na wynik któregokolwiek
innego eksperymentu (nie uczymy się niczego w trakcie wykonywania
eksperymentów!). Rozkład opisujący liczbę k sukcesów uzyskanych
w schemacie Bernoulliego złoŜonym z n prób, to tzw. rozkład dwumianowy:
Rozkład dwumianowy podaje prawdopodobieństwo liczby sukcesów bez
zwracania uwagi na porządek tych sukcesów w kolejnych próbach!
R.J. Nowak 12
1.2 Rozkład dwumianowy - liczba chłopców (1)A. Geissler, Beiträge zur Frage des Geschlechtsverhältnisses der Geborenen, Z. Köngl. Sächs. Statist. Bur., 35, (1889) 1-24
0,00
0,05
0,10
0,15
0,20
0,25
0 1 2 3 4 5 6 7 8 9 10 11 12
liczba k chłopców
częs
tość
Rozkład liczby chłopców w rodzinie z 12 dzieci, N = 6115
6115 rodzin, kaŜda z 12 dzieci ⇒ 73380 dzieci, w tym 38100 chlopców ⇒38100
ˆ 0,519273380
p = ≈
R.J. Nowak 13
1.2 Rozkład dwumianowy - liczba chłopców (2)„Prostowanie” rozkładu dwumianowego:
( ) ( )1
ln , ln ln 1 .1
k
n pn p k n p
k p
− = + − −
B
nk − liczba rodzin z liczbą k chłopców,
0
n
k
k
N n=
=∑ łączna liczba rodzin,
ˆ kk
n
N=B ocena prawdopodobieństwa Bk ,
1
ˆlnk k
nu
k
− =
Bw przybliŜeniu powinna być liniową funkcją zmiennej
k, jeśli zmienna ta podlega rozkładowi dwumianowemu
Oznaczenia:
Jak widzimy, mamy do czynienia z liniową funkcją zmiennej k.
R.J. Nowak 14
11,0
11,5
12,0
12,5
13,0
13,5
14,0
0 2 4 6 8 10 12
liczba k chłopców
zmie
nn
a
uk
1.2 Rozkład dwumianowy - liczba chłopców (3)
R.J. Nowak 15
1.2 Rozkład dwumianowy - dziewczyny do ścisłych (1)
0,00
0,05
0,10
0,15
0,20
0,25
0,30
0,35
0 2 4 6 8 10
liczba k kobiet w grupie
częs
tość
25
27
29
31
33
35
37
39
0 1 2 3 4 5 6 7 8
liczba k kobiet w grupie
zmie
nn
a u
k
Dane własne
2000 kandydatów na studia na Wydziale Fizyki - 549 kobiet i 1451 męŜczyzn.
Uporządkowanie alfabetyczne nazwisk i podzielenie na grupy po 10 osób daje
200 grup. Zmienna losowa k = 1, 2, ..., 10 opisuje liczbę kobiet w grupie, a
ocena prawdopodobieństwa, Ŝe przypadkowo wybrana osoba to kobieta, to:
5490,2745.ˆ
2000p = =
R.J. Nowak 16
1.2 Rozkład geometryczny - dziewczyny do ścisłych (2)Spójrzmy na listę kandydatów z innej strony. Ile kolejnych osób na liście musimy
sprawdzić, aby natknąć się na kobietę?MODEL:
p - nieznane prawdopodobieństwo, Ŝe przypadkowo wybrana osoba
na liście to kobieta,
k = 1, 2, ... - zmienna losowa opisująca liczbę kolejnych osób na liście, które
musimy sprawdzić, aby spotkać kobietę,G1 = p - prawdopodobieństwo, Ŝe pierwsza osoba na liście to kobieta,
G2 = (1 –p)p - prawdopodobieństwo, Ŝe dopiero druga osoba na liście to kobieta,
...Gk = (1 –p)k – 1p - prawdopodobieństwo, Ŝe dopiero k-ta osoba na liście to kobieta.
( ) ( ) 11 , 1,2,..., 0 1
k
k p p p k p−
= − = < <G rozkład geometryczny
Dane wlasne
warunek unormowania( )1
1k
k
p∞
=
=∑G
liczba k osób 1 2 3 4 5 6 7 8 9 10 11 12 >12 suma
krotność nk 178 100 60 50 39 28 33 20 11 9 6 4 11 549
R.J. Nowak 17
1.2 Rozkład geometryczny - dziewczyny do ścisłych (3)
Oczekiwnie na kandydatkę
0,00
0,05
0,10
0,15
0,20
0,25
0,30
0,35
1 2 3 4 5 6 7 8 9 10 11 12
liczba k osób do nastepnej kandydatki
czę
stość
R.J. Nowak 18
1.2 Rozkład geometryczny - dziewczyny do ścisłych (4)
14
1
k
k
N n=
=∑
ˆ kk
n
N=G − ocena prawdopodobieństwa Gk ,
( ) ( )ln ln ln 1 .k p k p p= + −G
Widzimy, Ŝe jest on liniową funkcja zmiennej k.
( )ˆlnk ku p= G − oczekujemy, ze w przybliŜeniu wielkość uk będzie liniową funkcją zmiennej k, jeśli rozkład ma charakter geometryczny.
nk − krotność, czyli liczba określająca ile razy spotkaliśmy się z sytuacją, w której sprawdziliśmy k osób i ostatnia była kobietą,
Oznaczenia:
– suma krotności, czyli liczba kobiet na liście,
Obliczmy logarytm rozkładu:
R.J. Nowak 19
1.2 Rozkład geometryczny - dziewczyny do ścisłych (5)
Oczekiwnie na kandydatkę
0,001
0,01
0,1
1
1 2 3 4 5 6 7 8 9 10 11 12liczba k osób do następnej kandydatki
ln(c
zęs
tość
)
R.J. Nowak 20
1.2 Rozkład ciągłej zmiennej losowej - skacząca kulka (1)Kulka spuszczona z wysokości h na doskonale spręŜyste podłoŜe - ruch:
( ) 21, 0
2 2 2
T hz t h gt t
g= − ≤ ≤ =
z(t)h
t
T
∆z
∆t
Zdjęcie w losowej chwili czasu - szansa znalezienia kulki w punkcie z?
Wykonajmy N takich zdjęć i narysujmy histogram uzyskanych wartości z.
W przedziale [zi, zi + ∆z] znajdziemy liczbę ni zdjęć. Zdefiniujmy częstość:
ˆ ,ii
nP
N∆ =
z jaką wartości z trafiają do przedziału [zi, zi + ∆z].
R.J. Nowak 21
1.2 Rozkład ciągłej zmiennej losowej - skacząca kulka (2)Wykonajmy to samo rozumowanie, korzystając z zaleŜności modelowej.
Prawdopodobieństwo zdefiniujmy jako
( ) ( )1 1, ,
t t dtP z z z z O z
T T z T dz
∆ ∆∆ ∆ = = ∆ = ∆ + ∆
∆gdzie ∆t to czas, jaki kulka spędza w przedziale ∆z wokół punktu z:
( )( )
( )( )
( )2 1, .
2 2
dt zt h z P z z O z
g dz g h z h h z
∆= − ⇒ = ⇒ ∆ ∆ = + ∆
− −
Gęstość prawdopodobieństwa:
Warunek unormowania:
( ) ( )( )0
, 1lim
2z
P z zf z
z h h z∆ →
∆ ∆= =
∆ −
( )( )0 0
12
h hdz
f z dzh h z
= =−∫ ∫
f(z)
z
h
UWAGA! Dla zmiennej ciągłej mamy gęstość, a nie prawdopodobieństwo!!!
Analogia z gęstością masy - ilość masy w punkcie = 0, ale gęstość ≠ 0.
R.J. Nowak 22
1.2 Rozkład wykładniczyRozkład geometryczny:
( ) ( ) 11 , 1,2,3,...,
k
k p p p k−
= − =G
zwany teŜ rozkładem dyskretnych czasów oczekiwania na sukces, opisuje liczbęprób, które trzeba wykonać, aby pojawił się pierwszy sukces. Wprowadźmy
ciągły czas t, podzielmy go na bardzo duŜą liczbę k „kroków” i zdefiniujmy
tp t
kλ λ= ∆ =
prawdopodobieństwo p sukcesu w pojedynczej próbie jako proporcjonalne do
czasu trwania tej próby. Prawdopodobieństwo sukcesu w k-tej próbie:
( )1 1
1 1 , 0.
k k
k
t t tp t
k k k
λ λ λλ λ
− − = − = − ∆ >
G
Przechodząc do granicy k → ∞, otrzymujemy:
gęstość rozkładu wykładniczego, opisującego czas oczekiwania na zdarzenie,
jeśli zdarzenia są statystycznie niezaleŜne.
( ) 1
1
k
k
k
p t
t k
λλ
−
→ ∞
= − → ∆
G ( ) ( ); exp , 0, 0t t tλ λ λ λ= − ≥ >E
R.J. Nowak 23
1.2 Rozkład wykładniczy - czekanie na samochód (1)Histogram danych o rozkładzie wykładniczym ma charakter geometryczny:
( )
( ) ( ) ( )1 1
1
1 , 1,2,3,...
k tk t k tt k t t
k
k t
P e dt e e e e kλ λλ λ λλ
∆− − ∆ − − ∆− − ∆ − ∆
− ∆
= = − = − =∫
Dane własne
0,00
0,05
0,10
0,15
0,20
0 5 10 15 20 25 30
czas t oczekiwania (s)
gęs
tość
(1/s
)
Czekanie na samochód, N = 1000
0,001
0,010
0,100
1,000
0 5 10 15 20 25 30
czas t oczekiwania (s)
gęs
tość
(1/s
)
Czekanie na samochód, N = 1000
R.J. Nowak 24
1.2 Rozkład Poissona - czekanie na samochód (2)
( ) , 0,1,2,..., 0!
k
k e kk
µµµ µ−= = >P rozkład Poissona
Jeśli czas t oczekiwania na zdarzenie określony jest rozkładem wykładniczymE(t;λ), to liczba k zdarzeń, które pojawią się w zadanym przedziale czasu T,
rządzona jest rozkładem Poissona z parametrem µ = λT:
Dane własne
0,00
0,05
0,10
0,15
0,20
0,25
0,30
0,35
0 1 2 3 4 5 6 7 8
liczba k samochodów
częs
tość
Czekanie na samochód, N = 1000
R.J. Nowak 25
1.2 Rozkład Poissona - czekanie na samochód (3)
( )( )ln ! lnkk kµ µ µ= −P : liniowa funkcja zmiennej losowej k,
( )( )ˆln !k ku k µ= P w przybliŜeniu liniowa funkcja zmiennej k, jeśli rozkład
tej zmiennej to rozkład Poissona
-3
-2
-1
0
1
2
3
4
0 2 4 6 8
liczba k samochodów
zmie
nn
a u
k
Czekanie na samochód, N = 1000
Dane własne
R.J. Nowak 26
Interludium - twierdzenie Poissona
0,00
0,05
0,10
0,15
0,20
0,25
0,30
0,35
0,40
0 5 10 15 20
liczba k sukcesów
pra
wd
opo
dob
ieńs
two dwumianowy
PoissonSerie3
n = 10, p = 0,1
n = 50, p = 0,1
n = 100, p = 0,1
Jeśli w rozkładzie dwumianowym n jest duŜe, a p małe to
( ) ( ), 0,
, ,k kn p npn p µ µ
→ ∞ → →→B P
dlatego rozkład Poissona czasami zwany jest rozkładem rzadkich zdarzeń.
R.J. Nowak 27
Interludium - twierdzenie de Moivre’a - Laplace’a
0,00
0,05
0,10
0,15
0,20
0,25
0 10 20 30 40 50
liczba k sukcesów
pra
wd
op
odo
bieńs
two dwumianowy
GaussSerie3
n = 16
n = 32
n = 64
n = 128
Dla duŜych wartości np i dla argumentu k w okolicy np:
( ) ( ) ( )2
2
1, exp , , 1 .
22k
kn p np np p
µµ σ
σπ σ
−≈ − = = −
B
R.J. Nowak 28
Interludium - rozkład Poissona i krzywa GaussaPodobnie, dla duŜych wartości µ i w okolicy k = µ:
( ) ( )2
2
1exp , .
22k
k µµ σ µ
σπ σ
−≈ − =
P
0,00
0,02
0,04
0,06
0,08
0,10
0,12
0,14
0 10 20 30 40
liczba k zdarzeń
pra
wd
op
odo
bieńs
two
PoissonGaussSerie5
µ = 10
µ = 20
µ = 30
R.J. Nowak 29
1.2 Rozkład normalnyMODEL: pomiar wielkości µ zaburzany przez n niezaleŜnie działających
„agentów”, kaŜdy zwiększający lub zmniejszający, z tym samym
prawdopodobieństwem p = 1/2, wynik pomiaru o addytywną wartość ε, co
prowadzi do n + 1 moŜliwych wyników pomiaru:
( ) ( )2 , 0,1,2, , ,kx k n k n k k nµ ε ε µ ε= + − − = + − + = …
( )( )
! 1, 0,5 .
! ! 2
n
k
nn p
k n k
= = − B
( ) ( )( )
( )( )
21
, 1 exp ,2 12 1
n kk
k
n k npn p p p
k np pnp pπ− −
= − ≈ − −− B
( ) ( ) ( )2 212
214
2 2, exp exp ,
2 2 2 22 2
kkk
k n xx nn p k
n nn n
µµ εε επ π ε
− −−≈ − = = + = −
B
( )( ) ( )
2 2
2
2, 0,
, 1; , exp .
2 22k
k
n nx x
n p xx
ε ε σ
µµ σ
ε σπσ→→∞ →→
−→ = −
BN
a wykonując przejście graniczne, otrzymujemy rozkład Gaussa:
Korzystamy z twierdzenia de Moivre’a-Laplace’a:
przy czym prawdopodobieństwo kaŜdego z nich określa rozkład dwumianowy
R.J. Nowak 30
1.2 Rozkład normalnyRozkład normalny, zwany teŜ rozkładem Gaussa:
( ) ( )2
2
2
1; , exp , , , 0.
22
xx x
µµ σ µ σ
σπ σ
−= − − ∞ < < ∞ − ∞ < < ∞ >
N
34,135% 34,135%
13,59% 13,59%2,14% 2,14%
99,73%
68,27%
µ − 3σ µ − 2σ µ − σ µ µ + 3σµ + 2σµ + σ
N(z;µ,σ 2)
95,45%
R.J. Nowak 31
1.2 Rozkład normalny - masa monety 1 € (1)
Masa monety o nominale 1 €, N = 2000
0
2
4
6
8
10
12
7,38 7,4 7,42 7,44 7,46 7,48 7,5 7,52 7,54 7,56 7,58 7,6 7,62 7,64masa m monety (g)
gęs
tość
(g-1
)
m = 7,521 g
s x = 0,034 g
Journal of Statistics Education Vol. 14, Number 2 (2006), www.amstat.org/publications/jse/v14n2/datasets.aerts.html
R.J. Nowak 32
1.3 Rozkład wielowymiarowyi, j - losowe liczby z przedziału 0 ÷ 9
0
3
6
9
0 1 2 3 4 5 67
8
0
1
2
3
4
kro
tność
nkm
jedn
ostk
i
dziesiątki
10i j k m⋅ = + ⇒ k, m - losowe liczby
( ),81
kmnP k m = rozkład dwuwymiarowy
8 9
0 0
81km
k m
n= =
=∑∑
R.J. Nowak 33
1.3 Rozkład wielowymiarowy
10i j k m⋅ = +
P (k,m ) m = 0 1 2 3 4 5 6 7 8 9 suma
k = 0 0,000 0,012 0,025 0,025 0,037 0,025 0,049 0,025 0,049 0,037 0,284
1 0,025 0,000 0,049 0,000 0,025 0,025 0,037 0,000 0,049 0,000 0,210
2 0,049 0,025 0,000 0,000 0,049 0,012 0,000 0,025 0,025 0,000 0,185
3 0,025 0,000 0,025 0,000 0,000 0,025 0,037 0,000 0,000 0,000 0,111
4 0,000 0,000 0,025 0,000 0,000 0,025 0,000 0,000 0,025 0,012 0,086
5 0,000 0,000 0,000 0,000 0,025 0,000 0,025 0,000 0,000 0,000 0,049
6 0,000 0,000 0,000 0,025 0,012 0,000 0,000 0,000 0,000 0,000 0,037
7 0,000 0,000 0,025 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,0258 0,000 0,012 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,012
suma 0,099 0,049 0,148 0,049 0,148 0,111 0,148 0,049 0,148 0,049 1,000
R.J. Nowak 34
1.4 Rozkład brzegowy i warunkowy
0,00
0,05
0,10
0,15
0,20
0 1 2 3 4 5 6 7 8 9
liczba m jednostek
pra
wdo
pod
ob
ieńs
two
0,00
0,10
0,20
0,30
0 1 2 3 4 5 6 7 8
liczba k dziesiątek
pra
wdo
pod
obieńs
two
( ) ( )8
0
,m
k
P m P k m=
=∑
( ) ( )9
0
,k
m
P k P k m=
=∑
Rozkład brzegowy zmiennej losowej m:
Rozkład brzegowy zmiennej losowej k:
R.J. Nowak 35
1.4 Rozkład brzegowy i warunkowy
( ) ( )( )
( ) ( )( )| |
, ,| , |k m m k
m k
P k m P k mP k m P m k
P m P k= =
Rozkład warunkowy dyskretnych zmiennych losowych k i m:
Rozkład warunkowy ciągłych zmiennych losowych x i y:
( ) ( )( )
( ) ( )( )| |
, ,| , |x y y x
y x
f x y f x yf x y f y x
f y f x= =
( ) ( ) ( ) ( ), , ,y xf y f x y dx f x f x y dy
∞ ∞
−∞ −∞
= =∫ ∫
Rozkład brzegowy zmiennych losowych x i y:
Zmienne losowe nazywamy statystycznie (stochastycznie) niezaleŜnymi,wtedy i tylko wtedy, gdy łączny rozkład tych zmiennych jest iloczynemrozkładów brzegowych:
( ) ( ) ( ) ( ) ( ) ( ), , ,k m x yP k m P k P m f x y f x f y= =
PRZYKŁAD: zmienna losowa m określająca liczbę jednostek i zmienna
losowa k określająca liczbę dziesiątek są statystycznie zaleŜne, bo np.:
( ) ( ) ( )2, 3 0 0,185 0,049k mP k m P k P m= = = ≠ = ⋅
R.J. Nowak 36
1.4 Rozkład brzegowy i warunkowyDwuwymiarowy rozkład normalny:
R.J. Nowak 37
1.4 Rozkład brzegowy i warunkowyDwuwymiarowy rozkład normalny (Gaussa):
( )
( )( )( )
2 2
22
22
, ; , , , ,
1 1exp 2 ,
2 12 1
, , , , 0 , , 1 1.
x y x y
x y yx
x x y yx y
x y x y
x y
x y yx
x y
µ µ σ σ ρ
µ µ µµρ
σ σ σ σρπσ σ ρ
µ µ σ σ ρ
− − − − = − − + − − −∞ < < ∞ − ∞ < < ∞ < < ∞ − < <
N
Rozkłady brzegowe to jednowymiarowe rozkłady normalne:
( )( )( )
2
2 2
2
; ,, ; , , , ,
; ,
x x
x y x y
y y
xdyx y
dx y
µ σµ µ σ σ ρ
µ σ
∞
−∞
=
∫
NN
N
Rozkłady warunkowe to takŜe jednowymiarowe rozkłady normalne:
( )( )
( ) ( ) ( )( )2 2
2 2
| 2
, ; , , , ,; , 1 ,
; ,
y
x
x y x y
y x y x y
x x
x yf y y x
x
σσ
µ µ σ σ ρµ ρ µ ρ σ
µ σ= = + − −N
NN
i podobnie dla rozkładu fx|y(x) po zmianie symboli x i y miejscami. Jak widać,wartości centralne zaleŜą liniowo od zmiennej warunkującej. Własność tadostarcza natchnienia i stanowi podstawę waŜnej metody statystycznej analizy
danych, zwanej analizą regresji, której zadaniem jest ocena wartości i istotności
współczynników tej zaleŜności.
R.J. Nowak 38
1.4 Rozkład brzegowy i warunkowyElipsa kowariancji (wykładnik rozkładu Gaussa bez czynnika –1/2):
-2 -1 0 1 2
-1,0
-0,5
0,0
0,5
1,0
ρ = −0,9
ρ = −0,5
ρ = 0,0
ρ = 0,5
ρ = 0,9
oś
y (σ
y =
1)
oś x (σx = 2)
( )( ) 22
2
12 1
1
x y yx
x x y y
x y yx µ µ µµρ
ρ σ σ σ σ
− − − − − + = −
Wszystkie elipsy zawarte we wnętrzu prostokąta (2σx) ×(2σy).
R.J. Nowak 39
Mackowiak, P. A., Wasserman, S. S., and Levine, M. M. (1992), "A Critical Appraisal of 98.6 Degrees F, the Upper Limit of
the Normal Body Temperature, and Other Legacies of Carl Reinhold August Wunderlich," Journal of the American Medical
Association, 268, 1578-1580, dane za: http://www.amstat.org/publications/jse/jse_data_archive.html
1.4 Rozkład brzegowy i warunkowy
Korelacja temperatura - tętno
96
97
98
99
100
101
55 60 65 70 75 80 85 90tętno
tem
per
atura
cia
ła
(F)
męŜczyźni
kobiety
R.J. Nowak 40
1.5 Momenty zmiennych losowychWartość oczekiwana, definicja:
[ ] ( ) [ ] ( )0
,k
k k kP k x x xf x dxµ µ∞∞
= −∞
≡ ≡ = ≡ ≡ =∑ ∫E E
Wariancja, definicja:
[ ] [ ] ( ) ( ) ( )
[ ] [ ] ( ) ( ) ( )
2 2 22 2 2
0
2 2 22 2 2
k
k
x
k k k k k k P k k k
x x x x x x f x dx x x
σ
σ
∞
=
∞
−∞
≡ ≡ ≡ − = − = −
≡ ≡ ≡ − = − = −
∑
∫
V D
V D
( )( )
( ) [ ] ( )
( ) [ ]
( ) [ ]
( ) ( ) [ ]
2
2
2
2 2
2
!, 1 1
! !
!
1 1 1; exp
1; , exp
22
n kk
k
k
k
x
nn p p p k np k np p
k n k
e k kk
tx e x x
xx x x
µ
λ
µµ µ µ
λ λ τ ττ τ λ λ
µµ σ µ σ
σπ σ
−
−
−
= − = = −−
= = =
= = − = = = =
−= − = =
B V
P V
E V
N V
PRZYKŁADY:
R.J. Nowak 41
1.5 Momenty zmiennych losowychDefinicja kowariancji:
[ ] ( )( ) ( )( ) ( )
[ ] ( )( ) ( )( ) ( )
0 0
cov , , ,
cov , , .
k m
k m k k m m k k m m P k m km k m
x y x y x y dx dy x x y y f x y xy x y
∞ ∞
= =
∞ ∞
−∞ −∞
≡ − − = − − = −
≡ − − = − − = −
∑∑
∫ ∫Definicja Pearsona wspólczynnika ρρρρ korelacji liniowej:
[ ] [ ][ ] [ ]
[ ] [ ][ ] [ ]
cov , cov ,, , , .
k m x yk m x y
k m x yρ ρ= =
D D D D
Własności współczynnika korelacji ρ:
a) niezmienniczy względem skalowania i translacji
b) niezmienniczy względem liniowej zamiany zmiennych
c) ograniczony w zakresie wartości: −1 ≤ ρ ≤ 1
d) ρ = ±1 wtedy i tylko wtedy, gdy:
( )y
y x
x
y xσ
µ µσ
= ± − i dlatego zwany jest liniowym
PRZYKŁAD: dla dwuwymiarowego rozkładu normalnego:
[ ] [ ] [ ][ ] [ ]
cov ,cov , , .
x y
x y
x y
x yx y x y
x y
ρσ σρσ σ ρ ρ
σ σ= ⇒ = = =
D D
R.J. Nowak 42
µx
x
y
[ ] ( )|y
x x
x
y x xσ
µ ρ µσ
= + −E
( )y
x x
x
y xσ
µ µσ
= + −
µy
[ ] ( )| xy y
y
x y yσ
µ ρ µσ
= + −E
prosta regresji y względem x
prosta regresji x względem y
1.5 Momenty zmiennych losowych
R.J. Nowak 43
Interludium - wykres kwantyli
Dla uporządkowanej próbki x1 ≤ x2 ≤ ... ≤ xn zmiennych losowych zachodzi:
Definicja dystrybuanty:
( ) ( )0 0F x P x x≡ −∞ < ≤
( ) .1
i i
iF x p
n= =
+Dla danych sądzimy, Ŝe:
PRZYKŁAD:
( ) ( ) ( ) ( )
( ) ( )
0 0
exp exp exp 1
1ln 1 ln 1 ,
i ix q
i i i
i i i i i
p F x x dx q x q dq q
q p x p q
λ λ λ
τ τ τλ
≈ = − = = = − = − −
⇒ ≈ − − ⇒ ≈ − − = =
∫ ∫
Kwantyl xp i jego rząd p definiujemy związkiem:
( ) .pF x p=
( ) .i iF x p≈
i oczekujemy, Ŝe punkty wyznaczone przez współrzędne (qi, xi) ułoŜą się,w przybliŜeniu, na linii prostej o nachyleniu zadanym parametrem τ, którego
ocenę moŜna odczytać z wykresu.
R.J. Nowak 44
Interludium - wykres kwantyli - oczekiwanie na samochód (4)
t = 5,1526q + 0,0545
0
10
20
30
40
50
0 1 2 3 4 5 6 7 8
kwantyl q wykładniczy
czas
t o
czek
iwan
ia (
s)
Czekanie na samochód, N = 1000
Dane własne
R.J. Nowak 45
Interludium - impulsy nerwowe (1)
Oczekiwanie na impuls nerwowy
0
20
40
60
80
100
120
140
0,00 0,25 0,50 0,75 1,00 1,25
czas t oczekiwania (s)
kro
tność
nk
Oczekiwanie na impuls nerwowy
0,1
1
10
100
1000
0,00 0,25 0,50 0,75 1,00 1,25
czas t oczekiwania (s)
kro
tność
nk
D.R. Cox i P.A.W. Lewis, The Statistical Analysis of Series of Events, Chapman and Hall, London, 1966, s. 252
Interludium - wykres kwantyli - impulsy nerwowe (2)
Impulsy nerwowe - wykres kwantyli wykładniczych
t = 0,2449q - 0,0176
-0,2
0,0
0,2
0,4
0,6
0,8
1,0
1,2
1,4
1,6
0 1 2 3 4 5 6
kwantyl q wykładniczy
czas
t o
czek
iwan
ia (
s)
R.J. Nowak 46
Interludium - impulsy nerwowe (3)
R.J. Nowak 47
Impulsy nerwowe - rozkład Poissona
0,00
0,05
0,10
0,15
0,20
0,25
0,30
0 1 2 3 4 5 6 7
liczba k impulsów
częs
tość
Interludium - impulsy nerwowe (4)
R.J. Nowak 48
Impulsy nerwowe
-3
-2
-1
0
1
2
3
4
5
6
0 2 4 6 8
liczba k impulsów
ln(k
! P
k)
R.J. Nowak 49
Interludium - wykres kwantyli - masa monety 1 € (2)
Masa monety o nominale 1 €, N = 2000
m = 0,034q + 7,521
7,1
7,2
7,3
7,4
7,5
7,6
7,7
7,8
-4 -3 -2 -1 0 1 2 3 4kwantyl q normalny
mas
a m
mo
net
y (
g)
( ) ( ) ( )2; , ;0,1i ix q
i i i i
xp x dx q q dq F q x q
µµ σ µ σ
σ−∞ −∞
−≈ = = = = ⇒ ≈ +∫ ∫N N
Journal of Statistics Education Vol. 14, Number 2 (2006), www.amstat.org/publications/jse/v14n2/datasets.aerts.html
R.J. Nowak 50
Statystyka matematyczna - zadania i metodyZadania statystyki matematycznej:
• estymacja parametryczna i przedziałowa: ocenianie, szacowanie,
wartości rozmaitych wielkości będących obiektem zainteresowania badacza,
• testowanie hipotez: weryfikacja stwierdzeń o parametrach i rozkładach.
Warunkiem wypełnienia tego zadania są dane, czyli próbka. Sumienne
wywiązanie się z niego wymaga rzetelnej próbki, a więc będącej miniaturąpopulacji, tj. odzwierciedlającej wszelkie relacje, jakie w populacji występują,co w prasie określane jest mianem „reprezentatywnej”, a w statystce
matematycznej: „losowej”.
Próbka losowa prosta: zbiór wartości xi, i = 1, 2, ..., n, zmiennych losowych,
uzyskany w wyniku wielokrotnego i wiernego powtórzenia tego samego
eksperymentu ⇒ zestaw statystycznie niezaleŜnych zmiennych losowych,
kaŜda o rozkładzie f(x) (znanym lub nie) i łącznym rozkładzie:
( ) ( )1
.n
i
i
L f x=
= ∏x
R.J. Nowak 51
Statystyka matematyczna - terminologia
Statystyka: zmienna losowa zadana jako dowolna funkcja zmiennych
losowych i innych znanych wielkości; musi przyjmować wartość liczbową po
podstawieniu wartości zmiennych losowych (nie moŜe zawierać nieznanych
wielkości).
Estymator: statystyka z „ambicjami” – szacuje, ocenia, przybliŜa, estymujewartość nieznanego parametru.
PRZYKŁAD: x, y - para zmiennych losowych opisująca zbiór moŜliwych
wartości uzyskiwanych w wyniku pomiaru boków prostokąta:
S = xy - estymator określający pole prostokąta.
Estymata: wartość, jaką przyjmuje estymator po podstawieniu w miejsce
argumentów wartości liczbowych zmiennych losowych (wyników pomiarów).
PRZYKŁAD: jeśli x = 5 cm, a y = 6 cm, to:
S = xy = 30 cm2 - estymata wartości pola prostokąta.
Relacja między estymatorem a estymatą jest analogiczna do relacji między
funkcją f(x), widzianą jako zestaw wartości dla wszystkich wartości argumentu
x, a wartością f(x0) funkcji w zadanym punkcie x0.
R.J. Nowak 52
MODEL: próbka prosta wartości xi, i = 1, 2, ..., n, z nieznanego rozkładu f(x):
( ) ( )2
1 1
1min .ˆ
n ni
i
i i
xR R x x
nµ
µµ µ
σ= =
− = ⇒ ⇒ = =
∑ ∑
Dygresja 1. Wartość oczekiwana liniowej kombinacji zmiennych losowych.
Próbka xi, i = 1, 2, ..., n, zmiennych losowych z łącznego rozkładu f(x), zmienna
losowa: z = a1x1 + a2x2 + ... + anxn i jej wartość oczekiwana:
( ) ( )1 1 1
n n n
i i i i i i i i i
i i i
z a x f d a x f x dx a x
∞ ∞
= = =−∞ −∞
= = =∑ ∑ ∑∫ ∫x x
( ) ( ) 1 1 1... ...i i i i nf x f dx dx dx dx
∞
− +
−∞
= ∫ x
1.
1
nx x
in i
µ= =∑=
Podstawowa własność – jeśli pomiary są nieobciąŜone, czyli ⟨xi⟩ = µ, to:
Wartość średnia jest nieobciąŜonym estymatorem wartości oczekiwanej.
[ ] 2, ,i ix xµ σ= =V µ oraz σ nieznane
2.1 Średnia arytmetyczna i niepewność standardowa
PRZYKŁAD: x - zmienna losowa opisująca wynik pomiaru boku kwadratu
o nieznanej długości µ. Poszukujemy pola S = µ 2 tego kwadratu. Niech
estymatorem pola będzie x 2. Oczekujemy, Ŝe wielokrotnie mierząc bok
kwadratu, co dostarcza wartości xi, i = 1, 2, ..., n, i obliczając średnią pól xi2,
w granicy otrzymamy „prawdziwą” wartość µ 2 pola powierzchni:
Estymator parametru θ nazywamy nieobciąŜonym, jeśli:
( )ˆ .θ θ=x
R.J. Nowak 53
( )θ x
[ ]2 2 2 2 2 2 .x x xµ µ µ µ= − + = + >V
2 2
1
1.
n
i ni
xn
µ→ ∞=
→∑
Sprawdźmy:
Widzimy, Ŝe zaproponowany estymator jest obciąŜony: przeciętnie będzie on
dawał wartość większą niŜ wartość pola kwadratu.
Dygresja 2. Prawo wielkich liczb - interpretacja sensu średniej:
( )1
10, gdzie
n
n n kn nk
P x x x xn
ε →=
− > → = ∑
Czy to aby jest prawda???
2.1 Średnia arytmetyczna i niepewność standardowa
R.J. Nowak 54
2.1 Średnia arytmetyczna i niepewność standardowa
Wariancja średniej dla próbki statystycznie niezaleŜnych zmiennych losowych:
Dygresja 3. Wariancja liniowej kombinacji zmiennych losowych
Dla próbki statystycznie niezaleŜnych zmiennych losowych:
co daje:
[ ] ( ) ( ) ( )
( )( ) ( ) [ ] [ ]
2 2
1 1 1
, 1 , 1
cov ,
n n n
i i i i i i i
i i i
n n
i k i i k k i i k k
i k i k
z a x a x f d a x x f d
a a x x x x f d a x x a
∞ ∞
= = =−∞ −∞
∞
= =−∞
= − = − =
= − − = =
∑ ∑ ∑∫ ∫
∑ ∑∫ V
V
T
x x x x
x x a x a
[ ] [ ]cov , ,i k ik ix x xδ= V
[ ] [ ]2
1
.n
i i
i
z a x=
=∑V V
[ ] [ ]21
1,
n
i
i
x xn =
= ∑V V
a dla próbki prostej:
[ ] [ ]1.x x
n=V V
R.J. Nowak 55
2.1 Średnia arytmetyczna i niepewność standardowa
980
990
1000
1010
1020
1030
średnie
dane
0,00
0,05
0,10
0,15
0,20
0,25gęs
tość
ciśnienie (
hPa)
Pomiar ciśnienia - dane i średnie
Dane własne
R.J. Nowak 56
2.1 Średnia arytmetyczna i niepewność standardowa
ma wartość oczekiwaną:
( ) ( ) ( )( )
( ) ( )( ) ( )( ) ( ) ( )
22
2 21 1
2 2 2 2
2 21 1
1 1
1 12
n n
i i
i i
n n
i i i
i i
R x x x x x
x x x x x n x
µ µσ σ
µ µ µ µ µ µσ σ
= =
= =
= − = − − −
= − − − − + − = − − −
∑ ∑
∑ ∑
Minimalna suma kwadratów reszt:
( ) ( ) ( )2
2 2 2
2 21 1
1 11.
n n
i
i i
R x x n x n nn
σµ µ σ
σ σ= =
= − − − = − = −
∑ ∑
Stąd otrzymujemy nieobciąŜony estymator wariancji zmiennej losowej:
[ ] ( )22
1
1ˆ1
n
x i
i
x s x xn =
≡ = −− ∑V
i nieobciąŜony estymator wariancji średniej arytmetycznej:
[ ]( )
( )2
22
1
1ˆ1
n
xx i
i
sx s x x
n n n =
≡ = = −− ∑V
Dzielenie przez n − 1 (zamiast przez n), to tzw. poprawka Bessela.
R.J. Nowak 57
2. Estymatory momentów - nomenklatura
- odchylenie standardowe,
odchylenie standardowe zmiennej losowej,
dyspersja.
[ ] [ ]x x σ= =V D
sx - niepewność standardowa,
odchylenie standardowe eksperymentalne,
odchylenie standardowe z próbki,
odchylenie standardowe eksperymentalne zmiennej losowej x,
niepewność standardowa pojedynczego pomiaru (b. popularne),
RMS (root mean square) - uŜywanie niewskazane,
błąd - nazwa niepoprawna (spadek po poprzednich pokoleniach),
błąd to róŜnica między wynikiem x pomiaru a wartością prawdziwą µ:
- niepewność standardowa średniej arytmetycznej
oraz pozostałe nazwy z dodatkiem: „średniej arytmetycznej”.xs
x µ= −błąd
R.J. Nowak 58
2.2 Średnia waŜonaMODEL: próbka statystycznie niezaleŜnych zmiennych losowych xi, kaŜda
z innego rozkładu fi(x) o wspólnej wartości oczekiwanej: ⟨xi⟩ = µ, ale róŜnych
wartościach wariancji V[xi] = σi2.
Średnia waŜona - nieobciąŜony estymator wartości oczekiwanej µ: .wx µ=
Wartość oczekiwana sumy kwadratów reszt: ( ) 1,wR x n= −Na mocy Dygresji 3: [ ] 2 .w wx σ=V
co pozwala wyznaczyć nieobciąŜony estymator wariancji:2
2
1
2 2
2
.1
n
w iz
i i
z wsx
sn
σ µσ
σ=
−= ⇒
−=
∑
W praktyce:
222 2 2 2
1
21
1,
1 1
nw i
w w zni i
i i
s xs s s
n s
s
µσ
=
=
−→ = → = −
∑∑
( ) ( )2
2 2
21 1
1
1 1min , , .
n n
iw w i i w in
i ii ii
i
xR R x w x w
wµ
µµ σ σ
σ σ= =
=
−= ⇒ ⇒ = = =
∑ ∑
∑
Nomenklatura: σz - dyspersja wewnętrzna, sz - niepewność zewnętrzna.
R.J. Nowak 59
2.2 Średnia waŜonaDwie wielkości: σw oraz sz określające rozrzut danych, umoŜliwiają kontrolękonsystencji danych. Jej brak moŜe wynikać z powodu:
• błędnych ocen xi wartości centralnych,
• błędnych ocen si niepewności,
• fluktuacji statystycznej.
Dwa standardowe sposoby oceny tej konsystencji - wizualny, czyli ideogram:
( ) ( )2
1
; , .n
i i
i
f x x x s=
=∑N„Wielogarbność” ideogramu moŜe sugerować brak konsystencji i jednocześnie
wskazywać na „winną” temu daną liczbową.
Liczbowa ocena to wartość R sumy kwadratów reszt w minimum i jej składniki.
PoniewaŜ wartość oczekiwana sumy kwadratów reszt w minimum wynosi n − 1,
wiec wartość sumy nie powinna odbiegać nadmiernie od tej wartości.
Jednoczesnie kaŜda indywidualna dana winna wnosić, w przybliŜeniu, jednostkędo sumy kwadratów reszt. Dana, od której przyczynek jest istotnie większy od
jedności staje sie automatycznie „podejrzaną”.
UWAGA! Demokratyczne glosowanie nie decyduje o poprawnej wartosci!!!
R.J. Nowak 60
Interludium - rozkład χχχχ 2 (1)MODEL: zmienna x z rozkładu Gaussa N(x;µ,σ 2):
( ) ( ) 2 2
2
2
1 11 ; , exp exp ,
2 22 2
x x zx dx dx z dz
µ µµ σ
σ σπ σ π
∞ ∞ ∞
−∞ −∞ −∞
− −= = − = = = − ∫ ∫ ∫N
( )21
;0,1 exp22
zz
π
= −
N - standaryzowany rozkład normalny
2 2
2
0 0
1 2 1 11 exp exp exp .
2 2 22 2 2
z z udz dz u z du
uπ π π
∞ ∞ ∞
−∞
= − = − = = = − ∫ ∫ ∫
( )
1 2 11 21 2
2 20 1 2
0 0 0
, ,1 1 11 exp
, ,2 2
1 1 1exp exp
2 2 2 2
u
u u u u u vu udu du
v u u vu u
u udu dv du
v u v
π
π
∞
∞ ∞
= + = − + = − = ⇒ = =
= − = − −
∫
∫ ∫ ∫
Zmienna u ma rozkład X1(u), zwany χ 2, o jednym stopniu swobody:
Zmienna u ma rozkład X2(u) o dwóch stopniach swobody:
( )1
1 1exp .
22
uu
uπ = −
X
( )2
1exp .
2 2
uu
= −
X
R.J. Nowak 61
Interludium - rozkład χχχχ 2 (2)MODEL: próbka licząca n statystycznie niezaleŜnych zmiennych losowych xi
z rozkładów normalnych N(xi;µi,σi2). Statystyka:
( )( ) ( )
12
2
21
1exp , 0, 1,2,3, ,
22ma rozkład :
n
i in
i
n
n
in
xu
uu u u n
µσ=
− −=
= − ≥ = Γ
∑ …X
nosi nazwę zmiennej losowej χχχχ 2 i ma własności: [ ], 2 .u n u n= =V
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0 1 2 3 4 5 6 7 8 9 10
wartość χ 2
gęs
tość
pra
wd
op
od
ob
ieńs
twa
n = 1
n = 2
n = 3n = 4 n = 5 n = 6
n = 7
0,00
0,02
0,04
0,06
0,08
0,10
0,12
0,14
0 20 40 60
wartość χ 2
gęs
tość
pra
wo
po
do
bieńs
twa
n = 7
n = 15
n = 30rozkład Gaussa,
µ = 30, σ 2 = 60
R.J. Nowak 62
Interludium - rozkład χχχχ 2 (3)Kiedy pojedynczy składnik ui standaryzowanej sumy R kwadratów reszt
2
1 1
n n
i ii
i i i
xR u
µσ= =
−= =
∑ ∑
jest „nadmierny” albo „istotnie większy” od jedności? Czy np. wartość u0 = 4
jest „nadmierna”? Zapytajmy inaczej: ile wynosi prawdopodobieństwo
p = P(u ≥ u0), Ŝe zmienna χ 2 o jednym stopniu swobody będzie, na mocy
przypadku, większa bądź równa wartości 4?
( ) ( )1
4 4
1 14 exp 0,045
22
uP u u du du
uπ
∞ ∞ ≥ = = − ≈ ∫ ∫X
Tak więc w około 5% przypadków zobaczymy, z powodów czysto losowych,
odchylenie wyniku pomiaru od wartości prawdziwej o dwa lub więcej
odchylenia standardowe. Czy obserwacja taka będzie wystarczającym
powodem od podejrzeń, Ŝe wynik reprezentuje sobą pomiaru innej wielkości,
niŜ tej, w której jesteśmy zainteresowani? Jak duŜe powinno być takie
odchylenie, abyśmy bezpiecznie dotarli do takiej konkluzji?
u0 1 (→ 1σ) 4 (→ 2σ) 9 (→ 3σ) 16 (→ 4σ) 25 (→ 5σ)
p = P(u ≥ u0)0,317
≈1/3
0,045
≈1/20
0,027
≈ 1/370
1,07⋅10–4
≈ 1/10 000
5,73⋅10–7
≈ 1/1 750 000
R.J. Nowak 63
Interludium - rozkład χχχχ 2 (4)
0,001
0,01
0,1
0 10 20 30 40 50 60u 0
pra
wdo
podobieńs
two p
3 4 5 6 7 8 10 12 14 16 18 20 22 24 26 28 30n = 1 2 9
R.J. Nowak 64
2.2 Średnia waŜona
Ideogram wieku Całunu Turyńskiego
0,000
0,005
0,010
0,015
0,020
0,025
0,030
550 600 650 700 750 800 850wiek x Całunu (liczba lata przed rokiem 1950)
x = (646 ± 31) lat, R A = 1,94
x = (676 ± 24) lat, R Z = 0,30
x = (750 ± 30) lat, R O = 4,12
suma: R = 6,35, P (u ≥ R ) = 0,042Zurich
Arizona Oxford
x w = 689 lat
s w = 16 lat,
s = 28 lat
P.E. Damon, D.J. Donahue, B.H. Gorke i inni, Nature, 337, (1989), 661
2
1
n
i w
i i
x xu
σ=
−=
∑
Jeśli zmienne xi pochodzą z rozkładów normalnych N(xi;µ,σi2), to statystyka
ma rozkład χ 2 z liczbą n – 1 stopni swobody.
R.J. Nowak 65
2.2 Średnia waŜona
0
5
10
15
20
0 5 10 15 20numer pomiaru
wart
ość
0
5
10
15
20
0 5 10 15 20numer pomiaru
wart
ość
R.J. Nowak 66
2.3 Pearsona współczynnik korelacjiPróbka (xi,yi), i = 1, 2, ..., n, nieskorelowanych par zmiennych losowych.
NieobciąŜony estymator kowariancji:
( )( )1
1
1
n
xy i i
i
C x x y yn =
= − −− ∑
i obciąŜony estymator r Pearsona współczynnika ρ korelacji liniowej:
.xy
x y
Cr
s s=
Dla próbek z rozkładu normalnego, rozkład f(r;ρ) współczynnika r jest,
w ogólnym przypadku bardzo złoŜony i mimo, Ŝe ze wzrostem liczebności próbki
zbiega on do rozkładu normalnego, to zbieŜność ta jest bardzo wolna i wymaga
próbek liczących setek, jeśli nie tysięcy danych, zwłaszcza gdy współczynnik
korelacji ρ jest bliski jednej z wartości skrajnych. Tzw. transformacja Fishera
1 1ln
2 1
rz
r
+=
−pozwala odwołać się do rozkładu normalnego N(z;µ,σ 2) z parametrami:
juŜ przy próbkach liczących kilkadziesiąt par (xi,yi) danych.
( )21 1 1
ln , .2 1 2 1 3n n
ρ ρµ σ
ρ+
= + =− − −
R.J. Nowak 67
0
1
2
3
4
5
6
7
8
9
10
-1 -0,5 0 0,5 1
ρ = 0
ρ = 0,75
n = 10
n = 20
n = 50
n = 50
n = 20
n = 10r
0,0
0,2
0,4
0,6
0,8
1,0
1,2
1,4
1,6
1,8
-1 0 1 2
ρ = 0 ρ = 0,75
n = 10
n = 20
z
Najczęściej potrzebujemy postaci rozkładu f(r;ρ) dla szczególnej wartości
ρ = 0, kiedy to:
( )( )( )( )
( ) ( )1142 2 2
12
11 , 1 1.
1
nnf r r r
nπ
−Γ −= − − < <
Γ −
2.3 Pearsona współczynnik korelacji
R.J. Nowak 68
http://www.kutsyy.com/classes/lab/ancova.html
Katedry angielskie
0
100
200
300
400
500
600
700
40 50 60 70 80 90 100 110
wysokość (stopy)
dłu
gość
(st
op
y)
romańska
gotycka
r = 0,64
2.3 Pearsona współczynnik korelacji
R.J. Nowak 69
Ciśnienie krwi
40
50
60
70
80
90
100
110
120
130
70 120 170 220ciśnienie rozkurczowe
ciśn
ien
ie s
ku
rczo
we
r = 0,79
http://hesweb1.med.virginia.edu/biostat/s/data/index.html
2.3 Pearsona współczynnik korelacji
R.J. Nowak 70
Statistical Abstract for the United kongdom, Cmd 5903, 1939; lata 1924 - 38;
dane za: G.U. Yule i M.G. Kendall, Wstep do teorii statystyki, PWN, Warszawa 1966, s. 325
5
10
15
20
25
0 2000 4000 6000 8000 10000
liczba radioodbiorników (w tyś.)
licz
ba
cho
rych
um
ysł
ow
o
(na
10
000
lu
dn
ośc
i)
r = 0,992
Pamietajmy: korelacja nie implikuje przyczynowości!!!
2.3 Pearsona współczynnik korelacji
R.J. Nowak 71
2.3 Spearmana współczynnik korelacji rangGdy mówimy o współczynniku korelacji, mamy na myśli współczynnik
Pearsona, niekiedy spotykamy jednak dwa inne współczynniki: Spearmana
i Kendalla.
RozwaŜmy próbkę par (xi,yi), i = 1, 2, ..., n, którą uporządkujmy
względem pierwszej współrzędnej pary w ciąg rosnący, a następnie zastąpmy
kaŜdą ze współrzędnych xi kolejnymi liczbami całkowitymi, poczynając od 1.
Następnie wyznaczmy w rosnącym ciągu wszystkich wartości yi pozycję na
której znajduje się kaŜda ze współrzędnych yi i zastąpmy ich wartość numerami
ich pozycji, a w miejsce par (xi,yi) otrzymamy pary (k, nk), k = 1, 2, ..., n, liczb
naturalnych, gdzie na drugiej pozycji w parze mamy pewna permutację liczb
naturalnych. Numer pozycji, którą zajmuje liczba w uporządkowanym rosnąco
ciągu wszystkich liczb próbki nazywamy rangą tej liczby - liczba najmniejsza
ma rangę 1, a największa rangę n. Spearmana współczynnikiem korelacji rS
nazywamy Pearsona współczynnik korelacji dla rang:
( )( )
( ) ( )( )1
2 2
1 1
1, 1 .
2
n
k
kS
n n
k
k k
k n
r n
k n
µ µµ
µ µ
=
= =
− −= = +
− −
∑
∑ ∑
R.J. Nowak 72
2.3 Spearmana współczynnik korelacji rangWielkość µ to średnia arytmetyczna z liczb naturalnych od 1 do n. Występujące
w mianowniku obie sumy kwadratów są identyczne i kaŜda z nich wynosi
( )( )2
2
1
1,
12
n
k
n nk µ
=
−− =∑
gdyŜ róŜnią się jedynie kolejnością wyrazów. Jeśli wprowadzimy róŜnice rang
k – nk, to Spearmana współczynnik moŜna zapisać w formie:
( ) ( )2
21
61 .
1
n
S k
k
r k nn n =
= − −−∑
PoniewaŜ współczynnik Spearmana to Pearsona współczynnik korelacji, więcprzejmuje on jego wszystkie własności, w szczególności jego wartości
ograniczone są do przedziału [–1;1].
Współczynnik Spearmana mierzy siłę monotonicznego związku
między pierwotnymi zmiennymi: przyjmuje wartość rS = +1 jeśli nk = k,
a rS = –1, gdy nk = n – k + 1 oraz wartość rS = 0, gdy zmienne xi oraz yi sąnieskorelowane. W tym ostatnim przypadku:
[ ] 10, .
1S Sr r
n= =
−V
a dla próbek liczących kilkadziesiąt danych, współczynnik ten moŜna, z niezłymprzybliŜeniem, opisać rozkładem normalnym N(rS;0,V[rS]).
R.J. Nowak 73
2.3 Kendalla współczynnik korelacjiDla próbki (xi,yi), i = 1, 2, ..., n, rozwaŜmy wszystkie pary xi oraz xj, a takŜewszystkie pary yi oraz yj i utwórzmy wielkości
1 gdy , 1 gdy ,
0 gdy , 0 gdy ,
1 gdy , 1 gdy ,
i j i j
ij i j ij i j
i j i j
x x y y
u x x v y y
x x y y
> >
= = = = − < − <
( )1
12 2
, 1 , 1
22
,1
n n
ij ij n ni j i
ij ijn n
i j i
ij ij
i j i j
u v
u vn n
u v
τ = >
= >
= =
= =−
∑∑∑∑
∑ ∑gdyŜ kaŜda z podwójnych sum w mianowniku wynosi n(n – 1), jako Ŝe nie
zaleŜy ona od uporządkowania i określa liczbę róŜnych od zera róŜnic xi – xj
oraz yi – yj. Jeśli obie wartości w parach (xi,yi) narastają monotonicznie, wtedy
uij = vij, licznik jest równy mianownikowi i współczynnik τ przyjmuje
maksymalną, jednostkową, wartość. Gdy porządek wartości yi jest odwrotny do
porządku wartości xi, to uij = –vij i τ = –1. W pozostałych sytuacjach Kendalla
współczynnik korelacji przyjmie wartość między –1 a 1.
oraz obliczmy Kendalla współczynnik ττττ korelacji
R.J. Nowak 74
2.3 Kendalla wspólczynnik korelacji
a dla próbek liczących kilkanaście danych, rozkład współczynnika moŜna,z niezłym przybliŜeniem, opisać rozkładem normalnym N(τ;0,V[τ]).
Interpretacja Kendalla współczynnika korelacji. Wyobraźmy sobie, Ŝedwóch sędziów ustala ranking n zawodników (kandydatek to tytułu Miss
Świata), co daje parę (xi,yi). Jeśli dla dowolnej pary zawodników, znak róŜnicy
xi – xj jest taki sam jak dla róŜnicy yi – yj, to mówimy, Ŝe ranking pary jest
zgodny, a w przeciwnym razie niezgodny. Podwójna suma w liczniku
definiującym współczynnik τ opisuje róŜnicę liczby C zgodnych i liczby D
niezgodnych par w rankingu, przy czym maksymalna liczba zarówno par
zgodnych jak i niezgodnych wynosi n(n – 1)/2, więc wartość 2C/n(n – 1) opisuje
prawdopodobieństwo, Ŝe dowolna para zawodników w rankingu zostanie
sklasyfikowana zgodnie, a 2D/n(n – 1) prawdopodobieństwo, Ŝe niezgodnie.
Dlatego teŜ róŜnica obu prawdopodobieństw zawiera się w przedziale [–1;1].
Gdy między cechami brak jest współzaleŜności, to oczekujemy, Ŝe w typowych
sytuacjach połowa z wielkości uijvij przyjmie wartość 1, a połowa –1, co daje
⟨τ⟩ = 0. MoŜna takŜe obliczyć wariancję, która wynosi:
[ ] ( )( )
2 2 5,
9 1
n
n nτ
+=
−V
R.J. Nowak 75
2.4 Parametry zmiennej losowejModa - wartość zmiennej losowej, przy
której rozkład przyjmuje wartośćmaksymalną.Mediana xm - kwantyl rzędu 1/2.
Próbkę xi, i = 1, 2, ..., n, ciągłej zmiennej
losowej porządkujemy, otrzymując ciągx(1) ≤ x(2) ≤ ... ≤ x(n). Jeśli n = 2k + 1, to
mediana xm = x(k + 1), a dla n = 2k to dowolna
liczba między wartościami x(k) oraz x(k + 1),
w praktyce xm = (x(k) + x(k + 1))/2.
f(x)
x
modamediana
wartość oczekiwana
Kwartyl dolny qd - kwantyl rzędu 1/4.
Kwartyl górny qu - kwantyl rzędu 3/4.
k-ty kwintyl - kwantyl rzędu k/5.
k-ty decyl - kwantyl rzędu k/10.
k-ty percentyl - kwantyl rzędu k/100.
Rozstęp międzykwartylowy: qu – qd.
f(x)
x
xmediana
górny
kwartyldolny
kwartyl
95%5%
Wykres pudełkowy
R.J. Nowak 76
3.1 Estymacja parametryczna - metoda momentówPRZYKŁAD: próbka prosta xi, i = 1, 2, ..., n, zmiennych losowych z rozkładu:
( ) ( )1; 1 , 1 1, 1 1.
2f x x xθ θ θ= + − ≤ ≤ − ≤ ≤
NaleŜy wyznaczyć ocenę parametru θ. Obliczamy wartość oczekiwaną:
( ) ( )1 1 1 1
2
1 1 1 1
1 1 1; 1 ,
2 2 2 3x xf x dx x x dx xdx x dx
θθ θ θ
+ + +
− − − −
= = + = + =∫ ∫ ∫ ∫a poniewaŜ średnia arytmetyczna ocenia wartość oczekiwaną, więc:
1 1
1 ˆ ˆ 3 .3
x xθ θ= ⇒ =
MoŜemy jednak obliczyć wartość oczekiwaną statystyki x3:
( )1 1 1
3 3 3 4
1 1 1
1 1 11 ,
2 2 2 5x x x dx x dx x dx
θθ θ
+ + +
− − −
= + = + =∫ ∫ ∫więc:
3 3 3
3 3
1
1 1 ˆ ˆ 5 .5
n
i
i
x x xn
θ θ=
= = ⇒ =∑
Jak widać, kaŜda średnia z nieparzystej potęgi dostarcza estymatora parametru θ.
Który z tych estymatorów mamy wybrać?
R.J. Nowak 77
3.1 Estymacja parametryczna - metoda momentów
RozwaŜmy wariancję uzyskanych estymatorów:
PoniewaŜ:
więc:
[ ] [ ] [ ]1
9ˆ 3 9x x xn
θ = = = V V V V
Podobnie:
a obliczając:
Wybieramy estymator o mniejszej wariancji!!!
[ ] ( ) ( )1
22 2 2 2 2
1
1 1 1 1 11 3 ,
2 9 3 9 9x x x x x dxθ θ θ θ
−
= − = + − = − = −∫V
( )2
1
1ˆ 3 .n
θ θ = − V
3 3 3
3
25ˆ 5 25 ,x x xn
θ = = = V V V V
23 6 3 21 25,
25 7x x x θ = − = −
V
otrzymujemy:2
3
1 25ˆ .7n
θ θ = − V
R.J. Nowak 78
3.1 Metoda momentów - podsumowanieRozkład f(x;θ1,θ2,...,θm) wyznaczony przez m nieznanych parametrów.
Obliczamy m wartości średnich:
oraz m wartości oczekiwanych:
Przyrównując wartości średnie do wartości oczekiwanych:
1
1, 1,2,...,
nk k
i
i
x x k mn =
= =∑
( ) ( )1 2 1 2; , ,..., , ,..., .k k
m k mx x f x dx gθ θ θ θ θ θ∞
−∞
= =∫
( )1 2ˆ ˆ ˆ, ,...,k
k mx g θ θ θ=
otrzymujemy układ m równań na m niewiadomych parametrów. Rozwiązanie
tych równań wyznacza estymatory poszukiwanych parametrów.
Brak ogólnych twierdzeń odnośnie własności estymatorów – są one zazwyczaj
obciąŜone, a równania nieliniowe powodują dodatkowe kłopoty.
Metoda momentów często jest wykorzystywana do wyznaczenia wygodnych
wartości startowych do zastosowania w innych metodach estymacji.
R.J. Nowak 79
3.2 Metoda największej wiarogodności - ideaPoniewaŜ w wyniku pomiarów Natura daje nam wartości rozsądne - zbliŜone
do typowych, bardzo prawdopodobne - dobierzmy tak wartości nieznanych
parametrów rozkładu, aby uzyskane z doświadczenia wartości były najbardziej
prawdopodobne.
Rozkład f(x;θ) o znanej formie matematycznej i nieznanej wartości parametru θ.
Dana jest próbka prosta zmiennych xi, i = 1, 2, ..., n, o łącznym rozkładzie
( ) ( )1
; ; .n
i
i
L f xθ θ=
= ∏x
Podstawmy znane wartości xi do funkcji L i potraktujmy ją jako funkcjęnieznanego parametru θ, a otrzymamy funkcję wiarogodności parametru θ:
( ) ( )1
; , zadane.n
i i
i
f x xθ θ=
= ∏L
Poszukujemy takiej wartości parametru θ, aby wyniki pomiarów były
najbardziej prawdopodobne ⇒ maksymalizujemy funkcje wiarogodności
względem parametru. Tak uzyskaną ocenę parametru nazywamy ocenąnajwiększej wiarogodności.
Nie jest to ocena najbardziej prawdopodobna!!!
θ
R.J. Nowak 80
3.2 Metoda największej wiarogodności - motywacjaPRZYKŁAD, w którym wszystkie obliczenia moŜna wykonać analitycznie:
2000 kandydatów na studia na Wydziale Fizyki - 549 kobiet i 1451 męŜczyzn.
Uporządkujmy wszystkie nazwiska alfabetycznie i na początek wybierzmy
pierwszy tysiąc (n = 1000) kandydatów. W liczbie tej znajdujemy k = 281
kobiet. Niech p oznacza prawdopodobieństwo, Ŝe przypadkowo wybrana
osoba to kobieta, zaś 1 − p to prawdopodobieństwo „trafienia” męŜczyzny.
Wyznaczmy funkcję wiarogodności: wybieramy kolejne nazwiska i jeśli jest to
kobieta to do funkcji wiarogodności dopisujemy czynnik p, a jeśli męŜczyzna
to czynnik 1 − p. Prowadzi to do funkcji wiarogodności:
( ) ( )1 .n kk
p p p−
= −L
Poszukując maksimum, zazwyczaj wygodniej jest pracować z logarytmem
funkcji wiarogodności (logarytm nie zmienia połoŜenia maksimum), więc:
( ) ( ) ( ) ( )lnln ln ln 1 .
1ˆ
d p k n kp k p n k p
dp
k
np pp
−= + − − ⇒ − ⇒
−==
LL
Otrzymaliśmy bardzo rozsądny, oczywisty, estymator wyznaczający wartość:
0,281.p =
R.J. Nowak 81
3.2 Największa wiarogodność - dziewczyny do ścisłych (6)
Dziewczyny do ścisłych
0,0
0,2
0,4
0,6
0,8
1,0
0,22 0,24 0,26 0,28 0,30 0,32 0,34parametr p
wia
rogo
dność
L(p
)pierwszy 1000
drugi 1000
razem
Dane własne
R.J. Nowak 82
3.2 Największa wiarogodność - dziewczyny do ścisłych (7)
Dziewczyny do ścisłych
-400
-300
-200
-100
0
100
200
300
400
0,24 0,25 0,26 0,27 0,28 0,29 0,3 0,31
parametr p
d l
nL
(p)/
dp
Dane własne
R.J. Nowak 83
3.2 Największa wiarogodność - jeden parametr - własnościEstymatory z metody największej wiarogodności są:
• współzmiennicze wraz ze zmianą parametru, tj. jeśli interesuje nas
parametr ϕ(θ), który jest funkcja parametru θ, to:
• z reguły obciąŜone, choć nie asymptotycznie (obciąŜenie znika ze
wzrostem liczebności próbki),
• asymptotycznie najefektywniejsze (dla duŜych próbek maja mniejsząwariancję niŜ estymatory uzyskane na innej drodze),
• asymptotycznie gaussowskie (ze wzrostem liczebności próbki nabierająrozkładu gaussowskiego):
( ) ( )ˆϕ θ ϕ θ=
• ekonomiczne - wykorzystują całą informacje zgromadzoną w próbce
(estymatory uzyskane na innej drodze mogą tracić część informacji, co
prowadzi do ich większej wariancji).
( ) ( )2ˆ
1ˆ ˆ; , exp ,ˆˆ 22
θ θθ θ θ
θπ θ
− = −
N VVV
R.J. Nowak 84
3.2 Największa wiarogodność - jeden parametr - własnościFunkcja wiarogodności ze wzrostem liczebności próbki przyjmuje kształt
gaussowski:
( )( )2
max
ˆ
exp .ˆ2
θ θθ
θ
− = −
L LV
Pamiętajmy, Ŝe jest to funkcja poszukiwanego parametru θ, a nie funkcja
zmiennych losowych lub estymatora.
Gaussowski kształt prowadzi do waŜnej konkluzji. Obliczmy logarytm funkcji
wiarogodności:
( )( )2
max
ˆ
ln lnˆ2
θ θθ
θ
−= −
L LV
a takŜe pierwszą pochodną względem parametru:
( ) ˆln.
ˆ
d
d
θ θ θθ θ
−=
L
V
Odstępstwa na wykresie tej pochodnej od liniowości, jako funkcji parametru θ,
pozwalają wizualnie ocenić na ile znajdujemy się w reŜimie asymptotycznym.
R.J. Nowak 85
3.2 Największa wiarogodność - jeden parametr - własnościObliczmy równieŜ drugą pochodną:
( )2
2
ln 1
ˆ
d
d
θ
θ θ= −
L
V
która prowadzi do wyraŜenia na wariancję:
( )1
2
2
lnˆ .d
d
θθ
θ
−
= −
LV
PoniewaŜ wielkość ta, dla skończonych próbek, zaleŜy od parametru θ, więc:
( )1
2
2
ˆ
lnˆˆ .d
dθ θ
θθ
θ
−
=
= −
LV
Konwencjonalnie cytowane są niepewności wyznaczane z tego wzoru, nawet
jeśli próbka jest mała i kształt funkcji wiarogodności odbiega od gaussowskiego.
Do dobrej praktyki naleŜy podawanie wykresu logarytmu funkcji wiarogodności.
R.J. Nowak 86
Interludium - własności krzywej i rozkładu Gaussa
( )( )
( )( )2 2
max max
ˆ ˆ
exp ln lnˆ ˆ2 2
θ θ θ θθ θ
θ θ
− − = − ⇒ = −
L L L LV V
Jednocześnie, poniewaŜ asymptotycznie estymator największej wiarogodności
ma rozkład normalny:
( ) ( )2ˆ
1ˆ ˆ; , expˆ ˆ2 2
θ θθ θ θ
π θ θ
− = −
N VD V
więc:
( ) ( )0,5, 1,
ˆ ˆ ˆln ln 2, 2,
4,5, 3.
n
n n
n
θ θ θ θ θ
= = − = ± = = =
L L D
( )0,683 2 3, 1,
ˆ ˆ ˆ 0,945 19 20, 2,
0,997, 3.
n
P n n n
n
θ θ θ θ θ
≈ = − ≤ ≤ + ≈ ≈ = =
D D
Własność ta pozwala łatwo wyznaczyć odchylenie standardowe ˆ :θ D
R.J. Nowak 87
3.2 Największa wiarogodność - dziewczyny do ścisłych (8)Dziewczyny do ścisłych
-5
-4
-3
-2
-1
0
0,24 0,25 0,26 0,27 0,28 0,29 0,30 0,31
parametr p
lnL
(p)
[ ] ( ) ( )1
22
2
ˆ
lnˆ 0,010ˆ
p p
d pp
dp
−
=
= − =
LV
R.J. Nowak 88
3.2 Największa wiarogodność - dwa parametry
PRZYKŁAD: próbka xi, i = 1,2,..., n, z rozkładu Gaussa N(x;µ,σ 2). Funkcja
wiarogodności:
( )( )
( )
( ) ( )
2
21
2
21
1 1, exp ,
22
1ln , ln ln 2 .
2 2
n
inn
i
n
i
i
x
nn x
µ σ µσπ σ
µ σ σ µ πσ
=
=
= − −
= − − − −
∑
∑
L
L
RóŜniczkujemy:
( ) ( )
( ) ( ) ( )
21 1
2 22 2
31 1
1 1ˆln , 0 ,
1 1ˆln , 0 .
n n
i i
i i
n n
i x i
i i
x x xn
nx S x x
n
µ σ µ µµ σ
µ σ µ σσ σ σ
= =
= =
∂= − = ⇒ = =
∂
∂= − + − = ⇒ = = −
∂
∑ ∑
∑ ∑
L
L
Otrzymaliśmy dobry estymator parametru µ i obciąŜony parametru σ 2 (na
mocy własności: estymator funkcji parametru to funkcja estymatora parametru,
„daszek” zapisaliśmy nad symbolem σ a nie nad symbolem σ 2).
R.J. Nowak 89
3.2 Największa wiarogodność - wiele parametrówDana jest próbka zmiennych losowych xi, i = 1,2,..., n, z rozkładu L(x;θθθθ )
o znanym kształcie matematycznym, lecz nieznanych wartościach parametrówθi, i = 1,2,..., m. Rozkład ten traktujemy jako funkcję L(θθθθ ) parametrów
i poszukujemy takich ich wartości, przy których funkcja ta ma maksimum:
( )ln 0, 1,2,..., .i
i mθ∂
= =∂
L θ
Własności uzyskanych na tej drodze estymatorów pozostają takie same, jak
w przypadku jednego parametru, z tym, Ŝe asymptotycznie funkcja
wiarogodności ma m-wymiarowy kształt gaussowski:
( ) ( ) ( )1
max
1 ˆ ˆexp ,2
− = − − −
TVL Lθ θ θ θ θ
a estymatory asymptotycznie podlegają m-wymiarowemu rozkładowi Gaussa:
( )( )
( ) ( )1
2
1 1ˆ ˆ ˆ; , exp .2
2 detn
π
− = − − −
TV V
VN θ θ θ θ θ θ
Estymator macierzy V kowariancji znajdujemy ze związku:
( )2
1
ˆ
ˆˆ , ln .ij
i j
Uθ θ
−
=
∂ = = − ∂ ∂V U L
θ θ
θ θ
R.J. Nowak 90
Interludium - wielowymiarowy rozkład i kształt Gaussa
( ) ( )1 2 1 2ˆ ˆ ˆˆ , , , , , , , .m mθ θ θ θ θ θ= =… …θ θgdzie:
a V to macierz kowariancji, której elementy mają postać:
ˆ ˆ ˆ ˆcov , , 1 1, 1.ij i j ij i j ij i j ij iiθ θ ρ θ θ ρ σ σ ρ ρ = = = − ≤ ≤ = V V V
( )( )
( ) ( )1
2
1 1ˆ ˆ ˆ; , exp ,22 det
n
π
− = − − −
TV V
VN θ θ θ θ θ θ
róŜnica wartości logarytmu liczba prawdopodobieństwo ograniczone konturem
funkcji wiarogodności dyspersji jeden parametr dwa parametry
0,5 1 68,3% 39,3%
2,0 2 94,5% 86,5%
4,5 3 99,7% 98,9%
Własności asymptotycznej funkcji wiarogodności dla dwóch parametrów,
wynikające z rozkładu Gaussa dla dwóch zmiennych (dla porównania podane sątakŜe własności asymptotycznej funkcji wiarogodności z jednym parametrem):
Wartość oczekiwana i wariancja indywidualnej zmiennej losowej:2ˆ ˆ, ,i i i iVθ θ θ σ = =
R.J. Nowak 91
3.2 Największa wiarogodność - bliźnięta (1)Bliźnięta monozygotyczne są tej samej płci i wyglądają „jak dwie krople
wody”, a dwuzygotyczne mogą być róŜnej płci i nie róŜnią się niczym od
dzieci urodzonych z dwóch róŜnych ciąŜ. Wprowadźmy oznaczenia:
p - prawdopodobieństwo urodzenia chłopca,
q - prawdopodobieństwo ciąŜy monozygotycznej.
Zdefiniujmy prawdopodobieństwa:
PCC - urodzenia się dwóch chłopców,
PCD - urodzenia się bliźniaków o mieszanej płci,
PDD - urodzenia się dwóch dziewczynek:
( ) ( )( )( )( )
( ) ( ) ( ) ( ) ( )( )( )
2
2
1 1 ,
2 1 1 ,
1 1 1 1 1 1 .
CC
CD
DD
P pq p q p q p q
P p p q
P p q p q p q p q
= + − = + −
= − −
= − + − − = − + − −
Zdefiniujmy teŜ liczebności róŜnych par bliźniaczych:
c = 321: liczba par chłopców bliźniaków,
m = 317: liczba par bliźniaków o mieszanej płci,
d = 328: liczba par dziewczynek bliźniaczek.
P. Lichtenstein i P. Annas, Heritability and
Prevalence of Specific Fears and Phobias in
Childhood, Journal of Child Psychology and
Psychiatry, 41 (7) (2000), 927-937
R.J. Nowak 92
3.2 Największa wiarogodność - bliźnięta (2)Funkcja wiarogodności:
( )
( )( )( ) ( )( )( ) ( ) ( )( )( )( )( )( ) ( ) ( ) ( )( )( )
,
1 2 1 1 1 1 1
2 1 1 1 1 1 ,
c m d
CC CD DD
c dm
c dm d mm c m
p q P P P
p q p q p p q p q p q
p q p q p q q p q++
=
= + − − − − + − −
= + − − − + − −
L
( )( ) ( )( ) ( ) ( ) ( ) ( )( )( )ln ,
ln ln 1 ln 1 ln 1 ln 1 1
p q
c m p c q p q m d p m q d q p q
=
+ + + − + + − + − + + − −
L
( ) ( )( )
( )( )( )
( ) ( )( ) ( )( )
1 1ln , 0,
1 1 1 1
1ln , 0,
1 1 1 1
c q d qc m m dp q
p p q p q p q p q
c p m dpp q
q q p q q q p q
− −∂ + += + − − =
∂ + − − + − −
−∂= − + =
∂ + − − + − −
L
L
jej logarytm:
i równania wyznaczające ekstremum:
których nie moŜna rozwiązać analitycznie, więc musimy się uciec do metod
numerycznych, z których otrzymujemy:
ˆ 0,496 0,013ˆ 0,0021.
ˆ 0,344 0,030pq
p
qρ
= ±=
= ±
R.J. Nowak 93
3.2 Największa wiarogodność - bliźnięta (3)
0,46 0,48 0,50 0,52
0,25
0,30
0,35
0,40
prawdopodobieństwo p urodzenia chłopca
pra
wdop
od
ob
ieńs
two q
bliźn
iąt
mon
ozy
goty
czny
ch
Poziomice funkcji wiarogodności - bliźnięta
R.J. Nowak 94
3.2 Największa wiarogodność - grupy krwi (1)Grupa krwi zdeterminowana jest przez allele A lub B lub ich brak czyli 0. Krew
• grupy A mamy, gdy od rodziców otrzymamy allele A i A lub A i 0,
• grupy B mamy, gdy od rodziców otrzymamy allele B i B lub B i 0,
• grupy AB mamy, gdy od rodziców otrzymamy allele A i B oraz
• grupy 0 mamy, gdy od rodziców otrzymamy 0 i 0.
Wprowadźmy oznaczenia:
p: prawdopodobieństwo występowania allela A,
q: prawdopodobieństwo występowania allela B,
r = 1 – p – q: prawdopodobieństwo braku obu alleli.
Wyznaczmy prawdopodobieństwa występowania poszczególnych grup krwi:
2 2 2
02 , 2 , 2 , ,A B ABP p pr P q qr P pq P r= + = + = =
oraz wprowadźmy liczebności grup osób o róŜnych grupach krwi:
a = 182: liczba osób z grupą krwi A,
b = 60: liczba osób z grupą krwi B,
c = 17: liczba osób z grupą krwi AB,
z = 176: liczba osób z grupą krwi 0.
C.R. Rao, Modele liniowe statystyki matematycznej,
PWN, Warszawa, 1982, s. 382
R.J. Nowak 95
3.2 Największa wiarogodność - grupy krwi (2)Funkcja wiarogodności:
( ) ( ) ( ) ( )
( )( ) ( )( ) ( )
2 2 2
0
2
, 2 2 2
2 2 1 2 1 1 ,
a b ca b c z z
A B AB
a b zc a c b c
p q P P P P p pr q qr pq r
p q p p q q p q p q+ +
= = + +
= + − − + − − − −
L
jej logarytm:
( )( ) ( ) ( )( ) ( )( ) ( )ln ,
ln ln ln 2 1 ln 2 1 2 ln 1
p q
a c p b c q a p p q b q p q z p q
=
+ + + + + − − + + − − + − −
L
i równania na ekstremum:
( )( ) ( )
( )( ) ( )
2 2ln , 0,
2 1 2 1 1
2 2ln , 0,
2 1 2 1 1
a c a b zp q
p p p p q q p q p q
b c a b zp q
q q p p q q p q p q
∂ += − − − =
∂ + − − + − − − −
∂ += − − − =
∂ + − − + − − − −
L
L
których nie moŜna rozwiązać analitycznie, więc musimy się uciec do metod
numerycznych, z których otrzymujemy:
ˆ 0,264 0,016ˆ 0,17.
ˆ 0,093 0,010pq
p
qρ
= ±= −
= ±
R.J. Nowak 96
3.2 Największa wiarogodność - grupy krwi (3)
0,22 0,24 0,26 0,28 0,30 0,32
0,06
0,07
0,08
0,09
0,10
0,11
0,12
prawdopodobieństwo p allela A
pra
wdop
od
ob
ieńs
two q
all
ela
B
Poziomice funkcji wiarogodności - allele A i B grup krwi
R.J. Nowak 97
( )ln 0, 1,2,..., .i
i mθ∂
= =∂
L θ
a otrzymasz estymatory tych parametrów.
• Estymator macierzy V kowariancji estymatorów wyznacz ze związku:
( )2
1
ˆ
ˆˆ , ln .ij
i j
Uθ θ
−
=
∂ = = − ∂ ∂V U L
θ θ
θ θ
• Uzupełnij swoje obliczenia graficzną prezentacją, w stosownej formie,
logarytmu funkcji wiarogodności
3.2 Największa wiarogodność - podsumowanie• Ustal łączny rozkład L(x;θθθθ ) prawdopodobieństwa dla Twojej próbki xi,
i = 1, 2, ..., n, danych - w metodzie największej wiarogodności postać tego
rozkładu jest dana a priori, jedynie parametry θi, i = 1, 2, ..., m, są nieznane.
• Potraktuj ten rozkład jako funkcję L(θθθθ ) parametrów θi przy zadanych
wartościach xi.
• RozwiąŜ równania wiarogodności względem nieznanych parametrów:
R.J. Nowak 98
3.3 Przedział ufności - wprowadzenieUbezpieczenie samochodu od trafienia piorunem - kwerenda archiwów
policyjnych, zapisów szpitalnych i gazet wykazała k = 3 takie przypadki na
przestrzeni roku. Zapewne bardzo dobrym modelem do opisu takiegozdarzenia będzie rozkład Poissona Pk(µ) z nieznaną wartością parametru µi jego oceną . Czy wartość np. µ = 5 lub µ = 0,5 jest akceptowalna?ˆ 3µ =
( )( )( )
( )( )( )
3 | 5 0,265, 3 | 1,00 0,082,
3 | 10 0,010, 3 | 0,44 0,010,
3 | 13 0,001, 3 | 0,20 0,001.
P k P k
P k P k
P k P k
µ µµ µ
µ µ
≤ = ≈ ≥ = ≈
≤ = ≈ ≥ = ≈
≤ = ≈ ≥ = ≈
Jeśli wybierzemy wartość µ = 13, prawdopodobieństwo 0,001 obserwacji
3 lub mniej przypadków wydaje się być bardzo małe, więc nie powinniśmy
ufać moŜliwości, Ŝe µ ≥ 13. Podobnie, jeśli parametr µ = 0,2, to
prawdopodobieństwo obserwacji 3 lub więcej przypadków jest takŜe małe,
więc winniśmy podejść z ostroŜnością do mniemania, Ŝe parametr ma taką lub
nawet jeszcze mniejszą wartość. Jeśli przyjmiemy, Ŝe prawdopodobieństwa
P(k ≤ 3|µ = 10) i P(k ≥ 3|µ = 0,44) są dostatecznie wysokie dla naszej
kondycji psychicznej, to powiemy, Ŝe znaleźliśmy przedział ufnościµ ∈ [0,44;10] na poziomie ufności 1 − α = 1 − 0,01 − 0,01 = 0,98.
R.J. Nowak 99
3.3 Przedział ufności - wprowadzenie
0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0 1 2 3 4 5 6 7 8 9 10 11 12parametr µ
pra
wdo
pod
obieńs
two
P (k ≤ 3|µ )
P (k ≥ 3|µ )
R.J. Nowak 100
3.3 Przedział ufności - konstrukcja NeymanaStatystyka x o rozkładzie L(x;θ), ustalona wartość θ i zadane dwa rzędy
β = P(x ≤ xβ|θ) i γ = P(x ≤ xγ|θ) kwantyli, takie Ŝe 0 < β < γ < 1, a takŜe liczba
α spełniająca warunek: γ – β = 1 – α.
x
1 − α
1 − α
1 − α
1 − α
1 − α
θ
β = P(x ≤ xβ|θ )
γ = P(x ≤ xγ|θ )
R.J. Nowak 101
3.3 Przedział ufności - konstrukcja NeymanaObserwacja: x0. Rozwiązania równań:
( ) ( )0 0| , |P x x P x xθ β θ γ≤ = ≤ =
wyznaczają przedział ufności [θθθθmin ≤≤≤≤ θθθθ ≤≤≤≤ θθθθmax] na poziomie ufności 1 – αααα..
x
θ β = P(x ≤ xβ|θ )
γ = P(x ≤ xγ|θ )
x0
θmin
θmax
R.J. Nowak 102
3.3 Przedział ufności - rozkład wykładniczyPRZYKŁAD: rozkład wykładniczy; obserwacja t = t0:
( )( )
0
00 max
0
1| exp
ln 1
tt t
P t t dtτ β ττ τ β
≤ = − = ⇒ = − − ∫oraz
( )( )
0
00 min
0
1| exp
ln 1
tt t
P t t dtτ γ ττ τ γ
≤ = − = ⇒ = − − ∫
t β t γt 0
t
t max
t min
R.J. Nowak 103
3.3 Przedział ufności - centralny przedział ufnościIm większa jest wartość 1 – α, tym przedział ufności jest dłuŜszy. PoniewaŜchcemy z duŜą ufnością twierdzić, Ŝe prawdziwa wartość parametru znajduje
się we wnętrzu tego przedziału, wartość 1 – α wybieramy bliską jedności.
Typowe wartości 1 – α to 0,9, 0,95, 0,99 lub 0,997, a czasami nawet 1 – 10–7.
Ustalenie wartości parametru α pozostawia swobodę w wyborze
prawdopodobieństw β oraz γ związanych relacją γ – β = 1 – α. Najczęściej
stosowaną konwencją jest konwencja centralnego przedziału ufności:
, 1 .2 2
α αβ γ= = −
Inne, rzadziej spotykane konwencje, to konwencja przedziału:
• najkrótszego geometrycznie:
( ) ( )( ) ( )
( )1
0 max 0
max min1
0 min 0
| 1 |1 ,min ,
| | ,
P x x P x
P x x P x β
θ α β θ α βθ θ
θ β θ β
−
−
≤ = − − ⇒ = − +⇒ −
≤ = ⇒ = • symetrycznego:
min maxˆ ˆ ˆ, gdzie to estymator parametru ,θ θ θ θ θ θ− = −
( ) ( ) ( )1
1; ; , przy warunku: ; 1 .
x
x
L x L x L x dx
α β
β
β α βθ θ θ α− +
− += = −∫
• równej gęstości (L(x;θ ) to gęstość statystyki x uŜytej do wyznaczenia
parametru):
R.J. Nowak 104
3.3 Przedział ufności - parametr µµµµ rozkładu GaussaPRZYKŁAD: rozkład Gaussa, znana wartość parametru σ, poszukiwany
przedział ufności parametru µ. Konstruujemy pasmo ufności:
( ) ( ) ( )2; ,
x z
xx dx z z dz z x z
β β
β β βµ
β µ σ µ σσ−∞ −∞
−= = = = = Φ ⇒ = −∫ ∫N N
oraz
( ) ( ) ( )2; ,
x z
xx dx z z dz z x z
γ γ
γ γ γµ
γ µ σ µ σσ−∞ −∞
−= = = = = Φ ⇒ = −∫ ∫N N
µ = xβ − zβσ
µ = xγ − zγσ
x
x = x0
µmin
µ
µmax
R.J. Nowak 105
PRZYKŁAD: znana wartość parametru σ, poszukiwany przedział ufnościparametru µ; obserwacja próbki prostej xi ⇒x o rozkładzie N(x;µ,σ 2/n):
( ) ( ) ( )
( ) ( ) ( )
2
1 1
max
; ,
x zn x
x dx z z dx zn
n xz x x z
n nβ
µσβ µ
σ
µ σ σβ µ β
σ
−∞ −∞
− −
− = = = = = Φ
−⇒ = = Φ ⇒ = − Φ = −
∫ ∫N N
oraz:
Centralny przedział ufności:
2 1 2 22 1, 0.zx z x zn n
zα α α α
σ σµ − −
− ≤ ≤ − = − <
( ) ( ) ( )
( ) ( ) ( )
2
1 1
max
; ,
.
x zn x
x dx z z dx zn
n xz x x z
n nγ
µσγ µ
σ
µ σ σγ µ γ
σ
−∞ −∞
− −
− = = = = = Φ
−⇒ = = Φ ⇒ = − Φ = −
∫ ∫N N
Kwantyle rozkładu Gaussa dla kilku poziomów ufności 1 – α:
3.3 Przedzial ufnosci - parametr µµµµ rozkladu Gaussa
1 − α 0,900 0,945 0,950 0,990 0,997 0,999
z 1 − α /2 1,645 1,919 1,960 2,576 2,968 3,290
R.J. Nowak 106
3.3 Przedział ufności - parametr σσσσ rozkladu GaussaPRZYKŁAD: próbka prosta xi, i = 1, 2, ..., n, z rozkładu Gaussa;
poszukiwana wartość parametru σ ; obserwacja: łączny rozkład zmiennych xi:
( )( )
( )22
21
1 1; , exp
22
n
in
i
L xµ σ µσπ σ =
= − −
∑x
Spójrzmy na sumę w wykładniku
Widzimy, Ŝe rozkład faktoryzuje się na iloczyn rozkładów statystycznie
niezaleŜnych zmiennych: średniej i S 2. Wiemy, Ŝe zmienna u = nS 2/s 2 ma
rozkład χ 2 o liczbie n – 1 stopni swobody:
gdzie un – 1;α/2 oraz un - 1;1 - α/2 to kwantyle rozkładu χ 2 o n – 1 stopniach swobody.
( ) ( )( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( )
22 2 2
1 1 1 1
2 2 2 22 2
1 1
2
1, .
n n n n
i i i i
i i i i
n n
i i
i i
x x x x x x x x x n x
x x n x nS n x S x xn
µ µ µ µ
µ µ
= = = =
= =
− = − + − = − + − − + −
= − + − = + − = −
∑ ∑ ∑ ∑
∑ ∑
( )
( )
22
max
1;
2
1 1; 2
0
2
1 1;
2
22
min
1;10 2
2
,
,
u
n n
u
n
n
n
n
Su du u n
Su du u
Sn
un
Sn
u
β
γ
β
αγ
α
βσ
γ
σ
σσ
− −
−
−
− −−
= ⇒ = ⇒
=
=
⇒ = ⇒ =
∫
∫
X
X
R.J. Nowak 107
Interludium - rozkład StudentaStatystyka Studenta:
,
x
tu
n
µσ−
=
gdzie zmienna x opisana jest rozkładem Gaussa N(x;µ,σ 2),
a statystycznie niezaleŜna od niej zmienna u rozkłademXn(u) o n stopniach swobody. Zmienna t ma tzw. rozkładStudenta Sn(t) o liczbie n stopni swobody:
0
0,1
0,2
0,3
0,4
-3 -2 -1 0 1 2 3zmienna t
n = 10n = 2
n = 1
rozkład Gaussa
( )( )( )
( )
( )1 121 22
,12
11 1,2,..., .
n
n
n tt n t
nn nπ
− +Γ +
= + = − ∞ < < ∞ Γ S
R.J. Nowak 108
( ) 2
2
1
1
x x
n
n s
x
tx
s
n
σ
σ
µ
µ−
=
−
−
−
=
ma rozkład Studenta o n – 1 stopniach swobody. Centralny przedział ufności:
MODEL: próbka prosta xi, i = 1, 2, ..., n, z rozkładu Gaussa o nieznanych
wartościach µ i σ ; poszukujemy przedziału parametru µ; statystyka t
3.3 Przedział ufności - parametr µµµµ rozkładu Gaussa
1;1 21; 2 1;1 2 1; 2, ,n x n x n nx t s x t s t tαα ααµ− − − − − −= − ≤ −≤ − gdzie tn – 1;α/2 oraz tn – 1;1 – α/2 to kwantyle rzędu α/2 i 1 – α/2 rozkładu Studenta
o n – 1 stopniach swobody.
t n ;1 − α /2 1 − α = 0,9 1 − α = 0,95 1 − α = 0,99 1 − α = 0,999
n = 1 6,314 12,706 63,656 636,578
n = 5 2,015 2,571 4,032 6,869
n = 10 1,812 2,228 3,169 4,587
n = 20 1,725 2,086 2,845 3,850
n = 30 1,697 2,042 2,750 3,646
n = ∞ 1,645 1,960 2,576 3,290
R.J. Nowak 109
3.3 Przedział ufności - losowy charakterKrańce θmin(x0) i θmax(x0) przedziałów ufności są zadane przez wartość x0
uzyskaną z pomiaru, wiec są one zmiennymi losowymi – dla róŜnych wyników
przedziały będą róŜne i powinniśmy się liczyć z tym, Ŝe niektóre z przedziałów
nie będą zwierały prawdziwej wartości θ0 parametru. Ile wynosi
prawdopodobieństwo, Ŝe dolny kraniec θmin będzie mniejszy od wartości
prawdziwej i jednocześnie górny kraniec θmax będzie od niej większy?
Z konstrukcji przedziału ufności prawdopodobieństwo to wynosi 1 – α, więcw takim ułamku przypadków prawdziwa wartość parametru znajdzie się we
wnętrzu przedziału. Dokładnie z tego powodu przedziały ufności nazywamy
losowymi, a konwencjonalny zapis:
( ) ( )( )min 0 max 0 1P x x xθ θ α≤ ≤ = −
( )min 0 max 1 ,P θ θ θ α≤ ≤ = −błędnie sugerujący losowy charakter parametru θ0 nalezy rozumiec jako:
i oznacza, Ŝe:
przedział [θθθθmin, θθθθmax] zawiera prawdziwą wartość θθθθ0 parametruz prawdopodobieństwem 1 – αααα , a nie:
1 – αααα określa prawdopodobieństwo znalezienia prawdziwej wartości θθθθ 0
w przedziale [θθθθmin, θθθθmax].
R.J. Nowak 110
Autor dysponuje wynikami Ti, i = 1, 2, ..., 216, pomiarów okresu drgańwahadła, o którym z dobrym przybliŜeniem moŜna powiedzie, Ŝe jest
matematyczne. Przy załoŜeniu adekwatności tego modelu, z wartości okresu T
oraz długości L wahadła moŜna wyznaczyć przyspieszenie ziemskie
2
24 ,
Lg
Tπ=
o którym wiemy, Ŝe w Warszawie wynosi ono 9,81 m/s2. Sprawdźmy, na ile
zadany poziom ufności 1 – α zgadza się z częstością, z jaką przedział zawiera
znaną wartość g. Aby tego dokonać, musimy znać probabilistyczny model
pomiaru. Zazwyczaj dobrym modelem opisującym takie pomiary jest rozkład
Gaussa. Sprawdzenie tego załoŜenia wymaga przeprowadzenia statystycznego
testu zgodności, my jednak odwołamy się do weryfikacji wizualnej
i wykorzystamy wykres kwantyli.
3.3 Przedział ufności - losowy charakter
R.J. Nowak 111
3.3 Przedział ufności - losowy charakter
g = 0,1622q + 9,8023
9,2
9,4
9,6
9,8
10,0
10,2
10,4
-3 -2 -1 0 1 2 3
kwantyl q normalny
prz
ysp
iesz
enie
[m
/s2]
Wykres kwantyli wyników pomiaru przyspieszenia ziemskiego
Dane własne
R.J. Nowak 112
Przedziały ufności przyspieszenia ziemskiego, 1 − α = 0,68
9,2
9,6
10,0
10,4
0 50 100 150 200numer pomiaru
prz
ysp
iesz
en
ie [
m/s
2]
3.3 Przedział ufności - losowy charakter
Wśród 216 pomiarów znajdują się 73 takie, których przedział ufności nie objąłznanej wartości przyspieszenia ukazanego czerwoną linią. Daje to ocenę73/216 ≈ 0,34 ± 0,03 parametru α = 0,32.
R.J. Nowak 113
4.1 Testy hipotez - wprowadzenieZadanie polega na wyznaczeniu koloru jednej ukrytej w urnie kuli, o której
wiemy, Ŝe jest ona białego lub czarnego koloru. Wydobycie kuli z urny
rozstrzygnęłoby o kolorze kuli, jednak taki „pomiar” odpowiadałby
nierealistycznemu pomiarowi, np. długości stołu, w wyniku którego zawsze
otrzymujemy prawdziwą wartość tej długości. Aby upozorować warunki
charakteryzujące kaŜdy pomiar, do urny dodajemy dwie kule: jedną białąi jedną czarną, których zadaniem jest wprowadzenie błędów statystycznych
w indywidualnym ”pomiarze” koloru. Pomiar polega na losowaniu, ze
zwracaniem, jednej kuli z urny, a wykorzystując wyniki losowania chcemy
rozstrzygnąć o pierwotnej zawartości urny. Wprowadźmy oznaczenia:
• B - zdanie: pierwotnie w urnie była biała kula,
• C - zdanie: pierwotnie w urnie była czarna kula,
• bi - zdarzenie losowe: w i-tym losowaniu z urny wydobyto białą kulę,• ci - zdarzenie losowe: w i-tym losowaniu z urny wydobyto czarną kulę.
Przypuśćmy, Ŝe w wyniki losowania wydobyliśmy białą kulę. Co moŜemy
powiedzieć o pierwotnej zawartości urny? Czy moŜemy wypowiedzieć zdanie
typu: P(B) = 1/2? A jeśli powtórzymy losowanie i ponownie wydobędziemy
białą kulę, to co będziemy mogli powiedzieć o P(B)?
R.J. Nowak 114
4.1 Testy hipotez - wprowadzeniePotrafimy obliczać prawdopodobieństwa zdarzeń losowych, a hipotezy B i C
nie są zdarzeniami losowymi – pierwotnie urna zawierała kulę o ustalonym,
acz nieznanym, kolorze i w kaŜdym losowaniu kolor był ten sam, tak jak
mierzony przez nas stół ma pewną nieznaną prawdziwą długość i w kaŜdym
pomiarze długość ta jest taka sama. To co jest przypadkowe w naszym
eksperymencie, to kolor wydobytej kuli, a nie kolor pierwotnej kuli w urnie.
W klasycznej statystyce matematycznej mamy obiekty, które zmieniają się od
pomiaru do pomiaru, tzw. zmienne losowe, oraz wielkości stałe: wartościprawdziwe (np. wartości wielkości fizycznych, ...). W naszym eksperymencie
jedyne, co moŜemy obliczyć, to prawdopodobieństwa warunkowe P(⋅⋅⋅|B)
i P(⋅⋅⋅|C) sekwencji kolorów wydobytych kul przy załoŜeniu, Ŝe w urnie była
pierwotnie kula biała lub czarna, np.
P(b1|B) = 2/3 lub P(b1|C) = 1/3 po pierwszym losowaniu lub
P(b2b1|B) = 4/9, P(b2b1|C) = 1/9 po drugim losowaniu,
które nazywamy wiarogodnościami hipotez B i C. Obserwując bb jako wynik
dwóch kolejnych losowań, moŜemy powiedzieć, Ŝe hipoteza B jest 4 razy
bardziej wiarogodna niŜ hipoteza C, co nie oznacza, Ŝe jest 4 razy bardziej
prawdopodobna.
R.J. Nowak 115
4.1 Testy hipotez - wprowadzenieJeśli w urnie pierwotnie była biała kula, to w dowolnym losowaniu
prawdopodobieństwo p jej wylosowania wynosi 2/3, a jeśli była to kula czarna,
to prawdopodobieństwo q wydobycia białej kuli wynosi 1/3. Jeśli w ciągu n
losowań wydobędziemy k białych kul, to prawdopodobieństwo takiegozdarzenia rządzone jest rozkładem dwumianowym Bk(n,p) lub Bk(n,q)
w zaleŜności od tego, jaką kulę zawierała pierwotnie urna.
Kryterium decyzyjne – jeśli w n = 20 losowaniach liczba k ≥ n/2 = 10 = kkrt,
to przyjmujemy hipotezę B, w przeciwnym razie hipotezę C. Na jakie ryzyko
wystawiamy się?
Decyzja Prawdziwa hipoteza H0(B) Prawdziwa hipoteza H1(C)
Przyjąć B(k ≥ kkrt)
( )
( )
| 1
, 0,962krt
krt
n
k
k k
P k k B
n p
α
=
≥ = −
= ≈∑ B
( )
( )
|
, 0,092,krt
krt
n
k
k k
P k k C
n q
β
=
≥ =
= ≈∑ B
błąd drugiego rodzajuPrzyjąć C(k < kkrt)
α ≈ 0,038,
błąd pierwszego rodzaju1 – β ≈ 0,908,
moc testu
Dobry test to test, w którym prawdopodobieństwo ββββ jest male!!!
R.J. Nowak 116
0,00
0,05
0,10
0,15
0,20
0 2 4 6 8 10 12 14 16 18 20
pra
wd
op
od
ob
ieńs
two
0,00
0,05
0,10
0,15
0,20
0 2 4 6 8 10 12 14 16 18 20
liczba k wylosowanych białych kul
pra
wd
op
od
ob
ieńs
two
α
β
biała kula w urnie,
p = 2/3
czarna kula w urnie,
p = 1/3
4.1 Testy hipotez - wprowadzenie
R.J. Nowak 117
4. Testy hipotez - nomenklatura (1)• Hipoteza zerowa H0 - testowana hipoteza.
• Hipoteza alternatywna H1 - kontrhipoteza.
• Statystyka testowa - zmienna losowa słuŜąca podejmowaniu decyzji.
• Błąd pierwszego rodzaju - odrzucenie hipotezy zerowej, gdy jest
prawdziwa (kula w urnie była biała i taką hipotezę postawiliśmy, lecz jąodrzuciliśmy - karygodna poraŜka).
• Prawdopodobieństwo αααα błędu pierwszego rodzaju a takŜe poziomistotności testu lub rozmiar testu - prawdopodobieństwo odrzucenia
hipotezy zerowej, gdy jest ona prawdziwa.
• Błąd drugiego rodzaju - przyjęcie hipotezy zerowej, gdy jest ona fałszywa
(kula w urnie była czarna, postawiliśmy hipotezę zerową o białej kuli i jąprzyjęliśmy - kompromitacja).
• Prawdopodobieństwo ββββ błędu drugiego rodzaju - prawdopodobieństwo
zaakceptowania hipotezy zerowej, gdy jest ona fałszywa.
• Wartość krytyczna - wartość statystyki testowej wyznaczona poziomem
istotności α.
• Obszar krytyczny, obszar wykluczania - zestaw wartości statystyki
testowej, których otrzymanie oznacza odrzucenie hipotezy zerowej.
R.J. Nowak 118
4. Testy hipotez - nomenklatura (2)Dlaczego błąd „pierwszego” i „drugiego” rodzaju? Konwencjonalnie, błądpierwszego rodzaju, to błąd, popełnienie którego prowadzi do znacznie
powaŜniejszych konsekwencji, niŜ popełnienie błędu drugiego rodzaju.
Dlatego za hipotezę zerową naleŜy przyjmować taką, która będąc prawdziwą,odrzucona przywiedzie do skutków znacznie bardziej waŜkich niŜ gdybyśmy
zaakceptowali fałszywa hipotezę.PRZYKŁAD: nowy, proponowany lek moŜe mieć, zamiast poŜądanych
następstw, fatalne skutki, dlatego hipoteza zerowa powinna orzekać, Ŝe jest on
szkodliwy, a od tego mniemania powinniśmy odstąpić dopiero wtedy, jeślinazbieramy solidnych dowodów, Ŝe tak nie jest. W ten sposób unikniemy
fatalnej pomyłki - błędu pierwszego rodzaju - o dobrej jakości leku, mimo jego
szkodliwości, która to decyzja mogłaby być znacznie bardziej bolesna, niŜgdybyśmy dobry lek uznali za szkodliwy.
Gdy wybory nie są tak dramatyczne, zazwyczaj hipoteza zerowa
sankcjonuje zastany porządek rzeczy, a hipoteza alternatywna to rodzaj
pomysłu rewolucjonizującego nasze kanony. Sytuacja jest tu analogiczna do tej
z sali sadowej: dopóki nie mam Ŝelaznych dowodów, nie odstępujemy od
utartych poglądów.
R.J. Nowak 119
4.2 Testy hipotez - poziom istotnościKaŜdy test to hazard!!! O jego skali decyduje wartość poziom α istotności
testu, który na długą metę i w warunkach prawdziwości hipotezy zerowej
decyduje o ułamku błędnych decyzji. I tak, wybierając wartość α = 0,05,
godzimy się z faktem, Ŝe na kaŜde 20 decyzji jedna będzie niepoprawna, co
moŜe być spowodowane tylko i wyłącznie kaprysem Natury, która z powodów
losowych raczyła obdarzyć nas danymi, w naszym mniemaniu, nadto
odbiegającymi od typowych wartości i, w konsekwencji, uznaliśmy to za
wskaźnik czegoś nowego.
Chroniąc się przed moŜliwością odrzucenia prawdziwej hipotezy,
poziom α wybieramy małym: 0,05 lub 0,01, przy czym wartości większe
wybierze badacz o postawie „ryzyk-fizyk”, a mniejsze „dmuchający na zimne”.
Konsekwencją takiego podejścia moŜe być znaczące prawdopodobieństwo βzaakceptowania testowanej hipotezy nawet wtedy, gdy jest ona fałszywą.Musimy bowiem pamiętać o zaleŜności między wartościami α i β. Jeślihipoteza alternatywna jest wyspecyfikowana, to prawdopodobieństwo β jest
zdefiniowane przez poziom istotności testu: przy zadanej statystyce testowej
wartość α wyznacza jej wartość krytyczną, a rozkład tej statystyki przy
załoŜeniu słuszności hipotezy alternatywnej wyznacza wartość β.
R.J. Nowak 120
4.3 Testy hipotez - test istotnościAnaliza testu parametru sformułowanego w postaci dyskretnej alternatywy ma
walor dydaktyczny – słuŜy wprowadzeniu i wyjaśnieniu pojęć. W typowym
teście sprawdzającym wartości parametru pytamy czy przyjmuje on zadanąwartość i zazwyczaj nie mamy zbyt rozbudowanej opinii co do jego
alternatywnej wartości. Jeśli np. sprawdzamy rzetelność monety, to chcemy
wiedzieć czy prawdopodobieństwo p uzyskania “orła” wynosi 0,5 i nie mamy
upatrzonej Ŝadnej alternatywnej wartości tego parametru, więc nasza hipoteza
alternatywna to po prostu p ≠ 0,5. Spotykamy takŜe testy, w których jesteśmy
zainteresowani jedynie porównaniem wartości parametrów, np. sprawdzeniem,
czy są sobie równe i nie specyfikujemy ich konkretnej wartości, a wtedy
alternatywna hipoteza głosi, iŜ są one róŜne.
Test hipotezy parametrycznej bez wskazywania definitywnej,
alternatywnej wartości parametru nazywamy testem istotności.Prowadząc test istotności, nie potrafimy podać rozkładu statystyki
testowej przy załoŜeniu słuszności hipotezy alternatywnej, więc pozbawiamy
się moŜliwości oceny ryzyka β błędu drugiego rodzaju. Prowadzi to do braku
moŜliwości pozytywnego zweryfikowania hipotezy: moŜemy jedynie jąodrzucić lub stwierdzić, Ŝe nie jest sprzeczna z danymi.
R.J. Nowak 121
4.4 Testy hipotez - wartość p testuWróćmy do przykładu z losowaniem kul z urny. Przypuśćmy, Ŝe w wyniku
losowania w n próbach otrzymaliśmy k0 białych kul. Obliczmy
prawdopodobieństwo
uzyskania wyniku takiego jak nasz, bądź jeszcze bardzie niesprzyjającego
hipotezie H0(B) o pierwotnej zawartości urny. Im wartość p jest mniejsza, tym
mniej wiarogodną jest hipoteza H0(B).
Ogólnie, wartość p testu definiujemy jako prawdopodobieństwo, Ŝestatystyka testowa przyjmie obserwowaną lub teŜ bardziej niekorzystną dla
hipotezy zerowej wartość.Najczęściej popełnianym błędem jest interpretowanie wartości p testu
jako prawdopodobieństwa hipotezy zerowej. PoniewaŜ hipoteza zerowa odnosi
się do wartości parametru, który nie jest zmienną losową, więc wartości p testu
nie moŜe być traktowana jako prawdopodobieństwo takiej czy innej wartości
tego parametru, a więc i hipotezy - wartość p testu wypowiada się tylko
i wyłącznie na temat statystyki testowej.
Wartość p testu jest „rozwinięciem” poziomu istotności α - dostarcza
więcej informacji, niŜ fakt, Ŝe hipoteza została przyjęta bądź odrzucona.
( ) ( )0
20 3
0
,k
k
k
p P k k B n p=
= ≤ = =∑
4.5 Testy hipotez - statystyka ilorazu wiarogodnościMODEL: próbka x o znanym łącznym rozkładzie L(x;θθθθ;ϕϕϕϕ ), w którym
parametr θθθθ = (θ1,θ2,...,θm) podlega testowi, a parametr ϕϕϕϕ = (ϕ1,ϕ2,...,ϕk) ma
niewyspecyfikowane wartości i nie jest obiektem testu, przez co utrudnia nam
nasze zadanie, dlatego nazywany jest parametrem zakłócającym.
Statystyka ilorazu wiarogodności ma postać:
( )( )( )0
0
ˆ ˆ, ;; ,
, ;λ =
L
L
xx
x
θ ϕθ ϕθ ϕθ ϕθθθθ
θ ϕθ ϕθ ϕθ ϕ
gdzie L oznacza funkcję wiarogodności, θθθθ0 to testowana wartość parametru,
wielkości to standardowe estymatory największej wiarogodności
parametrów θθθθ oraz ϕϕϕϕ, a estymator maksymalizuje funkcję wiarogodnościL(θθθθ0,ϕϕϕϕ ;x). W liczniku występuje wielkość zbierająca niczym nie ograniczoną
informację na temat parametrów θθθθ oraz ϕϕϕϕ, a mianownik to wielkość sumująca
wiedzę związaną weryfikowaną hipotezą zerową. Wielkość λ jest większa od
jedności i im jest ona większa, tym bardziej dane nie zgadzają się z hipoteząθθθθ = θθθθ0. Otrzymując z doświadczenia punkt x0, hipotezę tę winniśmy odrzucić,jeśli punkt ten znajdzie się w obszarze wyznaczonym warunkiem λ (x) ≥ λkrt,
gdzie λkrt jest wartością krytyczną statystyki λ.
ˆ ˆ,θ ϕθ ϕθ ϕθ ϕϕϕϕϕ
R.J. Nowak 122
4.6 Test parametru µµµµ rozkładu Gaussa
R.J. Nowak 123
TEST STUDENTA DLA JEDNEJ PRÓBKI: próbka prosta xi, i = 1, 2, ..., n,z rozkładu N(x;µ,σ 2), w którym parametr µ jak i σ są nieznane. Hipoteza
zerowa: H0(µ = µ0), a hipoteza alternatywna: H1(µ ≠ µ0), poziom istotnosci: α.
Bezwarunkowa maksymalizacja funkcji wiarogodnosci prowadzi do
( )22 2
1
1, ,ˆ ˆ
n
x i
i
x S x xn
µ σ=
= = = −∑a warunkowa, z warunkiem µ = µ0 narzuconym przez hipotezę zerową, daje:
( ) ( ) ( )2 2 22
0 0
1 1
1 1.
n n
i i
i i
x x x xn n
σ µ µ= =
= − = − + −∑ ∑
Statystyka ilorazu wiarogodności:
( )( ) ( )
( )
( )( )
22 220 22 2
010 2
2
1
; 1 11 1ˆ
nn
n nn i
i
n
xi
i
x x n xn x t
n s nx x
µµσ
λ µσ
=
=
− + − − = = = + = + − − −
∑
∑
x
jest wyraŜona przez statystykę Studenta dla średniej arytmetycznej :
0 .x
xt
s
µ−=
o n − 1 stopniach swobody.
4.6 Test parametru µµµµ rozkładu Gaussa
R.J. Nowak 124
Wyznaczyliśmy statystykę testową λ ilorazu wiarogodności przez statystykęStudenta, której rozkład znamy. Gdy jej wartość bezwzględna jest większa niŜustalona poziomem istotności α wartość krytyczna tkrt zdefiniowanąkwantylem tn – 1;1 – α/2 rzędu 1 – α/2 rozkładu Studenta o liczbie n – 1 stopni
swobody, hipotezę zerowa odrzucamy, a gdy jej wartość zawarta jest między
kwantylami tn – 1;α/2 oraz tn – 1;1 – α/2 , nie widząc sprzeczności z danymi,
zgadzamy się z nią. Tak zbudowany test nazywamy testem Studenta dlajednej próbki.
Gdy hipoteza alternatywna ma charakter jednostronny: H1(µ < µ0) lub
H1(µ > µ0), to obszar krytyczny wyznaczony jest warunkami:
( ) ( )1;1 1 0 1; 1 0gdy lub teŜ gdy ,n nt t H t t Hα αµ µ µ µ− − −> < < >gdzie tn – 1;α oraz tn – 1;1 – α to kwantyle rzędu α oraz 1 – α rozkładu Studenta
o liczbie n – 1 stopni swobody,
tn−1;1−α/2tn−1;α/2
t tt
Sn−1(t)
tn−1;αtn−1;1−α
H1(µ < µ0)Sn−1(t) Sn−1(t)H1(µ ≠ µ0)H1(µ > µ0)
4.7 Test parametru σσσσ rozkładu Gaussa
R.J. Nowak 125
TEST: próbka prosta xi, i = 1, 2, ..., n, z rozkładu N(x;µ,σ 2), w którym
parametr µ jak i σ są nieznane. Hipoteza zerowa: H0(σ = σ0), a hipoteza
alternatywna: H1(σ ≠ σ0), poziom istotnosci: α. Bezwarunkowa
maksymalizacja funkcji wiarogodnosci prowadzi do estymatorów:
( )22 2
1
1, ,ˆ ˆ
n
i
i
x S x xn
µ σ=
= = = −∑a warunkowa, z warunkiem narzuconym przez hipotezę zerową, daje: .xµ =
Statystyka ilorazu wiarogodności wynosi:
( ) ( )( )2 2 22 20 2
0 2 2 2
0 0
; exp 1 exp 1 , ,
n nnS n u nS
g u uS u n
σλ σ
σ σ = − = − = =
x
gdzie zmienna u, gdy słuszną jest hipoteza zerowa, podlega rozkładowi Xn-1(u)
z liczbą n – 1 stopni swobody.
Dygresja 4. W uproszczonym podejściu, test realizowany jest przez
wyznaczenie obszaru un – 1;α/2 < u < un – 1;1 – α/2 ograniczonego dwoma
kwantylami: rzędu α/2 i 1 – α/2 rozkładu χ 2 z liczbą n − 1 stopni swobody
i sprawdzenie, czy obserwowana wartość statystyki u mieści się w tym
obszarze. Jeśli tak, hipoteza H0(σ = σ0) jest akceptowana.
4.7 Test parametru σσσσ rozkładu Gaussa
R.J. Nowak 126
Funkcja g(u) osiąga minimum w punkcie
u = n i rośnie do nieskończoności zarówno
gdy zmienna u zbiega do zera jaki do
nieskończoności. Obszar krytyczny
wyznaczony jest warunkiem: g(u) > ca,
gdzie wartość ca wynika z przyjętego
poziomu istotności a. Obszar krytyczny
statystyki u zadają dwie nierówności: u ≤ a
oraz u ≥ b zdefiniowane układem równań:g(a) = g(b), P(u < a) + P(u > b) = α.
g(u)
u
cα
Xn−1(u)
α1α2
a = un − 1;α1
b=un − 1;1 − α2
PRZYKŁAD: niech n = 6, a dla klarowności wizualizacji a = 0,25. Wtedy
a = 2,442 natomiast b = 11,99, przy czym α1 = 0,215 oraz α2 = 0,035.
RozwaŜmy prawdopodobieństwo β błędu drugiego rodzaju. Jeśli hipoteza H0
jest prawdziwa, to statystyka u ma rozkład Xn-1(u). Gdy hipoteza H1 jest
prawdziwa, to statystyka w = θ u, gdzie θ = σ 2/σ02 i σ to pewna alternatywna
wartość dyspersji, ma rozkład Xn-1(w). Prawdopodobieństwo β wynosi:
( )1 .
b
n
a
w dw
θ
θ
β −= ∫ X
4.7 Test parametru σσσσ rozkładu Gaussa
R.J. Nowak 127
0,60
0,65
0,70
0,75
0,80
0,50 0,75 1,00 1,25 1,50parametr θ
pra
wdo
pod
obieńs
two
β 1 − α = 0,75
W obszarze alternatywnych wartości dyspersji σ, takich, Ŝe 0,7 ≤ θ ≤ 1,0,
prawdopodobieństwo przyjęcia hipotezy H0, gdy jest ona prawdziwa, jest
mniejsze, niŜ prawdopodobieństwo przyjęcia hipotezy H1, gdy ta jest prawdziwa.
4.7 Test parametru σσσσ rozkładu Gaussa
R.J. Nowak 128
Jeśli relację 1 – α < β przeniesiemy do przykładu z dwiema urnami, to
odpowiada ona nonsensownemu kryterium decyzyjnemu, które orzeka, Ŝehipotezę o pierwotnie białej kuli w urnie naleŜy zaakceptować, gdy liczba
białych kul jest mniejsza niŜ połowa liczby wylosowanych kul z urny.
Gdybyśmy zastosowali się do takiego kryterium, to zazwyczaj byśmy
odrzucali hipotezę o białej kuli w urnie, gdy jest ona prawdziwa,
a przyjmowali ją, gdy jest fałszywa. Test o takiej własności nazywamy
obciąŜonym. W sytuacji testu obciąŜonego częściej byśmy dochodzili do
trafnej decyzji i rzadziej popełniali błąd, gdybyśmy w ogóle zrezygnowali
z pomiarów i, jeśli α = 0,25, zdali się na urządzenie losowe, np. drejdel,
i odrzucali zerową hipotezę zawsze, gdy wypadłaby nam np. litera ש.
Opisana trudność wynika z wykorzystania obciąŜonego estymatora wariancji
σ 2 i moŜemy łatwo się jej wyzbyć, jeśli funkcję g(u) wybierzemy w postaci:
( ) 1exp 1 ,
1
n ug u
u n
− = − − czyli odwołamy się do nieobciąŜonego estymatora sx
2 wariancji, a dalsząprocedurę wyznaczania obszaru krytycznego pozostawimy bez zmiany.
4.8 Test równości parametrów µµµµ rozkładu Gaussa
R.J. Nowak 129
TEST STUDENTA DLA DWÓCH PRÓBEK NIEPOWIĄZNYCH:próbka prosta xi, i = 1, 2, ..., n, z rozkładu Gaussa N(x;µx,σ 2) oraz niezaleŜna
od niej statystycznie próbka prosta yi, i = 1, 2, ..., m, takŜe z rozkładu GaussaN(y;µy,σ 2) o być moŜe róŜnych wartościach oczekiwanych, ale równych, acz
nieznanych, dyspersjach; hipoteza H0(µx = µy), a H1(µx ≠ µy); poziom
istotności: α. Funkcja wiarogodności:
Maksimum bezwarunkowe wyznacza:
( )( )
( ) ( )22
21 1
1 1, , ; , exp .
22
n n
x y i x i yn mn m
i i
x yµ µ σ µ µσπ σ
++ = =
= − − + −
∑ ∑L x y
( )( )
2 2
2 2 1, , , , , ; , exp .ˆ ˆ ˆ ˆ
22 ˆ
x y
x y n m
nS nS n mx y x y
n mµ µ σ σ
π σ+
+ + = = = = − + L x y
Maksimum warunkowe, z warunkiem µ = µx = µy, wyznacza:
( )
( )( )
22 2 2
2
1, ,
1, , ; , exp .
22
x y
n m
nx my nmnS nS x y
n m n m n m
n mx y
µ σ
σπ σ
+
+ = = + + − + + +
+ = −
L x y
4.8 Test równości parametrów µµµµ rozkładu Gaussa
R.J. Nowak 130
Statystyka ilorazu wiarogodności:
gdzie statystyka
ma rozkład Studenta Sn + m – 2(t) o n + m – 2 stopniach swobody, jeśli hipoteza
zerowa H0(µx = µy) jest słuszna. Problem się uprasza, poniewaŜ statystykętestową wyraziliśmy przez statystykę Studenta, której rozkład znamy.
( )( ) ( )
( ) ( )11 1
2 222 2
2 2 2, 1 1
2ˆ
n mn m n m
x y
x ynm t
n m nS mS n m
σλ
σ
++ + −
= = + = + + + + −
x y
( ) ( )
( )
( )
22 2
2
22 2
2
1 ,
,1 1
1 ,22
x y
xx
x y
x y yx y y
x y
su n
x yn mtu u n m n m s
s s u mn m m nn m
µ µ
σ σσµ µ
σ
− − −
= −+ −= = = =
+ + − −+ = −
+ −+ −
tn+m−2;1−α/2tn+m−2;α/2
t
Sn+m−2(t)H1(µx ≠ µy)
tt
Sn+m−2(t) Sn+m−2(t)
tn+m−2;αtn+m−2;1−α
H1(µx > µy) H1(µx < µy)
4.9 Test równości parametrów σσσσ rozkładu Gaussa
R.J. Nowak 131
TEST F: próbka prosta xi, i = 1, 2, ..., n, z rozkładu Gaussa N(x;µx,σx 2) oraz
niezaleŜna od niej statystycznie próbka prosta yi, i = 1, 2, ..., m, takŜez rozkładu Gaussa N(y;µy,σ
y2) o być moŜe róŜnych wartościach oczekiwanych
i nieznanych dyspersjach. Testujemy hipotezę H0(σx = σy) przy H1(σx ≠ σy) na
poziomie istotności α.
Funkcja wiarogodności ma postać:
( )( ) ( )( ) ( ) ( ) ( )
1 11
2 2 2 22 2 2 22
2 2
1 1 1 1, 1 1 .
1 1
nn m n m
n mnx y x x
n m
x y y y
n s m s s n s nF F
s s s m s mλ
+ − + +−− + − − − ∝ ∝ + = + − −
x y
Maksymalizacja z warunkiem σ = σx = σy, daje te same wyniki, co
maksymalizacja bezwarunkowa w teście równości wartości oczekiwanych
i prowadzi do statystyki testowej
( )( )
2 2 2 2 2 2 1, , , , , , , ; , exp .ˆ ˆ ˆ ˆ ˆ ˆ
22x y x x y y x y n m
n m
x y
n mx y S S x y
S Sµ µ σ σ σ σ
π+
+ = = = = = −
L x y
( )( )
( ) ( )222 2
2 21 1
1 1 1, , , ; , exp ,
2 22
n n
x y x y i x i yn mn m
i ix yx y
x yµ µ σ σ µ µσ σπ σ σ
+= =
= − − − −
∑ ∑L x y
a jej maksymalizacja bezwarunkowa prowadzi do
Interludium - rozkład F Snedecora
R.J. Nowak 132
Niech u1 będzie zmienną z rozkładu Xn(u1), a zmienną u2, niezaleŜnąstatystycznie od zmiennej u1, podlega rozkładowi Xm(u2). Statystyka F
Snedecora zdefiniowana jest związkiem:
1
2
u nF
u m=
i ma rozkład Snedecora:
( ) ( )( ) ( )
( )1
2 2 2 2 2
2 2
, 0, , 1,2,...n m nn m n m
nm n mF n m F m nF F n m
+ +− −Γ= + ≥ =
Γ ΓF
określony parą (n,m) liczb stopni swobody.
0,0
0,2
0,4
0,6
0,8
1,0
0 0,5 1 1,5 2zmienna F
gęs
tość
Fnm
(F)
(n ,m )=(1,1) (n ,m )=(5,1)
(n ,m )=(5,10)
(n ,m )=(10,5)
(n ,m )=(10,10)
4.9 Test równości parametrów σσσσ rozkładu Gaussa
R.J. Nowak 133
Jeśli, zgodnie z hipotezą zerową, σ = σx = σy, to zmienne
( ) ( ) 22
1 22 2
11,
yxm sn s
u uσ σ
−−= =
mają rozkład χ2 o liczbie, odpowiednio, n – 1 oraz m – 1 stopni swobody, więc( )( )2
2
2
1 1
1
x
y
u n
u m
sF
s
−= =
−ma rozkład Fn – 1,m – 1(F) Snedecora, a statystyka testowa λ wyraŜona jest,
w całości, zmienną Snedecora F. Dalsza procedura sugeruje postępowanie
identyczne do tego, które prowadziliśmy w teście wartości dyspersji σrozkładu Gaussa. W tym celu definiujemy nową statystykę testową:
( )( )1
22
11 ,
1
n mnn
g F F Fm
+− − = + −
proporcjonalną do statystyki λ, która zarówno dla F → 0 jaki i F → ∞ dąŜy do
nieskonczonosci, wyznaczamy kwantyl a = Fn – 1,m – 1;a1 rzędu α1 oraz drugi
b = Fn – 1,m – 1;1– a2, rzędu α2, takie Ŝe: g(a) = g(b) oraz α1 + α 2 = α, a obszar
krytyczny określamy warunkiem: F ≤ a oraz F ≥ b. Niestety, test taki jest
obciąŜony. Rozwazmy przykład z (n,m) = (5, 40) i α = 0,25.
4.9 Test równości parametrów σσσσ rozkładu Gaussa
R.J. Nowak 134
0,50
0,55
0,60
0,65
0,70
0,75
0,80
0,50 0,75 1,00 1,25 1,50
parametr θ
pra
wd
op
odo
bieńs
two β
1 − α = 0,75
Jeśli hipoteza H0 jest prawdziwa, to statystyka F ma rozkład Fn – 1,m – 1(F). Gdy
hipoteza H1 jest prawdziwa, to statystyka w = θ F, gdzie θ = σy2/σx
2 ma rozkładFn – 1,m – 1(w). Prawdopodobieństwo β, ilustrowane rysunkiem, wynosi:
( )1, 1 .
b
n m
a
w dw
θ
θ
β − −= ∫ F
4.9 Test równości parametrów σσσσ rozkładu Gaussa
R.J. Nowak 135
ObciąŜenie usuniemy, jeśli inaczej rozdzielimy prawdopodobieństwa
( ) ( )1 2; 1, 1 , 1 ; 1, 1F a n m F b n mα α= − − = − − −F F
gdzie FF (x;n – 1,m – 1) to dystrybuanta rozkładu Snedecora, niŜ to wynika ze
statystyki testowej g(F), domagając się przy tym, aby test nie był obciąŜony.
W warunkach słuszności hipotezy alternatywnej moc test wynosi:
( ) ( ) ( )1 ; 1, 1 1 ; 1, 1 .M F a n m F b n mθ β θ θ= − = − − + − − −F F
Moc ta osiąga minimum w punkcie θ będącym rozwiązaniem równania
( ) ( ) ( )1, 1 1, 1 0.n m n m
dM a a b b
dθ θ θ
θ − − − −= − =F F
Aby moc osiągała minimum w punkcie θ = 1, kwantyle a oraz b musząspełniać układ równań:
( ) ( )( ) ( )
1, 1 1, 1 0,
; 1, 1 1 ; 1, 1 .
n m n ma a b b
F a n m F b n m α− − − −− =
− − + − − − = F F
F F
ZauwaŜmy, Ŝe drugie równanie wyznacza minimalną moc α, czyniąc test
nieobciąŜonym. Test przeprowadzony według tej procedury nazywamy testem F.
4.9 Test równości parametrów σσσσ rozkładu Gaussa
R.J. Nowak 136
Dygresja 5. PowyŜsza procedura jest na tyle absorbująca numerycznie, Ŝebardzo często stosuje się uproszczone podejście. Polega ono na równym
podziale prawdopodobieństwa α miedzy oba ogony rozkładu Snedecora,
czyli wyznaczenie kwantyli Fn–1,m–1;α/2 oraz Fn–1,m–1;1–α/2 i ustanowieniu
obszaru krytycznego hipotezy zerowej H0(σx = σy) w postaci: F < Fn–1,m–1;α/2
lub F > Fn–1,m–1;1–α/2. Test taki jest, oczywiście, obciąŜony.
W przypadku testów jednostronnych, zadanych hipotezami alternatywnymi
H1(σx > σy) lub teŜ H1(σx > σy), procedura upraszcza się znacznie. Wystarczy,
Ŝe wyznaczymy kwantyl Fn – 1,m – 1;1 – α i odrzucimy hipotezę H0(σx = σy) na
korzyść hipotezy H1(σx > σy), jeśli tylko F > Fn – 1,m – 1;1 – α lub teŜ wybierzemy
hipotezę H1(σx < σy), gdy F < Fn – 1,m – 1;α.
F F
Fn−1,m−1(F)
Fn−1,m−1;1−α
H1(σx > σy) H1(σx < σy)
Fn−1,m−1(F)
Fn−1,m−1;α
4. Testy hipotez - próbki powiązane
R.J. Nowak 137
Do tej pory rozwaŜane testy odnosiły się do wielkości opisujące populacje,
które nie miały Ŝadnego związku między sobą.PRZYKŁAD.
• Przypuśćmy, Ŝe badamy chore oko u człowieka i mierzymy grubośćrogówki. By mieć porównanie, identyczny pomiar wykonujemy na
zdrowym oku. W tym przypadku zarówno pomiary są niezaleŜne jak
i mierzone obiekty są róŜne, ale osoba jest ta sama.
• Przypuśćmy, Ŝe wykonujemy pomiar pewnej wielkości, np. zuŜycia opony
samochodowej dwiema metodami: mierząc głębokość bieŜnika i waŜącoponę, a następnie „tłumaczymy” oba wyniki pomiarowe na pewnąwielkość, tak aby porównanie wyników było moŜliwe. Oba pomiary sąniezaleŜne od siebie, ale obiekt mierzony jest za kaŜdym razem ten sam.
W oby przykładach powinniśmy przyjąć model probabilistyczny, który
dopuszcza moŜliwość korelacji między uzyskanymi wynikami. Korelacjętaką moŜe wprowadzić cecha osoby, której oczy badamy - generalnie grubośćrogówki u róŜnych osób moŜe być inna (tak jak róŜne są ciśnienia skurczowe
i rozkurczowe), albo typ (masa) opony.
R.J. Nowak 138
TEST STUDENTA DLA PRÓBEK POWIĄZANYCH. Próbka (xi,yi),
i = 1, 2, ..., n, par zmiennych losowych z dwuwymiarowego rozkładu GaussaN(x,y;µx,µy,σx,σy,ρ); hipoteza H0(µx = µy), natomiast H1(µx ≠ µy); poziom
istotności: α. Gdybyśmy odwołali się do testu Studenta dla próbek
niepowiązanych, zastosowalibyśmy statystykę Studenta
( )22
1
1, , ,
1
n
z i i i i
iz
zt s z z z y x
s n =
= = − = −− ∑
czyli testu Studenta dla jednej próbki Tak zbudowany test nazywamy testemStudenta dla próbek powiązanych. Pozwala on wyeliminowaćprzypadkowość związaną z cechami osobniczymi. ZauwaŜmy, Ŝe test dla
próbek powiązanych nie wymaga równości dyspersji.
Zamiast tego, wprowadzamy zmienną z = y – x, która ma rozkładN(z;µ,σ 2), gdzie µ = µy– µx, a σ 2 = σx
2 + σy2 – 2ρσxσy, przy czym w warunkach
słuszności hipotezy zerowej µ = 0. Statystyka największej wiarogodności
prowadzi natychmiast do statystyki testowej
2 2
.1 1
2x y
x yt
n m n ms s
n m m n
−=
+ − −+
+ −
4.10 Próbki powiązane - test równości parametrów µµµµ
4.10 Próbki powiązane - test równości parametrów µµµµ
R.J. Nowak 139
PRZYKŁAD. Badano liczby Di oraz Li godzin dodatkowego snu u dziesięciu
pacjentów, którym podawano dwie stereoizomeryczne odmiany hydrobromku
histocyjaminy: dextro (wiersz Di) i leavo (wiersz Li).
Jeśli przeprowadzimy test Studenta
hipotezy o równości wartości oczekiwanej
liczby dodatkowych godzin snu dla dwóch
próbek niepowiązanych, wartość p testu
znajdziemy równą 0,060 i wynik nie jest
znaczący statystycznie, natomiast ten sam
test dla próbek powiązanych daje wartośćp = 0,002, która definitywnie rozstrzyga na
korzyść odmiany leavo.
Pacjent 1 2 3 4 5 6 7 8 9 10 średnia s x
D i [h] 0,7 -1,6 -0,2 -1,2 -0,1 3,4 3,7 0,8 0,0 2,0 0,65 1,74
L i [h] 1,9 0,8 1,1 0,1 -0,1 4,4 5,5 1,6 4,6 3,4 2,33 2,00
L i − D i 1,2 2,4 1,3 1,3 0,0 1,0 1,8 0,8 4,6 1,4 1,68 1,25
Student, The Probable Error on the Mean, Biometrika, 6, (1908), 1
2σx
2σ y
2 σz
xy z
4.11 Test współczynnika korelacji ρρρρ
R.J. Nowak 140
TEST. Próbka (xi,yi), i = 1, 2, ..., n, par zmiennych losowych z rozkładu
binormalnego; hipoteza H0(ρ = 0), a H1(ρ ≠ 0); poziom istotności: α.
Znamy rozkład Pearsona współczynnika korelacji r z próby, więcmoŜemy przeprowadzić test, wyznaczając dwa kwantyle rn;α/2 oraz rn;1 – α/2
tego rozkładu. Łatwiej jest jednak odwołać się do statystyki:
2
1
1,
r nt
r
−=
−która ma rozkład Studenta o liczbie n - 2 stopniach swobody, jako Ŝe kwantyle
tego rozkładu są powszechnie dostępne.
Gdy testowana hipoteza ma postać H0(ρ = ρ0), a jej alternatywa to
H1(ρ ≠ ρ0), wtedy powinniśmy odwołać się do przekształcenia Fishera
i rozwaŜyć statystykę
0 0
0
3 1 1ln ln ,
2 1 1 1
n rz
r n
ρ ρρ
− + += − − − − −
która, juŜ dla próbek liczących kilkadziesiąt par (xi,yi) danych, z dobrymprzybliŜeniem ma rozkład normalny N(z;0,1).
Interludium - rozkład wielomianowy (1)
R.J. Nowak 141
RozwaŜmy histogramowanie danych. Dysponujemy próbką xi, i = 1, 2, ..., n,
zmiennych losowych z rozkładu f(x), które rozdzielamy wśród m przedziałów
histogramowania i otrzymujemy liczebności ni, i = 1, 2, ..., m, przypadków
w tych przedziałach. Jakiemu rozkładowi podlega układ liczb ni? Niech
prawdopodobieństwo trafienia do i-tego przedziału wynosi pi.
Prawdopodobieństwo realizacji ciągu liczebności ni, wynikającego
z uzyskanego doświadczalnie ciągu wartości xi, wynosi:1 2
1 2 ,mnn n
mp p p⋯
przy czym przestawienie kolejności pojawiania się wartości xi w ramach tego
samego przedziału histogramu prowadzi do tego samego wyraŜenia. Aby to
uwzględnić, musimy uzyskane wyraŜenie uzupełnić o czynnik
kombinatoryczny, co wiedzie do rozkładu wielomianowego:
( ) 1 2
1 2
1
, ,..., 1 2 1 2
1 21
,!, , , , 0,1,..., ,
! ! ! 1,
m
m
m
iinn n
n n n m m i mm
ii
n nnn p p p p p p n n
n n n p
=
=
== =
=
∑∑
… ⋯⋯
M
o własnościach:
[ ] ( ), 1 , cov , .i i i i i i j i jn np V n np p n n np p= = − = −
Interludium - rozkład wielomianowy (2)
R.J. Nowak 142
Postępując podobnie jak przy wyprowadzaniu twierdzenia de Moivre’a-
Laplace’a, znajdujemy, Ŝe przy duŜych wartościach liczb npi oraz w okolicy
ni = npi, rozkład m-mianowy moŜna aproksymować m – 1 wymiarowym
rozkładem normalnym (tak jak rozkład dwumianowy jednowymiarowym
rozkładem Gaussa):
gdzie:
( )( )
( )
( )( ) ( )
1 2
2
, ,..., 1 2 11
1 2
1
1
1 2
1 1, , , exp
22
1 1exp
22
m
mi i
n n n m m
i im
T
m
m
n npn p p p
npnp p p
np p p
π
π
−=
−−
−≈ −
= − − −
∑
V
…
⋯
⋯
M
n n n n
( )( )
( )
1 1 1 2 1 11 1
1 2 2 2 2 12 2
1 1 2 1 1 11 1
1
1, .
1
m
m
m m m mm m
np p np p np pn np
np p np p np pn np
np p np p np pn np
−
−
− − − −− −
− − −− − − −− − = = − − −−
V
⋯
⋯
⋮ ⋮ ⋱ ⋮⋮
⋯
n n
Macierz V to macierz kowariancji zmiennych ni oraz nj z wykreślonym
ostatnim wierszem i ostatnią kolumną, a forma kwadratowa w wykładniku ma,
asymptotycznie, rozkład χ 2 z liczba m – 1 stopni swobody.
Interludium - tablice wielodzielcze
R.J. Nowak 143
MODEL. W pojedynczym elementarnym eksperymencie określamy wartośćcechy, która moŜe przyjmować jedną z m wartości. Wykonując pewną liczbęstatystycznie niezaleŜnych elementarnych eksperymentów, otrzymujemy układ
krotności wystąpienia kaŜdej z m wartości cechy. Następnie powtarzamy, takŜew sposób statystycznie niezaleŜny, całą procedurę k razy, otrzymując układ nij,
i = 1, 2, ..., k, j = 1, 2, ..., m, krotności pojawienia się cechy o numerze j
w i-tym powtórzeniu procedury. Schemat taki podsumowuje tablica, zwana
tablicą wielodzielczą:grupa krotność wartości cechy suma
1 n11 n12 ... n1m n1•
2 n21 n22 ... n2m n2•
... ... ... ... ... ...
k nk1 nk2 ... nkm nk•
suma n•1 n•2 ... n•m n••
Rozkład krotności nij w kaŜdym z wierszy tabeli rządzony jest rozkładem
wielomianowym z układem prawdopodobieństw pj.
4.12 Test jednorodności w tablicach wielodzielczych
R.J. Nowak 144
TEST JEDNORODNOŚCI - znane wartości prawdopodobieństw pj. Dana
jest tablica wielodzielcza k×m. Ustalamy symbolem pij prawdopodobieństwo
wystąpienia j-tej cechy w i-tej grupie. Hipoteza zerowa:
H0(p1j = p2j = … = pkj ≡ pj), j = 1, 2, ..., m, stwierdza, Ŝe z j-tą kolumną tabeli
wielodzielczej skojarzona jest wspólna i znana wartość pj
prawdopodobieństwa. Funkcja wiarogodności:
Hipoteza alternatywna utrzymuje, Ŝe prawdopodobienstwa pij
przyporządkowane róŜnym wierszom w tej samej kolumnie mogą być róŜne.
Funkcję wiarogodności:
( ) ( )1 2
1 2, ,...,1
, , , , .i i im
k
i mn n n
i
n p p p•=
= ∏ …L Mn p
( ) ( )1 2
1 2, ,...,1
, , , ,i i im
k
i i i imn n n
i
n p p p•=
= ∏ …L Mn p
maksymalizuja oceny:ˆ
ij
ij
i
np
n •
=
a statystyka ilorazu wiarogodność przyjmuje postać:
( )1 1 1 1
ˆ.
ij ijn nk m k m
ij ij
i j i jj i j
p n
p n pλ
= = = = •
= =
∏∏ ∏∏n
4.12 Test jednorodności w tablicach wielodzielczych
R.J. Nowak 145
RozwaŜmy logarytm statystyki testowej. PoniewaŜ w przypadku słuszności
hipotezy zerowej ⟨nij⟩ = ni•pj, wiec wprowadźmy odchylenie ∆ij = nij – ni•pj:
Spodziewamy się, Ŝe w warunkach słuszności hipotezy zerowej, wielkość ∆ij
będzie mała w stosunku do ni•pj, więc rozwińmy, do wyrazów kwadratowych,
kaŜdy ze składników wokół punktu x = ∆ij/(ni•pj) = 0, a uzyskamy
( )1 1 1 1 1 1
ln ln ln 1 ln 1 .
ijnk m k m k m
ij ij ij ij
ij i j
i j i j i ji j i j i j i j
n nn n p
n p n p n p n pλ •
= = = = = =• • • •
∆ ∆= = = + +
∑∑ ∑∑ ∑∑n
( )2 2
1 1 1 1 1 1 1
1 1ln .
2 2
k m m k m k mij ij
ij ij
i j j i j i ji j i jn p n pλ
= = = = = = =• •
∆ ∆≈ ∆ + = ∆ +
∑∑ ∑ ∑∑ ∑∑n
Jednocześnie, skoro spełniony jest związek
1 1 1 1 1 1 1 1 1
0,k m k m k m k m k
ij ij i j i j i
i j i j i j i j i
n n p n n p n n n n• •• • •• • •• ••= = = = = = = = =
∆ = − = − = − = − =∑∑ ∑∑ ∑∑ ∑ ∑ ∑
więc( )
( )22
1 1 1 1 1 1
2ln 2 ln .k m k m k m
ij i jij ij
ij
i j i j i ji j i j i j
n n pnn u
n p n p n pλ •
= = = = = =• • •
−∆= ≈ = =∑∑ ∑∑ ∑∑n
Statystyka u, a takŜe 2lnλ, podlega, asymptotycznie i w warunkach słuszności
hipotezy zerowej, rozkładowi χ 2 z liczbą k(m – 1) stopni swobody (bo Σpj = 1).
4.12 Test jednorodności w tablicach wielodzielczych
R.J. Nowak 146
TEST JEDNORODNOŚCI - nieznane wartości prawdopodobieństw pj.
Jeśli prawdopodobieństwa pj są nieznane, wtedy maksymalizacja funkcji
wiarogodności hipotezy zerowej prowadzi do ocen:
która asymptotycznie przyjmuje postać:
( )
2
1 1 1 1
2ln 2 ln .
iij
k m k mjij
iji ji j i ji j
nn n
nn nn u
n nn n
n
λ
•••
•••
• •= = = =• •
••
−
= ≈ =∑∑ ∑∑n
Statystyka u, a takŜe 2lnλ, ma, asymptotycznie i w warunkach słuszności
hipotezy zerowej, rozkład χ 2 z liczbą (k – 1)(m – 1) stopni swobody.
Zastosowania: porównanie kilku histogramów.
j
j
np
n
•
••
=
i do statystyki testowej
( )1 1 1 1
ˆ,
ij ijn nk m k m
ij ij
i j i jj i j
p n n
p n nλ ••
= = = = • •
= =
∏∏ ∏∏n
4.12 Test jednorodności w tablicach wielodzielczych
R.J. Nowak 147
Jeśli tablica wielodzielcza ma postać 2×2, to statystyka testowa przyjmuje
prostą formę: ( )2
11 22 12 21
1 2 1 2
n n n nu n
n n n n••
• • • •
−=
i asymptotycznie opisuje się rozkładem χ 2 o jednym stopniu swobody.
PRZYKŁAD. Gdy w Hong Kongu pojawiła się epidemia SARS,
kierownictwo szpitali zalecało personelowi medycznemu dwie formy ochrony:
maski i rękawiczki. Czy obie metody ochrony są równie efektywne?
Sposób Liczba osób, które
ochrony zachorowały uchroniły sięsuma
maska n11 = 2 n12 = 169 n1• = 171
rękawiczki n21 = 4 n22 = 117 n2• = 121
suma n•1 = 6 n•2 = 286 n•• = 292
W.H. Set i inni, Effectiveness of Precautions against Droplet and Contacts in Prevention of Nosocomial Transmission of
Severe Acute Respiratory Syndrome (SARS), The Lancet, 361, (2003), 1519.
Wartość u = 1,61, a wartość p testu to 0,20, tak więc nie wydaje się, Ŝe któraśz metod ochrony jest skuteczniejsza. Ale czy tak mała liczba danych (n11 = 2)
uzasadnia wykorzystanie rozkładu χ 2, który pojawia się asymptotycznie?
4.13 Test dokładny Fishera
R.J. Nowak 148
Jak obfite powinny być krotności występujące w poszczególnych komórkach
tablicy wielodzielczej, abyśmy mogli korzystać z asymptotycznego charakteru
rozkładu statystyki u, jak równieŜ statystyki 2lnλ? Problem ten był przedmiotem
wielu analiz, które doprowadziły badaczy do następującej praktycznej konkluzji:
asymptotyczną postać rozkładu tych statystyk moŜemy stosować, gdy
indywidualne krotności nij liczą przynajmniej 5 przypadków, a całkowita liczba
n•• danych nie jest mniejsza niŜ 20.
Jak powinniśmy postąpić, jeśli warunki te nie są spełnione?
Przypomnijmy: w dotychczasowych rozwaŜaniach rozkład krotności w kaŜdym
wierszu tablicy wielodzielczej był zadany rozkładem wielomianowym, a więcsuma tych krotności była ustalona. Dodajmy dodatkowy warunek, ustalający
sumy krotności w kolumnach i utwórzmy tablicę:liczba
grupasukcesów poraŜek
suma
1 j1 n1 – j1 n1
2 j2 n2 – j2 n2
suma j n − j n
w której nie tylko wartości n1 i n2 (a więc i n), ale równieŜ wartość j jest ustalona.
4.13 Test dokładny Fishera
R.J. Nowak 149
Konstrukcja ta powoduje, Ŝe wśród czterech liczb tablicy wielodzielczej, jedna
jest swobodna, np. j1, a jej rozkład opisuje tzw. rozkład hipergeometryczny
( ) [ ]
1 1 1 2
1 1 1 2 1 1 11 1 1 1
1 2
1 2
; , , , , 1 .1
n n n n n
j j j j j n n n n jj j n n j j j j
n n n n n n n
j j j
− − − = = = = − + −
+
H V
tablica6 165
0 121
5 166
1 120
4 167
2 119
3 168
3 118
2 169
4 117
1 170
5 116
0 171
6 115suma
szansa 0,0389 0,1700 0,3054 0,2884 0,1510 0,0416 0,0047 1,0000
RozwaŜmy teraz wszystkie moŜliwe wartości zmiennej j1. Ukazują je tabela.
Skoro hipoteza zerowa nie rozróŜnia między sposobami ochrony, test powinien
być dwustronny i w obliczaniu wartości p testu powinniśmy uwzględnić takŜetablice bardziej „niezwykłe” niŜ ta, którą obserwujemy w doświadczeniu, a więcte, którym odpowiada prawdopodobieństwo mniejsze niŜ prawdopodobieństwo
układu obserwowanego. Tablice te wyróŜnione są wytłuszczeniem (na
czerwono).
Suma tych prawdopodobieństw wynosi (około) 0,24, co nie wyklucza hipotezy.
4.14 Test niezaleŜności w tablicach wielodzielczych
R.J. Nowak 150
Często dana jest tablica wielodzielcza k×m, ale jej sens jest zupełnie inny niŜten, który do tej pory rozwaŜaliśmy, kiedy to kaŜdy jej wiersz opisywał
oddzielny eksperyment. Tym razem rozwaŜmy elementarny eksperyment,
który jednocześnie mierzy wartość Ai, i = 1, 2, ..., k, cechy A oraz Bj,
j = 1, 2, ..., m, cechy B. Jeśli ten eksperyment powtórzymy n•• razy,
otrzymamy krotności nij jednoczesnego wystąpienia wartości Ai oraz Bj. Niech
symbol pij opisuje prawdopodobieństwo wystąpienia kombinacji AiBj cech.
cecha B1 B2 ... Bm suma
A1n11 n12 ... n1m n1•
A2 n21 n22 ... n2m n2•
... ... ... ... ... ...
Ak nk1 nk2 ... nkm nk•
suma n•1 n•2 ... n•m n••
cecha B1 B2 ... Bm suma
A1p11 p12 ... p1m p1•
A2 p21 p22 ... p2m p2•
... ... ... ... ... ...
Ak pk1 pk2 ... pkm pk•
suma p•1 p•2 ... p•m 1
Układ km zmiennych nij opisany jest jednym rozkładem wielomianowym:
( )1 1
; .!
ijnk m
ij
i j ij
pn
n••
= =
= ∏∏M n p
4.14 Test niezaleŜności w tablicach wielodzielczych
R.J. Nowak 151
TEST wartości prawdopodobieństw pij. Jeśli hipoteza zerowa ustala wartości
prawdopodobieństw pij, hipotezę tę moŜemy zweryfikować odwołując się do
statystyki
która asymptotycznie ma rozkład χ 2 z liczbą km – 1 stopni swobody, jako Ŝeprawdopodobieństwa pij sumują się do jedności.
Rozkład M(n;p) moŜna wyrazić w formie iloczynu trzech czynników:
( ) 1 1
1 1 1 1
!1
; ,! ! !
ijji
k m
nn i jnk k k mj i j iji
i i i ji j ij i j
n np pp
n nn n n n p p
••• •
• = =••• ••
= = = =• • •• • •
=
∏ ∏∏ ∏ ∏∏M n p
( )( )2
1 1
2ln ,k m
ij ij
i j ij
n n pu
n pλ ••
= = ••
−≈ =∑∑n
gdzie pierwszy czynnik to wielomianowy rozkład brzegowy cechy A, drugi
dotyczy cechy B, a trzeci to wielomianowy rozkład zmiennych nij przy
ustalonych sumach brzegowych. Jeśli cechy są statystycznie niezaleŜne, czyli
pij = pi• p•j, to czynnik ten sprowadza sie do wielowymiarowego rozkładu
hipergeometrycznego stosowanego w wielowymiarowej wersji testu
dokładnego Fishera.
4.14 Test niezaleŜności w tablicach wielodzielczych
R.J. Nowak 152
TEST MIEZALEśNOŚCI dwóch cech. Procedura testu niezaleŜności cech,
czyli testu relacji pij = pi• p•j, zaleŜy od tego czy hipoteza zerowa wyznacza
prawdopodobieństwa brzegowe pi• oraz p•j czy teŜ nie.
Gdy prawdopodobienstwa te są znane, statystka u przyjmuje postać
i moŜemy rozłoŜyć ja na sumę trzech składników odpowiadających trzemczynnikom w rozkładzie M(n;p):
( )( )2
1 1
2lnk m
ij i j
i j i j
n n p pu
n p pλ •• • •
= = •• • •
−≈ =∑∑n
gdzie pierwszy składnik podlega rozkładowi χ 2 z liczbą k – 1 stopni swobody
i opisuje zgodność z rozkładem brzegowym cech A, drugi ma rozkład χ 2
z liczbą m – 1 stopni swobody i dotyczy cechy B, a trzeci składnik, z podwójnąsumą, o rozkładzie χ 2 z liczbą (k – 1)(m – 1) stopni swobody, określaoddziaływanie cech między sobą, czyli ich zaleŜność statystyczną. Rozbicie to
daje nam głębszy wgląd w kwestię statystycznej niezaleŜności cech.
( ) ( ) ( )2 22
1 1 1 1 1 1
k m k m k mj j ij i j j i i ji i
i j i j i ji j i j
A B AB
n n p n n p n p n p pn n pu
n p n p n p p
u u u
• •• • • • • • •• • •• •• •
= = = = = =•• • •• • •• • •
− − − +−= + +
= + +
∑∑ ∑∑ ∑∑
4.14 Test niezaleŜności w tablicach wielodzielczych
R.J. Nowak 153
PRZYKŁAD. Wyniki doświadczeń W. Batesona, sprawdzających prawa
dziedziczenia Mendla, a polegające na badaniu korelacje między kształtem
pyłku, a kolorem kwiatów groszku podane są w tabeli. Wedle praw
dziedziczenia, częstości brzegowe powinny wypadać w proporcji 1:3, a jeślicechy są statystycznie niezaleŜne, prawdopodobieństwa róŜnych kombinacji
podane sa w tabeli.
Statystyka testowa u ma wartość 222,12 i przy 3 stopniach swobody wyznacza
wartość p testu równą (około) 10–47, co absolutnie wypowiada się przeciw
prawdopodobieństwom podanym tabeli. Jeśli jednak obliczymy kolejne
składniki, kaŜdy o 1 stopniu swobody, tej statystyki, to otrzymamy: uA = 0,09,
wartość p = 0,76, uB = 0,34, p = 0,56 i w końcu uAB = 221,69 co daje p = 10–50.
kolor kwiatukształt
pyłku purpurowy czerwonysuma
podłuŜny 296 27 323
okrągły 19 85 104
suma 315 112 427
W. Bateson, The Facts of Heredity in the Light of Mendel's Discovery, Report of the Evolution Committee of the
Royal Society, 1, (1902), 125, za C.R. Rao, Modele liniowe statystyki matematycznej, PWN, Warszawa, 1982
kolor kwiatukształt
pyłku purpurowy czerwonysuma
podłuŜny 9/16 3/16 12/16
okrągły 3/16 1/16 4/16
suma 12/16 4/16 1
4.14 Test niezaleŜności w tablicach wielodzielczych
R.J. Nowak 154
TEST MIEZALEśNOŚCI dwóch cech - ciąg dalszy. Gdy
prawdopodobienstwa pij są nieznane, to z danych wyznaczamy oceny
prawdopodobieństw brzegowych
odwołujemy się do statystyki ilorazu wiarogodności i otrzymujemy statystykętestową:
,ji
i j
nnp p
n n
••• •
•• ••
= =
asymptotycznie rządzoną rozkładem χ 2 z liczbą (k – 1)(m – 1) stopni swobody,
co wynika z następującego rozliczenia: gdyby wszystkie prawdopodobieństwa
były znane, mielibyśmy km – 1 stopni swobody. Wyznaczając oceny
prawdopodobieństw pi•, wprowadzamy dodatkowa liczbę k – 1 związków na
liczby nij i podobnie, wyznaczając oceny p•j, mamy nastepne m – 1 więzów, co
daje właśnie (k – 1)(m – 1) stopni swobody.
Warto zauwaŜyć, Ŝe statystyka ta jest identyczna ze statystką testu jednorodności
w tablicy wielodzielczej, gdy nie są znane prawdopodobieństwa pij.
( )
2
1 1
2ln ,
iij
k mj
i ji j
nn n
nu
n n
n
λ
•••
•
• •= =
••
−
≈ =∑∑n
R.J. Nowak 155
4. Testy hipotez - nomenklatura (3)• hipoteza prosta: testowana hipoteza całkowicie określona - znana jest
postać rozkładu wraz z wartościami wszystkich parametrów - jeśli podamy
wartość zmiennej losowej, to potrafimy obliczyć prawdopodobieństwo lub
jego gęstość. Przykład 1: prawdopodobieństwo urodzenia chłopca p = 1/2.
Przykład 2: prawdopodobieństwo erupcji wulkanu w kaŜdej z 4 pór roku
jest identyczne.
• hipoteza złoŜona: kaŜda hipoteza, która nie jest prosta.
Przykład 1: wyniki pomiarów gi przyspieszenia ziemskiego rządzone sąrozkładem Gaussa N(g;G,σ 2). Hipoteza H(G = 981 cm/s2), ale wartość σjest nieznana (nie potrafimy obliczyć gęstości, bo nie znamy parametru σ).
Przykład 2: liczba śmiertelnych zatruć muchomorem sromotnikowymw roku rządzona jest rozkładem Poissona Pk(µ) - przedmiotem hipotezy jest
rozkład Poissona, przy czym nie znamy wartości parametru µ tego rozkładu.
Przykład 3: zmienne losowe są skorelowane - nie precyzujemy formy
rozkładu, z których wylosowano próbki - chcemy jedynie sprawdzić, czy
zmienne są skorelowane.
R.J. Nowak 156
4. Testy hipotez - nomenklatura (4)• Hipoteza parametryczna: hipoteza dotyczy wartości parametru rozkładu.
Przykład 1: hipoteza parametryczna prosta - prawdopodobieństwo
urodzenia chłopca p = 1/2; rozkład to rozkład Bernoulliego z jednym
parametrem p w pełni zadany hipotezą - testujemy wartość tego parametru.
Przykład 2: hipoteza parametryczna złoŜona - wyniki pomiarów gi
przyspieszenia ziemskiego opisuje rozkład Gaussa N(g;G,σ 2) - testujemy
hipotezę H(G = 981 cm/s2), ale wartość σ jest nieznana.
• Hipoteza nieparametryczna: kaŜda hipoteza, która nie jest parametryczna.
Przykład 1: hipoteza nieparametryczna prosta - prawdopodobieństwo
erupcji wulkanu w kaŜdej z 4 pór roku jest identyczne - w pełni zadany
rozkład jednostajny, testujemy adekwatność tego rozkładu.
Przykład 2: hipoteza nieparametryczna złoŜona - testujemy hipotezęo poissonowskim rozkładzie Pk(µ) liczby śmiertelnych zatruć muchomorem
sromotnikowym w roku, przy czym nie znamy wartości parametru µ.
• Test zgodności: test istotności hipotezy nieparametrycznej.
• Test zgodności dopasowania - test opisu danych zaleŜnością funkcyjną, np.
osłabienie światła przez roztwór zaleŜy wykładniczo od stęŜenia roztworu.
• Poziom zgodności testu - poziom istotności α hipotezy nieparametrycznej.
R.J. Nowak 157
4.15 Testy nieparametryczne - wprowadzenieDyskutując momenty zmiennej losowej rozwaŜaliśmy Pearsona współczynnik
korelacji z próbki wylosowanej z rozkładu Gaussa. Choć rozkład tego
współczynnika asymptotycznie takŜe dąŜy do rozkładu Gaussa to, przy kaŜdej
skończonej liczebności próbki, jego rzeczywista postać zaleŜy od rozkładu,
z którego wylosowano próbkę.Obok Pearsona współczynnika korelacji, zdefiniowaliśmy Spearmana
współczynnik korelacji rang. Dzięki zastąpieniu faktycznych zmiennych
losowych zmiennymi losowymi wyraŜonymi rangami, oderwaliśmy się od
konkretnej postaci rozkładu tych zmiennych i przeszliśmy do nowego świata,
świata zmiennych losowych wyraŜonych liczbami naturalnymi od 1 do n.
Współczynnik Spearmana pozwala się nam uwolnić od konkretnego rozkładu
pierwotnych zmiennych i rozwaŜyć kwestię korelacji w sposób uniwersalny -
niezaleŜny do rozkładu. W szczególności, dla kaŜdej liczebności próbki,
moŜemy prostymi metodami kombinatorycznymi wyznaczyć dokładny rozkład
tego współczynnika i zweryfikować hipotezę o braku korelacji.
Testy odwołujące się do metod niezaleŜnych od rozkładu mają jednak
swoją cenę - nie wykorzystują pełnej informacji niesionej przez dane, więcłatwiej akceptują fałszywą hipotezę.
R.J. Nowak 158
4.16 Test zgodności χχχχ 2 PearsonaZajmiemy się testem zgodności danych z modelowym rozkładem i na
początek, dla ustalenia uwagi, rozwaŜmy dane opisujące liczbę osób na liście
kandydatek i kandydatów na studia na Wydziale Fizyki, a powtórzone poniŜej
wraz z krotnościami kaŜdej z wartości zmiennej losowej.
Oczekiwnie na kandydatkę178
100
6050
3928 33
2011 9 6 4
0
50
100
150
200
1 2 3 4 5 6 7 8 9 10 11 12
liczba k osób do nastepnej kandydatki
kro
tność
nk n k > 12 = 11
R.J. Nowak 159
4.16 Test zgodności χχχχ 2 PearsonaNiech nk oznacza krotność wystąpienia wartości k zmiennej losowej
w próbce, czyli liczbę sytuacji, w której naleŜało odliczyć k osób na liście, aby
napotkać kobietę, n oznacza liczebność zebranej próbki, tj. sumę wartości nk,
czyli liczbę wszystkich kobiet, a N liczbę wartości zmiennej losowej k
występujących w próbce, czyli liczbę słupków histogramu. Dyskretny charakter
zmiennej losowej dostarcza naturalnego sposobu grupowania danych i czyni
zestaw krotności nk próbką z rozkładu wielomianowego. Zdefiniujmy
symbolami Pk, k = 1, 2, ..., N, parametry tego rozkładu wielomianowego, które,
przypomnijmy, oznaczają prawdopodobieństwa trafienia z daną do k-tego
słupka histogramu. Niech hipoteza zerowa zadaje w znanej formie
matematycznej rozkład πk(θθθθ ) zmiennej k, ale nie jest znana wartośćwektorowego parametru θθθθ = (θ1, θ2,..., θm) liczącego m elementów, więchipoteza ma charakter złoŜony. Roboczo przyjmiemy, Ŝe ów rozkład dany jestrozkładem geometrycznym, czyli πk(θθθθ ) = Gk(p) = p(1 – p)k – 1 z jednym
nieznanym parametrem p. Hipoteza alternatywna orzeka, Ŝe rozkład zmiennej kjest róŜny od rozkładu Gk(p) i jest to takŜe hipoteza złoŜona.
R.J. Nowak 160
4.16 Test zgodności χχχχ 2 PearsonaWiemy, Ŝe funkcja wiarogodności hipotezy alternatywnej
( )1
k
Nn
k
k
P=
= ∏L P
( ) ( )( )1
k
Nn
k
k
π=
= ∏L θ θθ θθ θθ θ
osiąga maksimum w punktach
( )1
ˆ ˆ ,knN
k kk
k
n nP
n n=
= ⇒ =
∏L P
podczas gdy funkcja wiarogodności hipotezy zerowej
osiąga maksimum w punktach będących rozwiązaniem układu m równań:
( )( )
( )1
1ln 0.
Nk
k
ki k i
nπ
θ π θ=
∂∂= =
∂ ∂∑Lθθθθ
θθθθθθθθ
Statystyka ilorazu wiarogodności
( )( ) ( )1 1
ˆ2 ln 2 ln 2 ln
N N
k kk k
k kk k
P nn n
nλ
π π= =
= =∑ ∑ nθ θθ θθ θθ θ
( )( )( )
( )
2
1
2lnN
k k
k k
n nu
n
πλ
π=
−≈ =∑
nθθθθ
θθθθma uniwersalny rozkład χ 2 z liczbą N – 1 – m stopni swobody.
ma rozkład zaleŜny od liczebności próbki, jednakŜe asymptotycznie
i w warunkach słuszności hipotezy zerowej, zmienna
R.J. Nowak 161
4.16 Test zgodności χχχχ 2 PearsonaZajmijmy się teraz wyznaczeniem prawdopodobieństw πk(θθθθ ), uwzględniajączalecenia odnośnie liczebności klas, co pozwoli odwołać się do asymptotycznego
rozkładu zmiennej u. Klasy od k = 1 do k = 11 mają wystarczające liczebności,
więc dla nich πk(p) = p(1 – p)k – 1, ale klasa k = 12 jest zbyt uboga, więcpołączymy ją z klasą k > 12, o łącznej liczebności n12 = 15, co daje:
( ) ( ) ( ) ( ) ( ) ( )1 11 11
12
12 12 0
1 1 1 1 .k i
k
k k i
p p p p p p p pπ∞ ∞ ∞
−
= = =
= = − = − − = −∑ ∑ ∑G
Maksymalizacji funkcji wiarogodności hipotezy zerowej
( ) ( ) ( ) ( )( ) ( ) ( )
1111
12 1211
12 1111 1 1 11
1 1
1 1 1k
kkk k
k
nnn k k n nn
k
k k
p p p p p p pπ ==
− − +
= =
∑ ∑= = − − = −∏ ∏L
wyznacza ocenę parametru p 11
1
11
12
1
0,2764,
11
k
k
k
k
n
p
kn n
=
=
= ≈+
∑
∑
a stąd otrzymujemy:( )2ln 17,9, 18,5uλ ≈ ≈n
Przy liczbie stopni swobody 12 – 1 – 1 = 10 wartość p testu dla statystyki 2lnλwynosi 0,057 oraz 0,047 dla statystyki u, a więc nie mamy podstaw do
odrzucenia hipotezy o geometrycznym charakterze rozkładu.
R.J. Nowak 162
4.16 Test zgodności χχχχ 2 PearsonaW przypadku ciągłej zmiennej losowe nie mamy naturalnego sposobu
grupowania danych i decyzja o tym, jak to uczynić, czyli jak histogramowaćdane, spoczywa na nas. Jedyne wskazanie, do którego musimy się dostosować towymaganie minimalnej liczby 5 danych w kaŜdym z przedziałów histogramu.
Przedziały te mogą być róŜnej długości, a gdy zakres zmiennej losowej sięga
nieskończoności, powinny objąć takŜe i ten obszar. Nie wolno nam jednak tak
manipulować przedziałami, aby statystyka testu była najmniejsza.
Pozostaje wyznaczenie prawdopodobieństw πk(θθθθ ). Niech f(x;θθθθ) będzie
weryfikowanym rozkładem zmiennej x, wartości xk, k = 1, 2,..., N, oznaczajądolne krawędzie kolejnych przedziałów histogramu, a ∆k, k = 1, 2,..., N, ich
szerokości. Prawdopodobieństwa πk(θθθθ ) obliczamy jako
( ) ( ); ,k k
k
x
k
x
f x dxπ+∆
= ∫θ θθ θθ θθ θ
a statystyka testowa, jej rozkład i liczba stopni swobody nie ulega zmianie:
( )( )( )
( )
2
1
2ln ,N
k k
k k
n nu
n
πλ
π=
−≈ =∑
θθθθ
θθθθn
gdzie oceny parametrów wyznaczamy metodą największej wiarogodności dla
danych zgrupowanych w przedziałach histogramu.
R.J. Nowak 163
4.16 Test zgodności χχχχ 2 PearsonaMetoda testu zgodności Pearsona rozkładu ciągłej zmiennej losowej wymaga
dwóch komentarzy.
Pierwszy dotyczy wyznaczania ocen nieznanych parametrów metodąnajwiększej wiarogodności dla danych zgrupowanych w tych samych
przedziałach, dla których budujemy statystykę testu. Wiemy, Ŝe ocenienie
parametrów z danych bez grupowania jest bardziej dokładne, ale okazuje się, Ŝewykorzystanie statystyki testowej z tak wyznaczonymi estymatami parametrów
prowadzi do częściowego odzyskania, utraconej grupowaniem, liczby stopni
swobody tej statystyki. Stopień tej naprawy nie jest znany, więc procedura taka
prowadzi do zafałszowania wyniku testu i naleŜy się jej wystrzegać.Drugi komentarz odnosi się do pewnej słabości testu Pearsona. OtóŜ,
gdy liczba stopni swobody statystyki testowej jest duŜa, test ten łatwo akceptuje
fałszywą hipotezę.Wynika stąd następująca recepta: jeśli chcemy przetestować hipotezę
o kształcie rozkładu, dane naleŜy grupować w mniejszą liczbę przedziałów, niŜmogłoby to wynikać z liczebności próbki. Dopiero po udanym teście, parametry
powinniśmy oceniać metodą największej wiarogodności wykorzystując kaŜdądaną indywidualnie.
Top Related