Post on 21-Jul-2020
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Statystyka matematyczna. Wykład II.
Estymacja punktowa
Edward Kozłowski
e-mail:e.kozlovski@pollub.pl
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Spis treści
1 Rozkłady zmiennych losowychRozkłady zmiennych losowych dyskretnychRozkłady zmienneych losowych ciągłych
2 Estymatory
3 Metoda największej wiarygodności
4 Metoda momentów.
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Rozkłady zmiennych losowych dyskretnychRozkłady zmienneych losowych ciągłych
Rozkład zmiennej losowej dyskretnej
Niech (Ω,F ,P) będzie przestrzenią probabilistyczną. Rozkłademskokowej zmiennej losowej X nazywamy prawdopodobieństwo tego, żezmienna X może przybrać wartości xi, i = 1, 2, ...
P (ω1) = P (X = x1) = p1
............
P (ωk) = P (X = xk) = pk
..............
gdzie∑k
pk = 1.
Przestrzeń prawdopodobieństwa o skończonej lub przeliczalnej liczbiezdarzeń elementarnych nazywamy przestrzenią dyskretną.
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Rozkłady zmiennych losowych dyskretnychRozkłady zmienneych losowych ciągłych
Przykład.Ciąg pnn∈N
pn = e−λλn
n!dla n = 0, 1, 2, 3, ...
określa nam miarę probabilistyczną na zbiarze liczb naturalnych.
∞∑n=0
e−λλn
n!= e−λ
∞∑n=0
λn
n!= e−λeλ = 1
Przykład.Ciąg pnn∈N
pn = p (1− p)n−1 dla n = 1, 2, 3, ...
określa nam miarę probabilistyczną na zbiarze liczb naturalnych.
∞∑n=1
pn = p
∞∑n=1
(1− p)n−1 =p
1− (1− p)= 1
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Rozkłady zmiennych losowych dyskretnychRozkłady zmienneych losowych ciągłych
Rozkłady zmiennych losowych dyskretnych
Rokład równomierny
P (X = xi) =1n
gdzie x1, ..., xn realizacje zmiennych losowych.
EX =1n
n∑i=1
xi, DX =1n
n∑i=1
(xi − EX)2
Rokład zero-jedynkowy
P (X = 0) = q, P (X = 1) = p
gdzie q, p 0, q + p = 1 lub
P (X = x) = px (1− p)1−x
natomiastEX = p,DX = pq
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Rozkłady zmiennych losowych dyskretnychRozkłady zmienneych losowych ciągłych
Rozkłady zmiennych losowych dyskretnych
Rokład dwumianowy (Bernoulli’ego)
P (X = k) =(n
k
)pk (1− p)n−k
gdzie 0 ¬ p ¬ 1 oraz k = 0, 1, ..., n, natomiast
EX = np,DX = np (1− p)Rokład Poissone’a
P (X = k) = e−λλk
k!gdzie λ 1 oraz k = 0, 1, ..., natomiast
EX = λ,DX = λ
Rokład geometryczny
P (X = k) = p (1− p)k−1
gdzie 0 ¬ p ¬ 1 oraz k = 1, 2, ..., natomiast
EX =1p,DX =
1− pp2Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Rozkłady zmiennych losowych dyskretnychRozkłady zmienneych losowych ciągłych
Rozkład zmiennej losowej ciągłej
Jeżeli X jest zmienną losową ciągła, to P (X = x0) = 0 .Na (Ω,F ,P) rozkład zmiennej losowej X jest określony za pomocąfunkcji gęstości µ, przy czym
P (X < x) =
x∫−∞
µ (t) dt = F (x)
F (x)− F (x− 0) =
x∫x−0
µ (t) dt = 0
Wartością średnia zmiennej losowej X nazywamy wielkość
EX =∫xµ (x) dx,
natomiast wariancja nazywamy wielkość
DX = E (X − EX)2 =∫
(x− EX)2 µ (x) dx
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Rozkłady zmiennych losowych dyskretnychRozkłady zmienneych losowych ciągłych
Rozkład normalny
Funkcja gęstości zniemmej losowej X : Ω→ R o rozkładzie normalnymN (m,σ) jest dana wzorem
γ (x,m, σ) =1√2πσ
exp
[− (x−m)2
2σ
].
Wartość oczekiwana i wariancja zmiennej losowej X wynosząodpowiednio
EX = m, DX = σ2
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Rozkłady zmiennych losowych dyskretnychRozkłady zmienneych losowych ciągłych
Rozkład normalny
W przypadku wielowymiarowym: wekotr losowy ξ : Ω→ Rn ma rozkładnormalny N (m,Q), to funkcja gęstości ma postać
γ (x,m,Q) =1√
(2π)n det (Q)exp
[−1
2(x−m)T Q−1 (x−m)
].
Dla dowolnego λ ∈ R funkcję charakterystyczną zmiennej losowej Xmożemy przedstawić w postaci
Ψx (λ) = Ee−iλX = expiλm− λ2
2σ2
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Rozkłady zmiennych losowych dyskretnychRozkłady zmienneych losowych ciągłych
Rozkłady zmiennych losowych ciągłych
Rokład jednostajny na [a, b]
f (x) = 1
b−a x ∈ [a, b]0 x /∈ [a, b]
gdzie a < b, natomiast
EX =a+ b
2, DX =
112
(b− a)2
Rokład wykładniczy
f (x) = 1
λ exp(−xλ)
x 00 x < 0
gdzie λ > 0, natomiast
EX = λ,DX = λ2
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Rozkłady zmiennych losowych dyskretnychRozkłady zmienneych losowych ciągłych
Rozkłady zmiennych losowych ciągłych
Rokład Laplace’a
f (x) =1
2λexp
(−|x− µ|
λ
)gdzie λ > 0, µ ∈ R natomiast
EX = µ,DX = 2λ2
Rokład Cauchy;ego
f (x) =1π
λ
λ2 + (x− µ)2
gdzie λ > 0, µ ∈ R
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Estymacja punktowa
Niech rozkład badanej cechy X populacji zależy od nieznanegoparametru θ, który należy oszacować w oparciu o n−elementową próbęprostą X1, ..., Xn.
Definicja 1
Funkcję g (X1, ..., Xn) będącą funkcją próby X1, ..., Xn nazywamystatystyką.
Widzimy że satystyka jest także zmienną losową, mającą także pewienrozkład zależny od postaci funkcji g () i od rozkładów zmiennychX1, ..., Xn .
Definicja 2
Statystykę θn (X1, ..., Xn) określa nam wartości nieznanego parametru θoraz nazywamy ją estymatorem parametru θ. Wartość estymatoraotrzymaną na podstawie jednej realizacji próby X1, ..., Xn nazywamyoceną parametru θ.
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Oczywiście dla parametru θ można utworzyć wiele estymatorówθn (X1, ..., Xn), ale wraz ze zwiększeniem liczebności próbki powinnawzrastać dokładność oszacowania parametru θ.
Definicja 3
Estymator θn nazywamy estymatorem zgodnym z parametrem θ, jeżelidla dowolnego ε > 0
limn→∞
P(∣∣∣θn − θ∣∣∣ < ε
)= 1
Definicja 4
Estymator θn nazywamy estymatorem nieobciążonym parametru θ,jeżeli dla każdego n
Eθn = θ
oraz róznicęBn (θ) = Eθn − θ
nazywamy obciążeniem estymatora.
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Definicja 5
W przypadku jeżeli
limn→∞
Bn (θ) = limn→∞
Eθn − θ = 0,
to estymator θn nazywamy estymatorem asymptotycznienieobciążonym parametru θ.
Dla jednego parametru θ może istnieć więcej niż jeden estymotornieobciążony. Jeżeli θ1n i θ2n są dwoma estymatorami nieobciążonymi
parametru θ oraz D2(θ1n
)< D2
(θ2n
)(gdzie D2 () oznacza wariancję
estymatora) to mówimy że θ1n jest estymatorem efektywniejszymparametru θ niż θ2n.
Definicja 6
Estymator nieobciążony θn parametru θ, który ma najmniejszą wariancjęwśród wszystkich nieobciążonych estymatorów wyznaczonych zn−elementowych prób, nazywamy estymatorem efektywnym.
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Wariancja dowolnego nieobciążonego estymatora apełnia następującąnierówność zwaną nierównością Rao-Cramera
D2(θn
) 1
nE[∂∂θ ln f (X, θ)
]2gdzie f oznacza gęstość prawdopodobieństwa zmiennej losowej X wprzypadku zmiennej typu ciągłego lub funkcję prawopodobieńtwa dlazmiennej losowej typu skokowego. Jeżeli we wzorze zachodzi równośćwtedy estymator θn jet estymatoren efektywnym.
Definicja 7
Wielkość nE[∂∂θ ln f (X, θ)
]2nazywamy ilością informacji Fishera
zawartej w n−elementowej próbie, a nierówność Rao-Cramera nazywamynierównością informacyjną.
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Własności:
1. Wartość przeciętna w próbce jest estymatorem nieobciążonym średniej
EX = E
(1n
n∑i=1
Xi
)=
1n
n∑i=1
EXi = m
natomiast
V ar(X)
= V ar
(1n
n∑i=1
Xi
)=
1n2
n∑i=1
V ar (Xi) =σ2
n
2. Moment główny rzędu k
mk =1n
n∑i=1
Xki
jest estymatorem nieobciążonym
Emk = E
(1n
n∑i=1
Xki
)=
1n
n∑i=1
EXki = EXk
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
3. W przypadku, gdy wartoś średnia populacji µ nie jest znana, toestymator wariancji S2
S2 =1n
n∑i=1
(Xi − X
)2jest jestymatorem obciążonym wariancji w populacji σ2, ponieważ
ES2 = E
[1n
n∑i=1
(Xi − X
)2]= E
[1n
n∑i=1
((Xi −m)−
(X −m
))2]
= E
[1n
n∑i=1
((Xi −m)2 − 2 (Xi −m)
(X −m
)+(X −m
)2)]
= E
[1n
n∑i=1
(Xi −m)2]− E
[2(X −m
) 1n
n∑i=1
(Xi −m)
]+ E
[1n
n∑i=1
(X −m
)2]
= E
[1n
n∑i=1
(Xi −m)2]− 2E
[(X −m
)2]+ E
[(X −m
)2]= E
[1n
n∑i=1
(Xi −m)2]− E
[(X −m
)2]= σ2 − V ar
(X),
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
a zatem
ES2 = σ2 − σ2
n=
(n− 1)σ2
n6= σ2
Estymator wariancji S21
S21 =1
n− 1
n∑i=1
(Xi − X
)2jest estymatorem nieobciążonym wariancji w populacji σ2 przy nieznanejwartości średniej µ w populacji.
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
4. W przypadku gdy wartość średnia populacji µ jest znana, to estymatorwariancji S2
S22 =1n
n∑i=1
(Xi −m)2
jest estymatorem nieobciążonym wariancji w populacji σ2,
ES2 = E
[1n
n∑i=1
(Xi −m)2]
= E
[1n
n∑i=1
X2i −2mn
n∑i=1
Xi +m2
]
=1n
n∑i=1
EX2i −2mn
n∑i=1
EXi +m2 = EX2 − 2m2 +m2 =
= EX2 − (EX)2 = V ar (X) = σ2
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Metoda największej wiarygodności
Niech rozkład badanej cechy X zależy od parametrów θ1, θ2, ..., θk. Napodstawie n−elementowej próby prostej X1, ..., Xn, (n > k) tworzymyfunkcję wiarygodnośći
L (θ1, θ2, ..., θk) = f (X1; θ1, θ2, ..., θk) · ... · f (Xn; θ1, θ2, ..., θk)
=n∏j=1
f (Xj ; θ1, θ2, ..., θk) ,
gdzie f () oznacza gęstość prawdopodobieństwa zmiennej losowej X wprzypadku zmiennej typu ciągłego lub funkcję prawopodobieńtwa dlazmiennej losowej typu skokowego.Metoda największej wiarygodności polega na wyznaczeniu estymatorówθ1, θ2, ..., θk tak, aby funkcja wiarygodności L (θ1, θ2, ..., θk) przyjęławartość największą.
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Funkcja lnL (θ1, θ2, ..., θk) osiąga wartość największą dla tych samychwartości parametrów co i funkcja L (θ1, θ2, ..., θk). Zadanie polega
maxθ1,θ2,...,θk
lnL (θ1, θ2, ..., θk) .
Warunek konieczny istnienia ekstremum jest postaci
∂
∂θjlnL (θ1, θ2, ..., θk) = 0 dla j = 1, ..., k
(wartości podejrzane o ekstremum θ1, θ2, ..., θk muszą spełniać tenwarunek). Jeżeli forma kwadratowa[
∂2
∂θi∂θjlnL (θ1, θ2, ..., θk)
]i,j=1,...k
w punkcie(θ1, θ2, ..., θk
)jest określona ujemnie, to
(θ1, θ2, ..., θk
)jest
rozwiązaniem zadania.
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
W przypadku k = 1 (rozkład zmiennej losowej X zależy tylko od jednegoparametru θ), wtedy funkcja wiarygodności jest postaci
L (θ) = f (X1; θ) · ... · f (Xn; θ) =n∏j=1
f (Xj ; θ)
natomiast wartość θ musi spełniać warunek
∂
∂θlnL (θ) = 0
oraz [∂2
∂θ2lnL (θ)
]θ=θ
< 0
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Uwaga 1
Jeżeli badana cecha X zależy tylko od jednego parametru θ oraz istniejeestymator efektywny θ (X1, ..., Xn) to jest on jedymym rozwiązaniemwyznaczonym za pomocą największej wiarygodności. Jeżeli badana cechaX zależy więcej niż od jednego parametru to otzrymane stymatory zapomocą największej wiarygodności mogą być obciążone.
Ogólnie, estymatory uzyskane metodą największej wiarygodności sąestymatorami zgodnymi, asymtotycznie nieobciążonymi i asymptotycznieefektywnymi oraz mają rozkład asymptotycznie normalny, tzn. dla
n→∞ rozklad estymatora θ parametru θ jest N(θ; 1√
nE( ∂∂θ ln f)
2
)
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Przykład 1
Niech badana cecha w populacji generalnej ma rozkład zero-jedynkowy,
P (X = x) = px (1− p)1−x
gdzie 0 ¬ p ¬ 1 oraz x = 0 ∨ 1. Na podstawie n− elementowej próbyx = (x1, ..., xn) korzystając z metody największej wiarygodnościoszacować parametr p.Tworzymy funkcję wiarygodnośći postaci
L (x, p) =n∏j=1
pxj (1− p)1−xj .
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Logarytm naturalny z funkcji wiarygodności jest dany wzorem
lnL (x, p) =n∑j=1
[xj ln p+ (1− xj) ln (1− p)] ,
natomiast pochodna
∂
∂plnL (x, p) =
n∑j=1
[xjp− 1− xj
1− p
].
Przyrównując pochodną do zera otrzymujemy
p =1n
n∑j=1
xj .
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Metoda momentów.
Metoda momentów polega na przyrównaniu pewnej liczby momentow zpróby (najczęściej kolejnych) do odpowiednich momentów rozkładu(będących funkcjami nieznanych parametrów). W tym celuwykorzystujemy tyle momentów ile jest nieznanych parametrów rozkładu,oraz rozwiązując otrzymany układ równań otrzymujemy oceny tychparametrów.Estymatory uzyskane metoda momentów na ogół nie są efektywne,niemniej jednak metoda momentów jest często używana ze względu naswoją prostotę. Oceny uzyskane tą metodą najczęściej wykorzystujemyjako pierwsze przybliżenie.
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Przykład 2.
Niech badana cecha w populacji generalnej ma rozkład jednostajny na[a, b]
f (x) = 1
b−a x ∈ [a, b]0 x /∈ [a, b]
gdzie a < b Na podstawie n− elementowej próby x = (x1, ..., xn)korzystając z metody momentów oszacować parametry a i b. Podstawowemomenty dla rozkładu jednostajnego na [a, b] wynoszą
EX =a+ b
2, DX =
112
(b− a)2
Rozwiązując układ równańa+b2 = 1
n
n∑j=1
xj
112 (b− a)2 = 1
n
n∑j=1
(xj − X
)2otzrymujemy wielkości a i b.
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Przykład 3.
Niech badana cecha w populacji generalnej ma rozkład Lasplace’a
f (x) =1
2λexp
(−|x− µ|
λ
)gdzie λ > 0, µ ∈ R Na podstawie n− elementowej próby x = (x1, ..., xn)korzystając z metody momentów oszacować parametry λ, µ. Podstawowemomenty dla rozkładu Laplace’a wynoszą
EX = µ,DX = 2λ2.
Edward Kozłowski Estymacja punktowa
Rozkłady zmiennych losowychEstymatory
Metoda największej wiarygodnościMetoda momentów.
Rozwiązując układ równańµ = 1
n
n∑j=1
xj = X
2λ2 = 1n
n∑j=1
(xj − X
)2otzrymujemy
µ = 1n
n∑j=1
xj
λ =
√12n
n∑j=1
(xj − µ)2
Edward Kozłowski Estymacja punktowa