Metoda momentów i kwantyli próbkowych

Wrocław, 7 listopada 2014

Metoda momentów

Momenty zmiennych losowych

X1,X2, . . . ,Xn - próba losowa.

Momenty teoretyczne:

µ1 = EX1, µ2 = EX 21 , µ3 = EX 31 , . . . , µk = EX k1

Momenty empiryczne:

m1 =1n

n∑i=1

Xi , m2 =1n

n∑i=1

X 2i , m3 =1n

n∑i=1

X 3i , . . . ,mk =1n

n∑i=1

X ki

Momenty zmiennych losowych

X1,X2, . . . ,Xn - próba losowa.

Momenty teoretyczne:

µ1 = EX1, µ2 = EX 21 , µ3 = EX 31 , . . . , µk = EX k1

Momenty empiryczne:

m1 =1n

n∑i=1

Xi , m2 =1n

n∑i=1

X 2i , m3 =1n

n∑i=1

X 3i , . . . ,mk =1n

n∑i=1

X ki

Momenty zmiennych losowych

X1,X2, . . . ,Xn - próba losowa.

Momenty teoretyczne:

µ1 = EX1, µ2 = EX 21 , µ3 = EX 31 , . . . , µk = EX k1

Momenty empiryczne:

m1 =1n

n∑i=1

Xi , m2 =1n

n∑i=1

X 2i , m3 =1n

n∑i=1

X 3i , . . . ,mk =1n

n∑i=1

X ki

Momenty zmiennych losowych

Momenty empiryczne są nieobciążonymi estymatorami momentówteoretycznych

E (m1) = E

(1n

n∑i=1

Xi

)= EX1 = µ1

E (m2) = E

(1n

n∑i=1

X 2i

)= EX 21 = µ2

...

E (mk) = E

(1n

n∑i=1

X ki

)= EX k

1 = µk .

Momenty zmiennych losowych

Niech X1,X2, . . . ,Xn oznacza próbę losową z rozkładu o gęstościfθ(x), gdzie θ = (θ1, θ2, . . . , θn)′ jest wektorem nieznanychparametrów rozkładu.

Momenty µj - funkcje nieznanych parametrów θ1, θ2, . . . , θnpostaci µj = gj(θ1, θ2, . . . , θn).

Momenty zmiennych losowych

Niech X1,X2, . . . ,Xn oznacza próbę losową z rozkładu o gęstościfθ(x), gdzie θ = (θ1, θ2, . . . , θn)′ jest wektorem nieznanychparametrów rozkładu.

Momenty µj - funkcje nieznanych parametrów θ1, θ2, . . . , θnpostaci µj = gj(θ1, θ2, . . . , θn).

Momenty zmiennych losowych

Przykład 1Niech X1,X2, . . . ,Xn, będzie próbą losową z rozkładu normalnegoze średnią θ1 i wariacją θ22, wówczas momenty teoretyczne µ1 i µ2są funkcjami tych parametrów postaci:

µ1 = EX1 = θ1µ2 = EX 21 = θ21 + θ22

Drugą z równości otrzymaliśmy korzystając z tego, żeEX 21 = (EX1)

2 + Var(X1).

Momenty zmiennych losowych

Przykład 1Niech X1,X2, . . . ,Xn, będzie próbą losową z rozkładu normalnegoze średnią θ1 i wariacją θ22, wówczas momenty teoretyczne µ1 i µ2są funkcjami tych parametrów postaci:

µ1 = EX1 = θ1µ2 = EX 21 = θ21 + θ22

Drugą z równości otrzymaliśmy korzystając z tego, żeEX 21 = (EX1)

2 + Var(X1).

Metoda Momentów

Estymatorem (θ1, θ2, . . . , θn)′ wektora parametrówθ = (θ1, θ2, . . . , θn)′ nazywamy rozwiązanie układu równań:

m1 = g1(θ1, θ2, . . . , θn) = µ1m2 = g2(θ1, θ2, . . . , θn) = µ2

...mk = gk(θ1, θ2, . . . , θn) = µk .

Metoda Momentów - przykłady

Przykład 2Niech X1,X2, . . . ,Xn bedzie próbą z rozkładu NormalnegoN(µ, σ2). Szukamy estymatorów wektora (θ1, θ2) = (µ, σ2).Momenty teoretyczne są postaci:

µ1 = g1(θ1, θ2) = g1(µ, σ2) = µ,

µ2 = g2(θ1, θ2) = g2(µ, σ2) = µ2 + σ2.

Momenty otrzymane z próby są postaci:

m1 = 1n

∑ni=1 Xi

m2 = 1n

∑ni=1 X

2i

Metoda Momentów - przykłady

Przykład 2 - cdA zatem przyrównując do siebie odpowiednie momentyotrzymujemy układ równań postaci:{

m1 = 1n

∑ni=1 Xi = µ = µ1

m2 = 1n

∑ni=1 X

2i = µ2 + σ2 = µ2

Rozwiązując powyższy układ równań ze względu na µ i σ2

otrzymujemy: µ = 1n

∑ni=1 Xi = X

σ2 = 1n

∑ni=1 X

2i −

[1n

∑ni=1 Xi

]2= 1

n

∑ni=1(Xi − X )2

,

gdzie µ i σ2 oznaczają odpowiednio estymatory średniej µ iwariancji σ2.

Metoda Momentów - przykłady

Przykład 2 - cdWidzimy zatem, że estymatorem średniej w rozkładzie normalnymotrzymanym MM jest średnia z próby, natomiast estymatoremwariancji obciążona wariancja próbkowa.

Metoda Momentów

UwagaEstymatory wyznaczone metodą momentów w ogólności nie sąwyznaczone jednoznacznie.

Metoda Momentów - przykłady

Przykład 3Niech X1,X2, . . . ,Xn bedzie próbą z rozkładu Poissona Poi(λ).

I. Wyznaczamy estymator parametru λ w oparciu o pierwszymoment. Ponieważ µ1 = EX1 = λ otrzymujemy:

λ =1n

n∑i=1

Xi = X .

Metoda Momentów - przykłady

Przykład 3Niech X1,X2, . . . ,Xn bedzie próbą z rozkładu Poissona Poi(λ).

I. Wyznaczamy estymator parametru λ w oparciu o pierwszymoment. Ponieważ µ1 = EX1 = λ otrzymujemy:

λ =1n

n∑i=1

Xi = X .

Metoda Momentów - przykłady

Przykład 3 - cdII. Wyznaczamy estymator parametru λ w oparciu o pierwsze dwamomenty. Ponieważ µ2 = EX 21 = (EX1)

2 + Var(X1) = λ2 + λotrzymujemy: {

1n

∑ni=1 Xi = λ

1n

∑ni=1 X

2i = λ2 + λ,

a stąd otrzymujemy estymatory

λ1 = X

λ2 = 12(√1+ 4X 2 − 1)

Estymator λ1 jest najlepszym estymatorem nieobciążonym,estymator λ2 jest obciążony.Przykład ten pokazuje, że MM może prowadzić do bezsensownychestymatorów.

Metoda Momentów - przykłady

Przykład 3 - cdII. Wyznaczamy estymator parametru λ w oparciu o pierwsze dwamomenty. Ponieważ µ2 = EX 21 = (EX1)

2 + Var(X1) = λ2 + λotrzymujemy: {

1n

∑ni=1 Xi = λ

1n

∑ni=1 X

2i = λ2 + λ,

a stąd otrzymujemy estymatory

λ1 = X

λ2 = 12(√1+ 4X 2 − 1)

Estymator λ1 jest najlepszym estymatorem nieobciążonym,estymator λ2 jest obciążony.Przykład ten pokazuje, że MM może prowadzić do bezsensownychestymatorów.

Metoda Momentów - przykłady

Przykład 3 - cdII. Wyznaczamy estymator parametru λ w oparciu o pierwsze dwamomenty. Ponieważ µ2 = EX 21 = (EX1)

2 + Var(X1) = λ2 + λotrzymujemy: {

1n

∑ni=1 Xi = λ

1n

∑ni=1 X

2i = λ2 + λ,

a stąd otrzymujemy estymatory

λ1 = X

λ2 = 12(√1+ 4X 2 − 1)

Estymator λ1 jest najlepszym estymatorem nieobciążonym,estymator λ2 jest obciążony.

Przykład ten pokazuje, że MM może prowadzić do bezsensownychestymatorów.

Metoda Momentów - przykłady

Przykład 3 - cdII. Wyznaczamy estymator parametru λ w oparciu o pierwsze dwamomenty. Ponieważ µ2 = EX 21 = (EX1)

2 + Var(X1) = λ2 + λotrzymujemy: {

1n

∑ni=1 Xi = λ

1n

∑ni=1 X

2i = λ2 + λ,

a stąd otrzymujemy estymatory

λ1 = X

λ2 = 12(√1+ 4X 2 − 1)

Estymator λ1 jest najlepszym estymatorem nieobciążonym,estymator λ2 jest obciążony.Przykład ten pokazuje, że MM może prowadzić do bezsensownychestymatorów.

Metoda Momentów - przykłady

Przykład 4Niech X1,X2, . . . ,Xn bedzie próbą z rozkładu jednostajnego naprzedziale (a, b), U(a, b). Wyznaczymy estymaroty MMparametrów a i b.

Momenty teoretyczne z rozkładu jednostajnego są postaci:

µ1 = EX1 = a+b2

µ2 = Var(X1) + (EX1)2 = (b−a)2

12 +(a+b2

)2= a2+ab+b2

3

Przyrównując do siebie odpowiednie momenty dostajemy układrównań postaci:

m1 = 1n

∑ni=1 Xi = a+b

2 = µ1

m2 = 1n

∑ni=1 X

2i = a2+ab+b2

3 = µ2

Metoda Momentów - przykłady

Przykład 4Niech X1,X2, . . . ,Xn bedzie próbą z rozkładu jednostajnego naprzedziale (a, b), U(a, b). Wyznaczymy estymaroty MMparametrów a i b.Momenty teoretyczne z rozkładu jednostajnego są postaci:

µ1 = EX1 = a+b2

µ2 = Var(X1) + (EX1)2 = (b−a)2

12 +(a+b2

)2= a2+ab+b2

3

Przyrównując do siebie odpowiednie momenty dostajemy układrównań postaci:

m1 = 1n

∑ni=1 Xi = a+b

2 = µ1

m2 = 1n

∑ni=1 X

2i = a2+ab+b2

3 = µ2

Metoda Momentów - przykłady

Przykład 4Niech X1,X2, . . . ,Xn bedzie próbą z rozkładu jednostajnego naprzedziale (a, b), U(a, b). Wyznaczymy estymaroty MMparametrów a i b.Momenty teoretyczne z rozkładu jednostajnego są postaci:

µ1 = EX1 = a+b2

µ2 = Var(X1) + (EX1)2 = (b−a)2

12 +(a+b2

)2= a2+ab+b2

3

Przyrównując do siebie odpowiednie momenty dostajemy układrównań postaci:

m1 = 1n

∑ni=1 Xi = a+b

2 = µ1

m2 = 1n

∑ni=1 X

2i = a2+ab+b2

3 = µ2

Metoda Momentów - przykłady

Przykład 4 - cdCo dalej prowadzi do:{

a = 2X − b

b2 − 2X b + 4(X )2 − 3X 2 = 0

Dla równania drugiego wyznaczamy deltę

∆ = 4(X )2 − 16(X )2 + 12X 2 = 12(X 2 − (X )2),

a następnie pierwiastki równania.Ostatecznie otrzymujemy estymatory MM parametrów a i bpostaci:

a = X +√3(X 2 − (x)2)

b = X −√3(X 2 − (x)2)

Metoda Momentów - przykłady

Przykład 4 - cdCo dalej prowadzi do:{

a = 2X − b

b2 − 2X b + 4(X )2 − 3X 2 = 0

Dla równania drugiego wyznaczamy deltę

∆ = 4(X )2 − 16(X )2 + 12X 2 = 12(X 2 − (X )2),

a następnie pierwiastki równania.

Ostatecznie otrzymujemy estymatory MM parametrów a i bpostaci:

a = X +√3(X 2 − (x)2)

b = X −√3(X 2 − (x)2)

Metoda Momentów - przykłady

Przykład 4 - cdCo dalej prowadzi do:{

a = 2X − b

b2 − 2X b + 4(X )2 − 3X 2 = 0

Dla równania drugiego wyznaczamy deltę

∆ = 4(X )2 − 16(X )2 + 12X 2 = 12(X 2 − (X )2),

a następnie pierwiastki równania.Ostatecznie otrzymujemy estymatory MM parametrów a i bpostaci:

a = X +√3(X 2 − (x)2)

b = X −√3(X 2 − (x)2)

Metoda kwantyli

Metoda Kwantyli

Estymatorem (θ1, θ2, . . . , θk)′ wektora parametrówθ = (θ1, θ2, . . . , θk)′ nazywamy rozwiązanie układu równań:

F−1θ (p1) = Zp1,n

F−1θ (p2) = Zp2,n...

F−1θ (pk) = Zpk ,n,

gdzie F−1θ (p) oznacza kwantyl teoretyczny rzędu p, natomiastZp,n = X[np]+1 : n, p ∈ (0, 1) jest kwantylem z próby.

Metoda Kwantyli - przykładyPrzykład 5Niech X1,X2, . . . ,Xn bedzie próbą z rozkładu normalnegoN(µ, σ2), µ ∈ R, σ > 0 i niech F−1θ (p) bedzie kwantylem rzędu p,p ∈ (0, 1), θ = (µ, σ2).

Oznaczmy przez up kwantyl rzędu p ze standardowego rozkładunormalnego N(0, 1), wówczas

F−1θ (p) = up√σ2 + µ.

Niech p 6= q oraz Zp,n i Zq,n oznaczają odpowiednie kwantylepróbkowe rzedu p i q. W calu znalezienia estymatorów MK wektoraparametrów θ = (µ, σ2) należy rozwiązac układ równań:{

F−1θ (p) = up√σ2 + µ = Zp,n

F−1θ (q) = uq√σ2 + µ = Zq,n

Metoda Kwantyli - przykładyPrzykład 5Niech X1,X2, . . . ,Xn bedzie próbą z rozkładu normalnegoN(µ, σ2), µ ∈ R, σ > 0 i niech F−1θ (p) bedzie kwantylem rzędu p,p ∈ (0, 1), θ = (µ, σ2).

Oznaczmy przez up kwantyl rzędu p ze standardowego rozkładunormalnego N(0, 1), wówczas

F−1θ (p) = up√σ2 + µ.

Niech p 6= q oraz Zp,n i Zq,n oznaczają odpowiednie kwantylepróbkowe rzedu p i q. W calu znalezienia estymatorów MK wektoraparametrów θ = (µ, σ2) należy rozwiązac układ równań:{

F−1θ (p) = up√σ2 + µ = Zp,n

F−1θ (q) = uq√σ2 + µ = Zq,n

Metoda Kwantyli - przykładyPrzykład 5Niech X1,X2, . . . ,Xn bedzie próbą z rozkładu normalnegoN(µ, σ2), µ ∈ R, σ > 0 i niech F−1θ (p) bedzie kwantylem rzędu p,p ∈ (0, 1), θ = (µ, σ2).

Oznaczmy przez up kwantyl rzędu p ze standardowego rozkładunormalnego N(0, 1), wówczas

F−1θ (p) = up√σ2 + µ.

Niech p 6= q oraz Zp,n i Zq,n oznaczają odpowiednie kwantylepróbkowe rzedu p i q. W calu znalezienia estymatorów MK wektoraparametrów θ = (µ, σ2) należy rozwiązac układ równań:{

F−1θ (p) = up√σ2 + µ = Zp,n

F−1θ (q) = uq√σ2 + µ = Zq,n

Metoda Kwantyli - przykłady

Przykład 5 - cdRozwiązując układ równań ze względu na µ i σ2 dostajemyestymatory MK postaci:

µ = Zp,nuq−Zq,nupuq−up

σ2 =(Zp,n−Zq,n

up−uq

)2.