Wykład 1. Organizacja i zakres tematyczny...

Wykład 1.Organizacja i zakres tematyczny wykładu

Wybrane pojecia rachunku prawdopodobienstwa – powtórzenie

Paweł Wachel

Katedra Automatyki, Mechatroniki i Systemów Sterowania

Wydział Elektroniki, Politechnika Wrocławska

Plan wykładu

• Wymagania wstepne.

• Prezentacja zakresu tematycznego wykładu.

• Warunki i terminy zaliczenia.

• Literatura podstawowa i uzupełniajaca.

• Rachunek prawdopodobienstwa – powtórzenie wybranych pojec:

• prawdopodobienstwo i przestrzen probabilistyczna,

• zmienna losowa ciagła i dyskretna,

• dystrybuanta,

• gestosc prawdopodobienstwa,

• wartosc oczekiwana,

• wariancja,

• niezaleznosc zmiennych losowych,

• kowariancja,

• korelacja.

• Dwa słowa o procesach stochastycznych...

Plan wykładu

• Wymagania wstepne.

• Prezentacja zakresu tematycznego wykładu.

• Warunki i terminy zaliczenia.

• Literatura podstawowa i uzupełniajaca.

• Rachunek prawdopodobienstwa – powtórzenie wybranych pojec:

• prawdopodobienstwo i przestrzen probabilistyczna,

• zmienna losowa ciagła i dyskretna,

• dystrybuanta,

• gestosc prawdopodobienstwa,

• wartosc oczekiwana,

• wariancja,

• niezaleznosc zmiennych losowych,

• kowariancja,

• korelacja.

• Dwa słowa o procesach stochastycznych...

Literatura (zasadniczo uzupełniajaca...)

1. Probabilistyka i statystyka matematyczna:[JS] JAKUBOWSKI, Jacek; SZTENCEL, Rafał. Wstep do teorii prawdopodobienstwa. Script,

2001.[PA] PAPOULIS, Athanasios. Prawdopodobienstwo, zmienne losowe i procesy

stochastyczne. Wydawnictwa Naukowo-Techniczne, 1972.[PP] PLUCINSKA, Agnieszka; PLUCINSKI, Edmund. Probabilistyka: rachunek

prawdopodobienstwa, statystyka matematyczna, procesy stochastyczne. WydawnictwaNaukowo-Techniczne, 2006.

[GK] GAJEK, Lesław; KAŁUSZKA, Marek. Wnioskowanie statystyczne: modele i metody.Wydawnictwa Naukowo-Techniczne, 2000.

[KR] KRZYSKO, Mirosław. Statystyka matematyczna. Wyd. Naukowe Uniwersytetu im.Adama Mickiewicza, 1997.

[KM] KORONACKI, Jacek; MIELNICZUK, Jan. Statystyka: dla studentów kierunkówtechnicznych i przyrodniczych. Wydawnictwa Naukowo-Techniczne, 2009.

2. Generacja liczb pseudolosowych:[WZ] WIECZORKOWSKI, Robert; ZIELINSKI, Ryszard. Komputerowe generatory liczb

losowych. Wydawnictwa Naukowo-Techniczne, 1997.

3. Estymacja parametryczna i nieparametryczna:[GK] GAJEK, Lesław; KAŁUSZKA, Marek. Wnioskowanie statystyczne: modele i metody.

Wydawnictwa Naukowo-Techniczne, 2000.[WJ] WAND, Matt P.; JONES, M. Chris. Kernel smoothing. Chapman and Hall/CRC, 1994.

Literatura (zasadniczo uzupełniajaca...) c.d.

1. [W1] WASSERMAN, Larry. All of statistics: a concise course in statistical inference. SpringerScience & Business Media, 2013.

[W2] WASSERMAN, Larry. All of nonparametric statistics. Springer Science & BusinessMedia, 2006.

4. Identyfikacja systemów:[SS] SÖDERSTRÖM, Torsten D.; STOICA, Petre Gheorghe. Identyfikacja systemów.

Wydawnictwo Naukowe PWN, 1997.[MN] MANCZAK, Kazimierz; NAHORSKI, Zbigniew. Komputerowa identyfikacja obiektów

dynamicznych. Panstwowe Wydawnictwo Naukowe, 1983.[GP] GREBLICKI, Włodzimierz; PAWLAK, Mirosław. Nonparametric system identification.

Cambridge: Cambridge University Press, 2008.[PS] PINTELON, Rik; SCHOUKENS, Johan. System identification: a frequency domain

approach. John Wiley & Sons, 2012.[MA] MANCZAK, Kazimierz. Metody identyfikacji wielowymiarowych obiektów sterowania.

Warszawa: WNT, 1979.

5. Inne:[SZ] SZABATIN, Jerzy. Podstawy teorii sygnałów. Wydawnictwa Komunikacji i Łacznosci,

1982. (m.in. przestrzenie funkcyjne w zadaniach przetwarzania sygnałów)[BH] BROWN, Robert Grover, HWANG Patrick. Introduction to random signals and applied

Kalman filtering. New York: Wiley, 1992.[SE] SERFLING, Robert J. Twierdzenia graniczne statystyki matematycznej. Panstwowe

Wydawnictwo Naukowe, 1991. (pozycja dla „zaawansowanych”).

RACHUNEKPRAWDOPODOBIENSTWA

(powtórzenie wybranych pojec)

Przestrzen probabilistyczna i zmienna losowa

O czym mówic nie bedziemy... explicite

Aksjomatyka teorii prawdopodobienstwa, szczegóły konstrukcji i własnosci σ-ciał,mierzalnosc i funkcje borelowskie, całka Lebesgue’a, itd.

Przestrzen probabilistyczna – matematyczny model doswiadczenia losowegoPrzestrzen probabilistyczna (Ω,F ,P) to struktura złozona z trzech komponentów,z których pierwszy (tj. Ω) jest tzw. zbiorem zdarzen elementarnych, drugi (tj. F ) jestσ-ciałem okreslonym na Ω, natomiast trzeci (P) jest miara probabilistyczna okreslonana F .

Zmienna losowaZmienna losowa to funkcja (sic!) przypisujaca zdarzeniom elementarnym liczby.Formalnie powiemy, ze przekształcenie X : Ω→ R jest zmienna losowa, jezeli dlakazdego t ∈ R zbiór ω ∈ Ω : X (ω) 6 t jest zdarzeniem1 (tj. nalezy do F ).

Uwaga: Powyzsza definicja została wprowadzona w celu zapewnienia, zeprawdopodobienstwa wszystkich zdarzen zwiazanych ze zmienna losowa sa dobrzeokreslone.

1zob. np. [JS] str. 59, [GK] str. 29

Dystrybuanta zmiennej losowej

Niech X bedzie dowolna zmienna losowa. Funkcje F : R→ [0, 1] okreslona wzorem2

F (t) = P X 6 t

nazywamy dystrybuanta zmiennej losowej X .

Własnosci dystrybuanty:

1. jest funkcja niemalejaca (tj. dla kazdego x1 < x2, F (x1) 6 F (x2).

2. limt→−∞

F (t) = 0 oraz limt→+∞

F (t) = 1.

3. jest funkcja prawostronnie* ciagła.

Dystrybuanta w sposób pełny okresla rozkład prawdopodobienstwa zmiennej losowej.Jezeli zmienna losowa X ma dystrybuante F , zmienna losowa Y ma dystrybuante Goraz F (x) = G (x) dla kazdego x , to dla dowolnego∗ zbioru A zachodzi

P X ∈ A = P (Y ∈ A) .

2Uwaga: w literaturze spotkac mozna równiez definicje z nierównoscia ostra.

F (t) = P X 6 t

2. limt→−∞

F (t) = 1.

P X ∈ A = P (Y ∈ A) .

F (t) = P X 6 t

2. limt→−∞

F (t) = 1.

P X ∈ A = P (Y ∈ A) .

F (t) = P X 6 t

2. limt→−∞

F (t) = 1.

P X ∈ A = P (Y ∈ A) .

F (t) = P X 6 t

2. limt→−∞

F (t) = 1.

P X ∈ A = P (Y ∈ A) .

Zmienne losowe dyskretne i ciagłe

Zmienna losowa typu dyskretnego

Zmienna losowa X jest typu dyskretnego, jezeli dla pewnego (niekoniecznieskonczonego) zbioru wartosci W = x1, x2, . . . zachodzi:

pidef .= P X = xi > 0 dla kazdego xi ∈ W

oraz∑

i pi = 1.

Zmienna losowa typu ciagłegoZmienna losowa X jest typu ciagłego, jezeli istnieje nieujemna funkcja f (x) okreslonana całej prostej i całkowalna do jedynki (tj.

∫∞−∞ f (x) dx = 1), taka, ze dla dowolnego

przedziału [a, b] zachodzi

P a 6 X 6 b =

af (x) dx .

Funkcja f (x) nazywana jest gestoscia rozkładu prawdopodobienstwa zmiennejlosowej X .

Dystrybuanta F (x) zmiennej losowej typu ciagłego wyraza sie wzorem

F (x) =

−∞f (t) dt .

W kazdym punkcie ciagłosci gestosci f (x) istnieje pochodna dystrybuanty F ′ (x) orazF ′ (x) = f (x).

oraz∑

i pi = 1.

P a 6 X 6 b =

af (x) dx .

F (x) =

−∞f (t) dt .

oraz∑

i pi = 1.

P a 6 X 6 b =

af (x) dx .

F (x) =

−∞f (t) dt .

Niezaleznosc zmiennych losowych

Definicja: Zmienne losowe X i Y nazywamy niezaleznymi, jezeli dla kazdego∗ A i B

P X ∈ A,Y ∈ B = P X ∈ AP Y ∈ B .

Twierdzenie: Zmienne losowe X , Y o rozkładach dyskretnych sa niezalezne wtedyi tylko wtedy, gdy zachodzi zwiazek

P X = x ,Y = y = P X = xP Y = y ,

dla wszystkich∗ wartosci x , y .

Twierdzenie3: Jezeli X i Y sa zmiennymi losowymi o rozkładach ciagłychz gestosciami prawdopodobienstwa odpowiednio fX () i fY (), to zmienne te saniezalezne wtedy i tylko wtedy, gdy

fXY (x , y) = fX (x) fY (y) .

Twierdzenie4: Rozkład sumy niezaleznych zmiennych losowych o rozkładach ciagłychjest zmienna losowa o rozkładzie ciagłym z gestoscia bedaca splotem gestosci.

3zob. np. [JS]4zob. np. [JS] str. 103

P X ∈ A,Y ∈ B = P X ∈ AP Y ∈ B .

P X = x ,Y = y = P X = xP Y = y ,

fXY (x , y) = fX (x) fY (y) .

P X ∈ A,Y ∈ B = P X ∈ AP Y ∈ B .

P X = x ,Y = y = P X = xP Y = y ,

fXY (x , y) = fX (x) fY (y) .

P X ∈ A,Y ∈ B = P X ∈ AP Y ∈ B .

P X = x ,Y = y = P X = xP Y = y ,

fXY (x , y) = fX (x) fY (y) .

Przykład (niezalezne zm. los.): Załózmy, ze X i Y sa niezalezne i obie posiadajate sama gestosc prawdopodobienstwa

f (v) =

2v dla v ∈ [0, 1]

0 dla v /∈ [0, 1].

Wyznaczymy prawdopodobienstwo zdarzenia (X + Y 6 1).

Na mocy niezaleznosci zmiennych X i Y łaczna gestosc prawdopodobienstwa danajest wzorem

fXY (x , y) = f (x)f (y) =

4xy dla x ∈ [0, 1] , y ∈ [0, 1]

0 w przeciwnym przyp..

Mamy zatem

P X + Y 6 1 =

∫∫x+y61

fXY (x , y) dxdy

= 4∫ 1

[∫ 1−x

= 4∫ 1

(1− x)2

f (v) =

2v dla v ∈ [0, 1]

0 dla v /∈ [0, 1].

fXY (x , y) = f (x)f (y) =

4xy dla x ∈ [0, 1] , y ∈ [0, 1]

Mamy zatem

P X + Y 6 1 =

∫∫x+y61

fXY (x , y) dxdy

= 4∫ 1

[∫ 1−x

= 4∫ 1

(1− x)2

f (v) =

2v dla v ∈ [0, 1]

0 dla v /∈ [0, 1].

fXY (x , y) = f (x)f (y) =

4xy dla x ∈ [0, 1] , y ∈ [0, 1]

Mamy zatem

P X + Y 6 1 =

∫∫x+y61

fXY (x , y) dxdy

= 4∫ 1

[∫ 1−x

= 4∫ 1

(1− x)2

f (v) =

2v dla v ∈ [0, 1]

0 dla v /∈ [0, 1].

fXY (x , y) = f (x)f (y) =

4xy dla x ∈ [0, 1] , y ∈ [0, 1]

Mamy zatem

P X + Y 6 1 =

∫∫x+y61

fXY (x , y) dxdy

= 4∫ 1

[∫ 1−x

= 4∫ 1

(1− x)2

f (v) =

2v dla v ∈ [0, 1]

0 dla v /∈ [0, 1].

fXY (x , y) = f (x)f (y) =

4xy dla x ∈ [0, 1] , y ∈ [0, 1]

Mamy zatem

P X + Y 6 1 =

∫∫x+y61

fXY (x , y) dxdy

= 4∫ 1

[∫ 1−x

= 4∫ 1

(1− x)2

Wartosc oczekiwana

Wartosc oczekiwana5

Zmienna losowa dyskretna: Zmienna losowa ciagła:

E X =∑

ipi xi E X =

∫ ∞−∞

xf (x) dx

Własnosci operatora wartosci oczekiwanej:

1. Niech X i Y beda zmiennymi losowymi (zaleznymi lub niezaleznymi).Wtedy E X + Y = E X+ E Y.

2. Niech X bedzie zmienna losowa oraz a ∈ R bedzie pewna stała.Wtedy E aX = aE X.

3. Jezeli zmienne losowe X i Y sa niezalezne, to E XY = E XE Y.

4. Jezeli X jest zmienna losowa typu ciagłego z gestoscia prawd. f (x) oraz g () jestpewna∗ funkcja, to E g (X) =

∫∞−∞ g (x) f (x) dx .

5. Jezeli P X = c = 1, to E X = c.

6. Jezeli P X 6 Y = 1, to E X 6 E Y.

5Nie dyskutujemy tu warunków istnienia wartosci oczekiwanej zm. los.

Wartosc oczekiwana

Wartosc oczekiwana5

E X =∑

ipi xi E X =

∫ ∞−∞

xf (x) dx

∫∞−∞ g (x) f (x) dx .

Wartosc oczekiwana

Wartosc oczekiwana5

E X =∑

ipi xi E X =

∫ ∞−∞

xf (x) dx

∫∞−∞ g (x) f (x) dx .

Wartosc oczekiwana

Wartosc oczekiwana5

E X =∑

ipi xi E X =

∫ ∞−∞

xf (x) dx

∫∞−∞ g (x) f (x) dx .

Wartosc oczekiwana

Wartosc oczekiwana5

E X =∑

ipi xi E X =

∫ ∞−∞

xf (x) dx

∫∞−∞ g (x) f (x) dx .

Wartosc oczekiwana

Wartosc oczekiwana5

E X =∑

ipi xi E X =

∫ ∞−∞

xf (x) dx

∫∞−∞ g (x) f (x) dx .

Wartosc oczekiwana

Wartosc oczekiwana5

E X =∑

ipi xi E X =

∫ ∞−∞

xf (x) dx

∫∞−∞ g (x) f (x) dx .

Wariancja i kowariancja

Wariancja

Wariancja zmiennej losowej X o wartosci oczekiwanej E X nazywamy liczbe

Var X = E X − E X2 .

Własnosci wariancji (przy zał. istnienia):

1. Var X > 0.

2. Var X = E

X 2− (E X)2.

3. Niech a bedzie pewna stała. Wtedy Var X + a = Var X oraz Var a = 0.

4. Niech a bedzie pewna stała. Wtedy Var aX = a2Var X.5. Jezeli zmienne loswe X i Y sa niezalezne, to Var X + Y = Var X+ Var Y.

Kowariancja

Kowariancja zmiennych losowych X i Y (spełniajacych warunek E |XY | <∞)nazywamy wielkosc

cov X ,Y = E(X − EX) (Y − EY). (1)

Wariancja

1. Var X > 0.

2. Var X = E

X 2− (E X)2.

Kowariancja

cov X ,Y = E(X − EX) (Y − EY). (1)

Wariancja

1. Var X > 0.

2. Var X = E

X 2− (E X)2.

Kowariancja

cov X ,Y = E(X − EX) (Y − EY). (1)

Wariancja

1. Var X > 0.

2. Var X = E

X 2− (E X)2.

Kowariancja

cov X ,Y = E(X − EX) (Y − EY). (1)

Wariancja

1. Var X > 0.

2. Var X = E

X 2− (E X)2.

4. Niech a bedzie pewna stała. Wtedy Var aX = a2Var X.

5. Jezeli zmienne loswe X i Y sa niezalezne, to Var X + Y = Var X+ Var Y.

Kowariancja

cov X ,Y = E(X − EX) (Y − EY). (1)

Wariancja

1. Var X > 0.

2. Var X = E

X 2− (E X)2.

Kowariancja

cov X ,Y = E(X − EX) (Y − EY). (1)

Wariancja

1. Var X > 0.

2. Var X = E

X 2− (E X)2.

Kowariancja

cov X ,Y = E(X − EX) (Y − EY). (1)

Kowariancja i korelacja

Korelacja

Korelacja zmiennych losowych X i Y nazywamy wielkosc

corr X ,Y =cov X ,Y√

Var XVar Y

(o ile Var X > 0 i Var Y > 0).

Własnosci kowariancji i korelacji:

1. Jezeli cov X ,Y = 0, to zmienne losowe X ,Y nazywamy nieskorelowanymi.2. Kowariancja dwóch zmiennych losowych niezaleznych jest równa 0.

Uwaga: twierdzenie odwrotne jest nieprawdziwe!3. Zachodza nierównosci

−1 6 corr X ,Y 6 1. (3)

4. Warunkiem koniecznym i wystarczajacym na to, aby zachodził zwiazek

P Y = aX + b = 1 (4)

jest równosc (corr X ,Y)2 = 1.5. Wartosc bezwzgledna wsp. korelacji corr X ,Y jest niezmiennikiem

przekształcen liniowych (afinicznych), tzn.

|corr aX + b, cY + d| = |corr X ,Y| , (5)

dla kazdego a 6= 0, c 6= 0 i kazdego b, d ∈ R.

Korelacja

Var XVar Y(2)

−1 6 corr X ,Y 6 1. (3)

P Y = aX + b = 1 (4)

Korelacja

Var XVar Y(2)

1. Jezeli cov X ,Y = 0, to zmienne losowe X ,Y nazywamy nieskorelowanymi.

2. Kowariancja dwóch zmiennych losowych niezaleznych jest równa 0.Uwaga: twierdzenie odwrotne jest nieprawdziwe!

3. Zachodza nierównosci−1 6 corr X ,Y 6 1. (3)

P Y = aX + b = 1 (4)

Korelacja

Var XVar Y(2)

Uwaga: twierdzenie odwrotne jest nieprawdziwe!

3. Zachodza nierównosci−1 6 corr X ,Y 6 1. (3)

P Y = aX + b = 1 (4)

Korelacja

Var XVar Y(2)

−1 6 corr X ,Y 6 1.

P Y = aX + b = 1 (4)

Korelacja

Var XVar Y(2)

−1 6 corr X ,Y 6 1. (3)

P Y = aX + b = 1 (4)

jest równosc (corr X ,Y)2 = 1.

5. Wartosc bezwzgledna wsp. korelacji corr X ,Y jest niezmiennikiemprzekształcen liniowych (afinicznych), tzn.

Korelacja

Var XVar Y(2)

−1 6 corr X ,Y 6 1. (3)

P Y = aX + b = 1 (4)

dla kazdego a 6= 0, c 6= 0 i kazdego b, d ∈ R. 12

Mediana

Mediana zmiennej losowej X nazywamy liczbe me, taka ze

P X 6 me >12

oraz P X > me >12

Zgodnie z definicja, dla zmiennej losowej typu ciagłego o gestosci f (), medianemozemy wyznaczyc ze wzoru ∫ me

−∞f (x) dx =

Przykład (mediana rozkładu wykładniczego): Dla zmiennej losowej o gestoscif (x) = λe−λx , x > 0 mamy∫ me

0λe−λx dx =

[−e−λx

x=0= 1− e−λme .

Zatem z równania1− e−λme =

wynika, ze

me =1λ

Mediana

P X 6 me >12

oraz P X > me >12

−∞f (x) dx =

0λe−λx dx =

[−e−λx

x=0= 1− e−λme .

wynika, ze

me =1λ

Mediana

P X 6 me >12

oraz P X > me >12

−∞f (x) dx =

0λe−λx dx =

[−e−λx

x=0= 1− e−λme .

wynika, ze

me =1λ

Mediana

P X 6 me >12

oraz P X > me >12

−∞f (x) dx =

0λe−λx dx =

[−e−λx

x=0= 1− e−λme .

wynika, ze

me =1λ

ln 2.13

Wykład 1. Organizacja i zakres tematyczny...

Documents

Transcript of Wykład 1. Organizacja i zakres tematyczny...