Rachunek prawdopodobieństwa

Definicja klasyczna (Laplace'a)

Prawdopodobieństwem zajścia zdarzenia A nazywamy iloraz liczby zdarzeń sprzyjających zdarzeniu A do liczby wszystkich możliwych przypadków, zakładając, że wszystkie przypadki wzajemnie się wykluczają i są jednakowo możliwe.

Oznaczmy zbiór wszystkich możliwych przypadków przez Ω. Elementami zbioru Ω są zdarzenia elementarne ω, zaś zbiór Ω to zbiór zdarzeń elementarnych. Zbiór zdarzeń sprzyjających A będzie w takim wypadku podzbiorem zbioru Ω: A Ω.⊂

P A=∣A∣∣∣

|A| oznacza liczbę elementów (moc) zbioru A, zaś |Ω| liczbę elementów (moc) zbioru Ω

Na przykład dla prawdopodobieństwa wyrzucenia 6 w rzucie kostką. Zbiór zdarzeń elementarnych Ω = {1, 2, 3, 4, 5, 6}, zatem liczba możliwych zdarzeń |Ω| = 6. Zbiór zdarzeń sprzyjających A = {6}, liczba zdarzeń sprzyjających |A| = 1

Prawdopodobieństwo geometryczneDefinicja klasyczna nie pozwala obliczać prawdopodobieństwa w przypadku, gdy zbiory A i Ω są nieskończone, jeśli jednak zbiory te mają interpretację geometryczną, zamiast liczebności zbiorów można użyć miary geometrycznej (długość, pole powierzchni, objętość).

Przykład: z przedziału [0,4] wybieramy losowo punkt. Jakie jest prawdopodobieństwo, że wybrany punkt będzie należał do przedziału [1,2]?

Odpowiedź: Długości przedziałów wynoszą odpowiednio: |[0,4]| = 4 i |[1,2]| = 1. Zatem prawdopodobieństwo opisanego zdarzenia wynosi:

P A =14

Definicja częstościowa

Inną próbę sformułowania definicji prawdopodobieństwa podjął w 1931 roku Richard von Mises. Zaproponował, żeby zdefiniować prawdopodobieństwo jako granicę ciągu częstości:

P A= limn∞

kn A

n

gdzie kn(A) to liczba rezultatów sprzyjających zdarzeniu A po n próbach.

Definicja ta nie mówi jednak nic o warunkach istnienia granicy

Definicja klasyczna pozwala obliczać prawdopodobieństwo w prostych przypadkach, jednak zawiera szereg wad: nie można jej stosować dla zbiorów nieskończonych, a przede wszystkim zawiera błąd logiczny. Zdarzenia elementarne muszą być jednakowo możliwe, co znaczy przecież to samo co jednakowo prawdopodobne. Okazało się więc, że w definicji użyliśmy pojęcia, które definiujemy.

Problemy z klasyczną definicją prawdopodobieństwa

Aksjomatyczna definicja prawdopodobieństwa

Nową definicję prawdopodobieństwa podał w 1933 Andriej Kołmogorow, który korzystając z teorii miary zaksjomatyzował teorię prawdopodobieństwa.

Załóżmy, że Ω jest zbiorem zdarzeń elementarnych ω, zaś M jest σ-ciałem na zbiorze Ω. Prawdopodobieństwem nazywamy funkcję P: M → R spełniającą następujące warunki:

1. P(A) ≥ 0 dla każdego A M∈2. P(Ω) = 13. jeśli (A

n) jest dowolnym ciągiem podzbiorów M parami rozłącznych, to:

P A1∪A2∪...∪An∪... =∑n=1

∞

PAn

σ-ciało zbiorów na przestrzeni X to przeliczalnie addytywne ciało podzbiorów

Zmienna losowaZmienna losowa – funkcja przypisująca zdarzeniom elementarnym liczby

Zmienną losową jest na przykład funkcja opisującą wagę lub wzrost ciała wylosowanego z pewnej populacji osobnika. Zjawiskom o charakterze losowym, którym nie można w oczywisty sposób przypisać jakiejś miary liczbowej, także można przypisywać liczby według pewnego klucza tak, aby możliwe było ich porównywanie w interesującym nas aspekcie. Najprostszymi przykładami są: moneta (np. orłu przypisujemy zero, a reszce jedynkę) i kostka do gry (każdej ściance przypisujemy liczbę wylosowanych oczek). Innymi przykładami wziętymi z życia mogą być: stan techniczny urządzenia, czy wiedza ucznia (oceniana w skali od 1 do 6)

Rozkład zmiennej losowej – opis wartości przyjmowanych przez zmienną losową przy pomocy prawdopodobieństw (lub gęstości prawdopodobieństw) z jakimi one występują.

Wartość średnia

Wartość oczekiwana (przeciętna, średnia), nadzieja matematyczna – w rachunku prawdopodobieństwa wartość opisująca spodziewany (średnio) wynik doświadczenia losowego. Wartość oczekiwana to inaczej pierwszy moment zwykły.

⟨ x ⟩=1N∑i=1

N

x i

Wariancja

Wariancja to klasyczna miara zmienności. Intuicyjnie utożsamiana ze zróżnicowaniemzbiorowości jest średnią arytmetyczną kwadratów odchyleń poszczególnych wartościcechy od średniej arytmetycznej zbiorowości.

2=1N∑i=1

N

x i−⟨ x ⟩2

Momenty

⟨ xn⟩=∫−∞

∞

dx xnPX x

⟨ x ⟩

⟨ x2 ⟩−⟨x ⟩2

Wartość średnia

Wariancja X

X≡⟨ x2⟩−⟨ x ⟩2 Odchylenie standardowe

n-ty moment

Rozkład normalny

f x=1

2exp−

x−2

2 2

– odchylenie standardowe – wartość oczekiwana s2 - wariancja

Metody Monte Carlo

Generowanie liczb pseudolosowych

Zły generator liczb losowych Dobry generator liczb losowych

Metoda Monte Carlo

P=ilość trafieńwczerwone polecałkowita ilość rzutów

Dokładność obliczeń wzrasta gdy wzrasta całkowita ilość rzutów

S=P⋅2r2

Metoda Monte Carlo

P=ilość trafieńwczerwone polecałkowita ilość rzutów

Dokładność obliczeń wzrasta gdy wzrasta całkowita ilość rzutów

S=4 P⋅r 2

cosx cos ycos z=0

V=122

3≈124.02511

cosx cos ycos z≠0

Monte Carlo jest metodą bardzo niedobrą; powinna być używana jedynie wtedy gdy wszystkie alternatywne metody są gorsze.

x2 y2=r2

y= r2− x2

S=4∫0

r

r2− x2dx= r2

Obliczanie pola koła

Importance sampling

I=∫a

b

dx f x

I=a−b⟨ f x⟩

<f(x)> oznacza średnią wartość funkcji f(x), obliczoną na przedziale [a,b].

W „brute force” Monte Carlo średnia <f(x)> jest oszacowana przez obliczanie funkcji f(x) dużą ilość razy (powiedzmy N) w punktach x, wybranych losowo, jednorodnie rozmieszczonych na przedziale [a,b]. Gdy liczba prób N dąży do nieskończoności to wynik obliczeń dąży do wyniku dokładnego.

f x

a bx

x2 y2=r2

f x = r2− x2

S=4 r ⟨ f x ⟩

Obliczanie pola koła

I=∫0

1

dx wx f xw x

Załóżmy dla wygody , że a=0 i b=1

Załóżmy, że w(x) jest pochodna innej znanej funkcji u(x) ( nieujemnej, niemalejącej) oraz u(0)=0 i u(1)=1. Te warunki brzegowe implikują, że funkcja u(x) jest unormowana.

I=∫0

1

duf [x u ]w [ x u ]

f x

x

a b

W następnym kroku, należy wygenerować N losowych wartości u jednorodnie rozłożonych w przedziale [0,1]. Otrzymamy w ten sposób następujące oszacowanie całki I.

I≈1N∑i=1

N f [x u i]

w [x u i]

Zysk z przeprowadzenie tej operacji zależy id dobrego wyboru funkcji w(x)

I2=

1

N 2∑i=1

N

∑j=1

N

⟨ f [x u i]w [ xu i]−⟨

fw⟩ f [ x u j]w [ x u j]

−⟨fw⟩⟩

Wariancja

Nawiasy kątowe <> oznaczają średnią gdy N dąży do nieskończoności

Jako, że próbki i oraz j są całkowicie niezależne otrzymujemy

I2=1N2∑i=1

N

⟨ f [ x ui]w [ x ui]−⟨

fw⟩ 2

⟩

I2=1N [⟨ fw

2

⟩−⟨fw⟩2

]Wariancja może być zmniejszona przez taki wybór w(x) aby f(x)/w(x) było gładką funkcją x. Najlepszy wybór to taki, w którym f(x)/w(x)= const, wtedy wariancja znika. W przypadku gdy w(x)=const, tak jak to jest w „brute force” Monte Carlo, błąd względny jest bardzo duży.

Badany układ

N - ilość cząsteczek – od kilkudziesięciu do dziesiątek milionów

Warunki brzegowe:Dla małych układów wzmacnia efekt skończonego układuWprowadza sztucznie zależność własności układu od jego brzegu

Pudełko symulacyjne

Twarde dyski (kule)

U r ={0 , r∞ , r

Potencjał twardych kul

Periodyczne warunki brzegowe

Układ jest otoczony przez repliki tego układu

Układ

Repliki

Aby badać fazy objętościowe układ jest otoczony swoimi replikami, dzięki czemu można założyć, że układ składający się z N cząsteczek jest otoczony przez nieskończoną liczbę cząsteczek.

Konfiguracja początkowa

Dla danej ilości cząsteczek Ntot

oraz gęstości płynu znaleźć rozmiar sześciennego

pudełka symulacyjnego. Znaleźć objętość V i długość krawędzi sześcianu L.

=N tot

VV=

N tot

L=Lx=Ly=Lz=V1 /3 n=nx=ny=nz=N tot

1/3

Cząsteczki układamy na sieci kubicznej prostej. Stała sieci jest dana następującym wzorem (jeśli uwzględnimy periodyczne warunki brzegowe):

=x= y=z=L/n

n=5

l = 0xo = 0.0yo = 0.0zo = 0.0

DO i = 0, n-1 DO j = 0, n-1 DO k = 0, n-1

l = l+1 x(l) = xo + i* y(l) = yo + j* z(l) = zo + k* ENDDO ENDDO ENDDO

i=0 i=n−1

j=0

j=n−1

x(i), y(i), z(i) – współrzędne cząsteczek

BCC FCCSC

TermodynamikaStatystyczna

Stan makroskopowy (makrostan) stan równowagowego układu opisany takimi parametrami jak temperatura T, objętość V, ilość moli n.

Stan mikroskopowy (mikrostan) określa się podając stan każdego z elementów tworzących układ, czyli dokładne wartości wszystkich zmiennych opisujących każdy pojedynczy element wchodzący w skład układu.

Na przykład, do ruch atomu opisywany jest przez położenie r, i prędkość v, tego atomu. Mikrostan takiego „klasycznego atomu” jest opisywany przez 6 zmiennych niezależnych.

Postulaty

I. W makroskopowym układzie izolowanym spontaniczne procesy przebiegają tak, że liczba dozwolonych mikrostanów wzrasta lub, jeśli układ był w stanie równowagi, pozostajestała

II. Jeśli układ izolowany jest w stanie równowagi, to wszystkie dozwolone mikrostany są jednakowo prawdopodobne.

III. Makrostan, któremu odpowiada największa liczba mikrostanów jest stanem równowagi

Hipoteza ergodycznaUkłady, dla których średnie po czasie obserwacji są równe średnim po zespole statystycznym są nazywane układami ergodycznymi.

Układ izolowany – zespół mikrokanoniczny

Suma stanów, całkowita ilość mikrostanów

E ,V , N

Prawdopodobieństwo wystąpienia dowolnego, dozwolonego mikrostanu

P=1

E ,V , N

E

Energia – E,Objętość – V, Ilość cząsteczek – N, są niezmienne

Statystyczna definicja entropii

S=k lnk – stała Boltzmanna

=1⋅2

ln =ln 1⋅2= ln 1ln 2

Statystyczna definicja temperatury

∂k ln∂E N , V

=1T

Dostarczamy do układu niewielką ilość ciepła Q, a następnie ponownie odizolowujemy układ.

k ln=k lnEQ −k lnE≈ ∂k ln

∂ E N ,V

Q

Porównując powyższą równość z S = Q/T otrzymujemy, że postulat S=k ln prowadzi do wyniku

Równowaga termiczna

E1E2=E=constEmax E1

P

E1 E2

Schematyczna postać prawdopodobieństwa P = (E1)/

c tego, że energia pierwszego

układu, będącego w kontakcie cieplnym z drugim układem, wynosi E1, dla typowego

układu makroskopowego. Emax

jest najbardziej prawdopodobną wartością energii

pierwszego układu. Im większy układ tym większa wartość prawdopodobieństwa dla E

1 = E

max .

E1=1E1⋅2E2

Liczby mikrostanów w pierwszym podukładzie, odpowiadające energii E1, oraz liczba

mikrostanów w drugim podukładzie, odpowiadające energii E2, oznaczamy odpowiednio

przez 1(E

1) i

2(E

2). Liczby wszystkich mikrostanów w całym układzie oznaczamy przez

c. Natomiast liczbę mikrostanów całości złożonej z obu podukładów, w obecności

więzu w postaci ustalonej energii E1 pierwszego podukładu, oznaczamy przez (E

1)

1(E

1) jest rosnącą funkcją E

1, a

2(E

2) – rosnącą funkcją E

2. Ponieważ E

2= E-E

1, a E

jest ustalone, więc 2(E

2)=

2(E-E

1) jest malejącą funkcją E

1. (E

1) jest więc iloczynem

rosnącej i malejącej funkcji E1, i dla pewnej wartości E

1 = E

max przyjmuje maksimum. E

max

jest taką energią pierwszego układu, której odpowiada największa liczba mikrostanów dla obu układów łącznie.

1=∂ ln1E1

∂ E1=∂ ln2E2

∂ E2=2

∂ ln E1

∂E1=∂ ln1 E1

∂ E1∂ ln2E−E1

∂ E1=0

∂ ln2E−E1

∂ E1=−

∂ ln2E2

∂ E2

Ponieważ pochodna funkcji znika dla argumentu, w którym funkcja przyjmuje maksimum, więc dla E=E

max zachodzi związek

Podstawiając następnie

Otrzymujemy warunek równowagi cieplnej, równoważny warunkowi równości temperatur:

Statystyczna definicja ciśnienia

V 1V 2=V=const

V 1=1V 1⋅2V 2

1 p1=∂ ln1E1 ,V 1 ,N1

∂V 1=∂ ln2E2 ,V 2 , N2

∂V 2=2 p2

Przyjęliśmy tutaj warunek konsystencji statystycznej definicji entropii z termodynamicznym związkiem między ciśnieniem i entropią

pT= ∂ S∂V

U ,N

V1 V 2

Statystyczna definicja potencjału chemicznego

N1N2=N=const

N1=1N1⋅2N2

11=−∂ ln1 E1 ,V 1 ,N1

∂ N1=−∂ ln2E2 ,V 2 ,N2

∂ N2=22

T=− ∂ S∂N

U ,V

Przyjęliśmy tutaj warunek konsystencji statystycznej definicji entropii z termodynamicznym związkiem między potencjałem chemicznym i entropią

N1 N2

Układ w równowadze z termostatem

Ecałkowita

Eotoczenia

E

E Energia mikrostanu

Ecałkowita≫E

Przy ustalonym mikrostanie, liczba mikrostanów całości jest równa liczbie mikrostanów otoczenia.

otoczeniaEcałkowita−E

lnotoczenia Ecałkowita−E≈lnotoczenia Ecałkowita− E

P=otoczeniaEcałkowita−E

całość

≈otoczenia Ecałkowita

całość

e− E

=1Ze−E

ln otoczenia

można rozwinąć wokół Ecałkowita

Gdzie wyrazy wyższych rzędów zostały zaniedbane, a parametr był wprowadzony wcześniej.

Prawdopodobieństwo mikrostanu układu o energii E obliczamy jako iloraz liczby tych

mikrostanów całości (tj. układu i otoczenia), które są zgodne z mikrostanem , i liczby wszystkich mikrostanów całości

c, zatem

∑

P=1 Warunek normalizacyjny

Z=∑

e− E

W poprzednim wyrażeniu stała normalizacyjna Z jest niezależna od stanu układu i może być otrzymana z warunku normalizacji prawdopodobieństwa.

Stąd otrzymujemy wyrażenie na stałą normalizacyjną

Gdzie suma przebiega po wszystkich mikrostanach układu. Stała normalizacyjna zwana jest kanoniczną sumą stanów.

P=1Ze−E

Zespół statystyczny, w którym prawdopodobieństwo wystąpienia mikrostanu dane jest wzorem

to zespół kanoniczny, a

e−E

nosi nazwę czynnika Boltzmanna

U≡⟨E ⟩=∑

P E=Z−1∑

E e−E

∑

E e−E=−

dd ∑

e−E=−

dd

Z

U=− ∂∂ln Z

Korzystając ze związku

Otrzymujemy

Pokażemy teraz, że definicja F = -kT ln Z prowadzi do znanego z termodymamiki fenomenologicznej związku

U=FTS=F−T∂F∂T

U=−∂

∂ln Z=kT

2 ∂

∂Tln Z=F−T

∂ F∂T

Co dowodzi związku między energią swobodną Helmholtza a kanoniczną sumą stanów, zapostulowanego poprzednio, czyli

F=−kT ln Z