Wstęp do teorii informacji: Wykład 5
Transcript of Wstęp do teorii informacji: Wykład 5
Wstęp do teorii informacji: Wykład 5
I. WZGLĘDNA ENTROPIA WARUNKOWA ADRUGA ZASADA TERMODYNAMIKI
Druga zasada termodynamiki głosi, z grubsza, iż układzmierzając do stanu równowagi termodynamicznej zwięk-sza swoją entropię. Jak widać, zakłada się tu istnienieczegoś w rodzaju „upływu czasu”. Z naszego punktu wi-dzenia wystarczy, żeby czas był dyskretny, a „ewolucja”zdefiniowana była przez tzw. proces Markowa. Żeby sfor-mułować drugą zasadę potrzebna jest nam jeszcze jednareguła łańcuchowa.
Definicja 5.1: Względną entropią warunkową nazywa-my wyrażenie
D′(pA,B||qA,B) =∑
a
pA(a)∑
b
D(pB|A=a||qB|A=a)
=∑
a
pA(a)∑
b
pB|A(b, a) logpB|A(b, a)qB|A(b, a)
=∑
a,b
pA∩B(a, b) logpB|A(b, a)qB|A(b, a)
.
Uwaga: Ponieważ D(pB|A=a||qB|A=a) 0, zachodzi
D′(pA,B||qA,B) =∑
a
pA(a)∑
b
D(pB|A=a||qB|A=a) 0.
Twierdzenie 5.1: (Reguła łańcuchowa dla entropii wa-runkowych)
D(pA∩B||qA∩B) = D(pA||qA) +D′(pA,B||qA,B). (1)
Dowód :
D(pA∩B||qA∩B) =∑
a,b
pA∩B(a, b) logpA∩B(a, b)qA∩B(a, b)
=∑
a,b
pA∩B(a, b) logpA(a)pB|A(b, a)qA(a)qB|A(b, a)
=∑
a,b
pA∩B(a, b) logpA(a)qA(a)
+∑
a,b
pA∩B(a, b) logpB|A(b, a)qB|A(b, a)
=∑
a
pA(a) logpA(a)qA(a)
+∑
a,b
pA∩B(a, b) logpB|A(b, a)qB|A(b, a)
= D(pA||qA) +D′(pA,B||qA,B).�
Definicja 5.2: (Łańcuch Markowa) O zmiennych loso-wych A, B, C mówimy, że tworzą łańcuch Markowa (w
takim porządku), co oznaczamy A → B → C, jeżeliprawdopodobieństwo koniunkcji trzech zdarzeń ma po-stać
pA∩B∩C(a, b, c) = pA(a)pB|A(b, a)pC|B(c, b) (2)
Uwaga: Chodzi po prostu o to, żeby zmienna losowaC „zapominała” o zmiennej A i zależała od uwarunko-wań wynikajacych jedynie z ostatniego pomiaru, czyli zezmiennej B. Procesy Markowa zachodzą według „zasadygrubej kreski”: zapomnijmy o przeszłości, dla przyszłościistotna jest jedynie teraźniejszość. Ujmując rzecz jeszczeinaczej, układy Markowa mają kompletną sklerozę.Inną interesującą klasą łańcuchów są układy spełniają-ce „zasadę Orwella”: Aby kontrolować przyszłość, trzebakontrolować przeszłość; żeby kontrolować przeszłość trze-ba kontrolować teraźniejszość”. Niestety, nie są mi znaneżadne dokładne wyniki na temat dynamik orwellowskich.
II. DRUGA ZASADA TERMODYNAMIKI DLAŁAŃCUCHA MARKOWA
„Ewolucję” układu zdefiniujemy jako łańcuch Marko-wa
A0 → · · · → An−1 → An → An+1 → . . . (3)
wyznaczony poprzez prawdopodobieństwa przejściapAn+1|An(a, b) spełniające
pAn∩An+1(a, b) = pAn(a)pAn+1|An(b, a). (4)
Rozważamy teraz dwa różne początkowe rozkłady praw-dopodobieństwa, pA0(a), qA0(a) Zastosujmy regułę łań-cuchową (1), na dwa sposoby, do dwóch kolejnych zmien-nych losowych z łańcucha Markowa
D(pAn∩An+1 ||qAn∩An+1)
= D(pAn ||qAn) +D′(pAn,An+1 ||qAn,An+1)
= D(pAn+1||qAn+1) +D′(pAn+1,An ||qAn+1,An)
W przedostatniej równości występuje wyrażenie
D′(pAn,An+1||qAn,An+1)
=∑
a,b
pAn∩An+1(a, b) logpAn+1|An(b, a)qAn+1|An(b, a)
= 0.
gdyż zakładamy identyczność macierzy przejścia dla obuewolucji,
pAn+1|An(b, a) = qAn+1|An(b, a).
Tak więc zawsze
D(pAn ||qAn) = D(pAn+1||qAn+1) +D′(pAn+1,An ||qAn+1,An)︸ ︷︷ ︸
0
2
a stąd
D(pAn ||qAn) D(pAn+1 ||qAn+1). (5)
Jeżeli proces odwrotny An+1 → An jest możliwy i jestprocesem Markowa, to na mocy takiego samego rozumo-wania
D(pAn ||qAn) = D(pAn+1 ||qAn+1). (6)
Oczywiscie, w realnym świecie nie wszystkie procesysą odwracalne, a wtedy równość (6) nie musi zacho-
dzić. Równość (6) jest odpowiednikiem kwantowej zasadystwierdzajacej, iż dla dynamik unitarnych prawdopodo-bieństwa przejścia między stanami są niezależne od cza-su.
Nierówność (5) znaczy, iż startujące od różnych wa-runków początkowych prawdopodobieństwa, ewoluujacemarkowowsko według takiego samego schematu, stają siędo siebie coraz bardziej podobne, lub w najlepszym wy-padku odległość między nimi się nie zmienia.