Wstęp do teorii informacji: Wykład 5

I. WZGLĘDNA ENTROPIA WARUNKOWA ADRUGA ZASADA TERMODYNAMIKI

Druga zasada termodynamiki głosi, z grubsza, iż układzmierzając do stanu równowagi termodynamicznej zwięk-sza swoją entropię. Jak widać, zakłada się tu istnienieczegoś w rodzaju „upływu czasu”. Z naszego punktu wi-dzenia wystarczy, żeby czas był dyskretny, a „ewolucja”zdefiniowana była przez tzw. proces Markowa. Żeby sfor-mułować drugą zasadę potrzebna jest nam jeszcze jednareguła łańcuchowa.

Definicja 5.1: Względną entropią warunkową nazywa-my wyrażenie

D′(pA,B||qA,B) =∑

a

pA(a)∑

b

D(pB|A=a||qB|A=a)

=∑

a

pA(a)∑

b

pB|A(b, a) logpB|A(b, a)qB|A(b, a)

=∑

a,b

pA∩B(a, b) logpB|A(b, a)qB|A(b, a)

.

Uwaga: Ponieważ D(pB|A=a||qB|A=a) ­ 0, zachodzi

D′(pA,B||qA,B) =∑

a

pA(a)∑

b

D(pB|A=a||qB|A=a) ­ 0.

Twierdzenie 5.1: (Reguła łańcuchowa dla entropii wa-runkowych)

D(pA∩B||qA∩B) = D(pA||qA) +D′(pA,B||qA,B). (1)

Dowód :

D(pA∩B||qA∩B) =∑

a,b

pA∩B(a, b) logpA∩B(a, b)qA∩B(a, b)

=∑

a,b

pA∩B(a, b) logpA(a)pB|A(b, a)qA(a)qB|A(b, a)

=∑

a,b

pA∩B(a, b) logpA(a)qA(a)

+∑

a,b

pA∩B(a, b) logpB|A(b, a)qB|A(b, a)

=∑

a

pA(a) logpA(a)qA(a)

+∑

a,b

pA∩B(a, b) logpB|A(b, a)qB|A(b, a)

= D(pA||qA) +D′(pA,B||qA,B).�

Definicja 5.2: (Łańcuch Markowa) O zmiennych loso-wych A, B, C mówimy, że tworzą łańcuch Markowa (w

takim porządku), co oznaczamy A → B → C, jeżeliprawdopodobieństwo koniunkcji trzech zdarzeń ma po-stać

pA∩B∩C(a, b, c) = pA(a)pB|A(b, a)pC|B(c, b) (2)

Uwaga: Chodzi po prostu o to, żeby zmienna losowaC „zapominała” o zmiennej A i zależała od uwarunko-wań wynikajacych jedynie z ostatniego pomiaru, czyli zezmiennej B. Procesy Markowa zachodzą według „zasadygrubej kreski”: zapomnijmy o przeszłości, dla przyszłościistotna jest jedynie teraźniejszość. Ujmując rzecz jeszczeinaczej, układy Markowa mają kompletną sklerozę.Inną interesującą klasą łańcuchów są układy spełniają-ce „zasadę Orwella”: Aby kontrolować przyszłość, trzebakontrolować przeszłość; żeby kontrolować przeszłość trze-ba kontrolować teraźniejszość”. Niestety, nie są mi znaneżadne dokładne wyniki na temat dynamik orwellowskich.

II. DRUGA ZASADA TERMODYNAMIKI DLAŁAŃCUCHA MARKOWA

„Ewolucję” układu zdefiniujemy jako łańcuch Marko-wa

A0 → · · · → An−1 → An → An+1 → . . . (3)

wyznaczony poprzez prawdopodobieństwa przejściapAn+1|An(a, b) spełniające

pAn∩An+1(a, b) = pAn(a)pAn+1|An(b, a). (4)

Rozważamy teraz dwa różne początkowe rozkłady praw-dopodobieństwa, pA0(a), qA0(a) Zastosujmy regułę łań-cuchową (1), na dwa sposoby, do dwóch kolejnych zmien-nych losowych z łańcucha Markowa

D(pAn∩An+1 ||qAn∩An+1)

= D(pAn ||qAn) +D′(pAn,An+1 ||qAn,An+1)

= D(pAn+1||qAn+1) +D′(pAn+1,An ||qAn+1,An)

W przedostatniej równości występuje wyrażenie

D′(pAn,An+1||qAn,An+1)

=∑

a,b

pAn∩An+1(a, b) logpAn+1|An(b, a)qAn+1|An(b, a)

= 0.

gdyż zakładamy identyczność macierzy przejścia dla obuewolucji,

pAn+1|An(b, a) = qAn+1|An(b, a).

Tak więc zawsze

D(pAn ||qAn) = D(pAn+1||qAn+1) +D′(pAn+1,An ||qAn+1,An)︸ ︷︷ ︸

­0

2

a stąd

D(pAn ||qAn) ­ D(pAn+1 ||qAn+1). (5)

Jeżeli proces odwrotny An+1 → An jest możliwy i jestprocesem Markowa, to na mocy takiego samego rozumo-wania

D(pAn ||qAn) = D(pAn+1 ||qAn+1). (6)

Oczywiscie, w realnym świecie nie wszystkie procesysą odwracalne, a wtedy równość (6) nie musi zacho-

dzić. Równość (6) jest odpowiednikiem kwantowej zasadystwierdzajacej, iż dla dynamik unitarnych prawdopodo-bieństwa przejścia między stanami są niezależne od cza-su.

Nierówność (5) znaczy, iż startujące od różnych wa-runków początkowych prawdopodobieństwa, ewoluujacemarkowowsko według takiego samego schematu, stają siędo siebie coraz bardziej podobne, lub w najlepszym wy-padku odległość między nimi się nie zmienia.