Teoria Informacji i Metody Kompresji Danych -...

1

Teoria Informacji i

Metody Kompresji Danych

2

Materiały wykładowe

(fragmenty)

3

Robert SusmagaInstytut Informatyki

ul. Piotrowo 2

Poznań

kontakt mail’owy

[email protected]

kontakt osobisty

Centrum Wykładowe, „blok informatyki”, pok. 7

Wyłączenie odpowiedzialności

Prezentowane materiały, będące dodatkiem pomocniczym do wykładów, z konieczności fragmentarycznym i niedopracowanym, należy wykorzystywać z pełną świadomością faktu, że mogą nie być pozbawione przypadkowych błędów, braków, wypaczeń i przeinaczeń :-)

Autor

5

...

• Informacja w...

– mediach

– języku

– internecie

– życiu

– jeszcze innych miejscach

...i wreszcie...

– nauce/naukach

Informacja

• Informacja w mediach

– ...

Informacja

8

Informacja

• Informacja w języku

„Multimedialny słownik PWN – wyrazy obce”

informacja -cji, lm -cje, ż1. «wiadomość o czymś przekazana ustnie lub pisemnie»

biol. informacja genetyczna «dane o cechach dziedzicznych organizmu zakodowane w genach, wyrażające się kolejnością ułożenia czterech podstawowych ogniw łańcucha DNA» mat. teoria informacji «dział matematyki stosowanej dotyczący zagadnień kodowania i przetwarzania danych»

2. «dział urzędu lub miejsce w jakiejś instytucji, w którym można otrzymać wiadomości na jakiś temat»

3. inform. «dane przetwarzane przez komputer»<łac. informatio>

„informacja” jako rzeczownik policzalny / niepoliczalny

• Informacja w internecieInformacja (łac. informatio – przedstawienie, wizerunek; informare – kształtować, przedstawiać) –termin interdyscyplinarny, definiowany różnie w różnych dziedzinach nauki; najogólniej –właściwość pewnych obiektów[1], relacja między elementami zbiorów pewnych obiektów, której istotą jest zmniejszanie niepewności (nieokreśloności)[2].

Można wyróżnić dwa podstawowe punkty widzenia informacji[3]:

1. obiektywny – informacja oznacza pewną właściwość fizyczną lub strukturalną obiektów (układów, systemów), przy czym jest kwestią dyskusyjną[4], czy wszelkich obiektów, czy jedynie systemów samoregulujących się (w tym organizmów żywych);

2. subiektywny – informacja istnieje jedynie względem pewnego podmiotu, najczęściej rozumianego jako umysł, gdyż jedynie umysł jest w stanie nadać elementom rzeczywistości znaczenie (sens) i wykorzystać je do własnych celów.

Wyróżnia się trzy, powiązane ze sobą, koncepcje (teorie) informacji[1][2], związane z jej aspektami semiotycznymi[5]:

1. statystyczno-syntaktyczną z probabilistycznym i składniowym;

2. semantyczną ze znaczeniowym;

3. pragmatyczną z wartościowym (cennościowym) – w odniesieniu do problemu podejmowania przez jej odbiorcę decyzji związanych z jego celem.

• https://pl.wikipedia.org/wiki/Informacja

Informacja

• Informacja w życiu

– DNA

• kwas dezoksyrybonukleinowy: nukleotydy:

– adenina, guanina (purynowe), tymina, cytoza (pirymidynowe)

• tzw. „poprzeczki” składają się z par: Ad Ty, Cyt Gu

• alfabet: {A,T,G,C} (inaczej: {Ad, Ty, Cyt, Gu})

• jeżeli N jest liczbą „poprzeczek” w cząstce, to L = 4N, gdzie N 105, czyli L 1060000

– RNA

• kwas rybonukleinowy...

Informacja

• Informacja w jeszcze innych miejscach

– informacja w fizyce / chemii / kosmologii

• opis: parametry / właściwości stanu

– w szczególności:

» fizyka/chemia kwantowa (nieprzewidywalność)

» kosmologia (znikanie)

Informacja

• Informacja w jeszcze innych miejscach

– informacja w polityce

• pogląd: „informacja = władza”

– informacja w religii

• artykuł: J. Huebner „A Christian Theory of Information”

– informacja w sztuce

• książka: M. Porębski „Sztuka a informacja”

– ...

Informacja

• Informacja w nauce/naukach

– [Sobczak] informacja: „wiadomość, na podstawie której odbiorca opiera swoje działanie”

– [Pawlak] „system informacyjny”; informacja: element systemu informacyjnego

Informacja

• Informacja w nauce/naukach

– informacja informuje

• odpowiada na pewne (konkretne, znane) pytanie

• ale sama odpowiedź to jedynie dane

– natomiast informacja to coś więcej!

– więcej niż dane (ale mniej niż wiedza!)

» ..., mereologia, infologia, ...

• relacja: informacja a dane to trochę tak, jak kwadrat a prostokąt

• wniosek: (w ogólności) dużo danych dużo informacji

– potrzebne: to coś...

» dopiero wtedy: (może być tak, że) dużo danych = dużo informacji(istotny aspekt: objętość!)

» wymagany dodatkowy aspekt: przydatność!

Informacja

• Dr hab. Marcin Miłkowski (Zakład Logiki i Kognitywistyki Instytutu Filozofii i Socjologii PAN) „Filozofia informacji”

--------------------------------------------------------------------------------------------

– W poszukiwaniu informacji semantycznej

• Informacja semantyczna ma mieć własność prawdziwości

– ale niekoniecznie fałszywości: w ujęciu Dretskego i Luciana Floridiego informacja nie może być fałszywa

• Wiele konkurencyjnych koncepcji…

--------------------------------------------------------------------------------------------

Informacja

• Bogdan Stefanowicz (Wyższa Szkoła Inf. Stosowanej i Zarządzania w Warszawie)„Wiedza w interpretacji infologicznej”

--------------------------------------------------------------------------------------------– Wśród nich na uwagę zasługuje próba oparcia analizy tego pojęcia na podejściu

infologicznym, wywodzącym się z prac Bo Sundgren (1973) i Börje Langeforsa (1980, 1995). Istotę ich koncepcji można wyrazić jako założenie, że każde pojęcie – zgodnie z tezami podejścia cybernetycznego – może być elementem składowym pewnego pojęcia nadrzędnego i jednocześnie pojęciem nadrzędnym w stosunku do innych pojęć, które wchodzą w jego skład. Tak więc wiedza, jak i informacja, a także mądrość, mogą być rozpatrywane jako pojęcia nadrzędne w stosunku do innych pojęć. I tak, informacja może być traktowana jako pojęcie nadrzędne w stosunku dano danej, wiedza – jako pojęcie obejmujące podrzędne pojęcie informacji, zaś mądrość obejmująca pojęcie wiedzy.

--------------------------------------------------------------------------------------------

Informacja

• Informacja w naukach

– przykład

• 5, 5$, ...

(ile? czego? dużo/mało? inwestować!)

– czyli:dane informacja wiedza mądrość (?)

• pytanie wobec tego, czy (odpowiednio) wymagają:mądrość – wiedzy, wiedza – informacji, a informacja – danych?

Informacja

• Bogdan Stefanowicz (GUS)„Informacja. Wiedza. Mądrość.”

Informacja

19

...

[…] Alibaba westchnął ciężko, usiadł leniwie na ławcei odłożył książkę. Nosiła ona tytuł: „T e o r i a i n f o r m a c j i”. Trąciliśmy się łokciami. To brzmiało dość tajemniczo [...]

Edmund Niziurski, „Sposób na Alcybiadesa”, 1964

21

Informacja

• „Multimedialny słownik PWN – wyrazy obce”

teoria w zn. 1: -rii, lm -rie, -rii, ż; w zn. 2, 3: -rii, ż, blm1. «całościowa koncepcja stworzona przez naukowca lub filozofa,

zawierająca opis i wyjaśnienie określonych zjawisk i zgadnień; także czyjakolwiek koncepcja na określony temat» filoz. teoria poznania «inaczej epistemologia (w zn. 1)» mat. teoria prawdopodobieństwa «inaczej probabilistyka»

2. «dział nauki o literaturze, kulturze, sztuce itp. zajmujący się systematyzowaniem pojęć i twierdzeń leżących u podstaw tych dziedzin»

3. «teza jeszcze nieudowodniona lub nieznajdująca potwierdzenia w praktyce»

<fr. théorie, z p.-łac. theoria (u św. Hieronima), z gr. theōría obserwacja, oglądanie, pogląd oparty na faktach obserwowanych’; zmiana zn. za sprawą teologów, stawiających objawienie ponad poglądy oparte nadanych zmysłowych>

• Informacją w oderwaniu od jej nadawców, nośników, adresatów, itp., zajmują się tzw. teorie informacji, np.:

– np. jakościowa teoria informacji Mazura

(zasadniczo związana z cybernetyką)

• precyzuje np. pojęcie dezinformacji

– np. ilościowa teoria informacji Kołmogomorowa

(zasadniczo związana z teorią obliczeń)

• pozwala na naturalne interpretacje w kompresji

– np. ilościowa teoria informacji Shannona

(zasadniczo związana ze statystyką)

• pozwala na naturalne interpretacje w analizie danych

• dalej na tym wykładzie: głównie o niej!

Informacja

You can’t manage what you can’t measure!

You can’t manage what you don’t measure!

You won’t manage what you don’t measure!

...

(an old management adage)

• Funkcjonalność informacji

– aby informację sprawnie wykorzystywać, trzeba ją sprawnie mierzyć!

• albo mniej sprawnie, ale w każdym razie: jakoś

• ...a przestać zadawać pytania typu: co to jest?, gdzie to jest?, ...

– stąd: podstawowe zadanie (ilościowych) teorii informacji: mierzenie informacji

Informacja

• Rozumienie nauk

– klasyczne (bardziej filozoficzne)

• „Dlaczego?”

– współczesne (bardziej pragmatyczne)

• „Jak?”

– przykład: psychologia

• psychologia klasyczna interesowała się głównie fazą namysłu poprzedzającą powzięcie postanowienia („aktem woli”)

• psychologia współczesna bada związki podejmowania decyzji z poznawaniem i motywacją

Dygresja

• Funkcjonalność informacji

– po zastosowaniu rozumienia współczesnego

• stosowana w wyjaśnianiu (rozmaitych) innych rzeczy

• np.:

– związków między różnymi parametrami opisującymi zjawiska (tzw. zmiennymi)

» predykcja, klasyfikacja

– wbrew (niektórym) pozorom (dość złożony aparat matematyczny, itd..)

• zaskakiwać może poziom uproszczeń!

• a to dlatego, że w badaniach złożoności pomagają głównie... uproszczenia

– np. jakieś A = 0, jakieś A = jakieś B, itd.

Informacja

27

...

• Claude Elwood Shannon (ur. 30 kwietnia 1916, zm. 24 lutego 2001)– laureat (1972) nagrody Shannona!

amerykański matematyk i inżynier, profesor Massachusetts Institute of Technology (MIT). Jeden z twórców teorii informacji. Jako jeden z pierwszych pojął ważność kodu binarnego i już jako młody człowiek twierdził, że ciągami zer i jedynek da się opisać tekst, obraz i dźwięk.

– ... najsłynniejsze dzieło to „Matematyczna teoria komunikacji” opublikowana w 1948 roku, która położyła podwaliny pod teorię informacji i kodowania

– ... zafascynowany był maszynami liczącymi i urządzeniami, określanymi obecnie mianem gadżetów – zaprojektował np. pianino odtwarzające w kolejności losowej zaprogramowane uprzednio utwory muzyczne, czy samouczącą się „mysz” (znajdowała drogę przez labirynt, na którego końcu Shannon kładł kawałek sera)

– pracował także nad sztuczną inteligencją, rozwijając koncepcje maszyn Turinga(m.in. stworzenie w 1956 r. komputera szachowego MANIAC 1)

• https://pl.wikipedia.org/wiki/Claude_E._Shannon

Miara informacji

• Informacja w podejściu Shanonna

– przedmiot badań: (przekazywana) wiadomość – w praktyce: jakieś dane

• pozbawiona treści/znaczenia/semantyki

– badania semantyki były niemodne w czasach Shanonna

• główny nacisk: zgodność „wejścia” z „wyjściem”

– podstawowy kontekst: zniekształcenia transmisji w (szeroko rozumianych) kanałach informacyjnych

Miara informacji

• Izabela Bondecka-Krzykowska (Wydział Matematyki i Informatyki UAM) „Informacja w informatyce cz. 1 teoria komunikacji C. Shannona”

--------------------------------------------------------------------------------------------

– Cechy matematycznej teorii komunikacji Shannona:

• W teorii tej informacja jest tylko wybraniem jednego symbolu ze zbioru możliwych symboli.

• Nie jest to teoria informacji w zwykłym sensie. Informacja ma w niej wyłącznie znaczenie techniczne. Teoria ta całkowicie ignoruje np. kontekst komunikatów.

• Największą ilość informacji generuje tekst, w którym prawdopodobieństwo wystąpienia każdej litery jest takie samo, tzn. kompletnie losowy ciąg (paradoks małp).

• Matematyczna teoria komunikacji jest teoria informacji z pominięciem jej znaczenia. Zajmuje się ona bowiem badaniem informacji na poziomie syntaktycznym.

– Matematyczna teoria komunikacji traktuje informacje jak zjawisko fizyczne, przedmiotem jej zainteresowania jest sposób kodowania i przesyłania informacji a nie jej zawartość semantyczna.

--------------------------------------------------------------------------------------------

Miara informacji

• Wobec faktu, że informacja

– informuje, tzn. odpowiada na konkretne, znane pytanie

zadaniem potencjalnej „miary informacji”

– nie jest charakteryzowanie wyłącznie „objętości” składających się na nią danych, lecz także ich „przydatności”*, rozumianej jako trudność pytania, na które te dane niosą odpowiedź; a konkretnie :

• nisko oceniamy informacje trywialne / spodziewane / bardzo oczywiste / bardzo prawdopodobne, łatwo zgadywalne, przewidywalne

• wysoko oceniamy informacje nietrywialne / niespodziewane / mało oczywiste / mało prawdopodobne, trudno zgadywalne, nieprzewidywalne

* ze słowem „objętość” lepiej od „przydatność” komponuje się słowo „złożoność”, ale (niestety) złożoność implikuje strukturę (mniej czy bardziej rozbudowaną), o której tu akurat nie ma mowy (dlatego zostajemy przy „przydatność”)

Miara informacji

• Odpowiednio, „miara informacji”

– jest funkcją (tzn. zależy wyłącznie od) ich

• „objętości” /rozmiary?/

oraz

• „przydatności” /prawdopodobieństwo?/

– nie jest funkcją* (tzn. nie zależy od) żadnych dalszych cech danych, np. ich (szeroko rozumianej)

• adekwatności

• doniosłości

• użyteczności

• aktualności

• ...

te bowiem bardzo trudno „ogarnąć” i, w rezultacie, sformalizować(w każdym razie na tyle, aby mogły być wyrażane matematycznie)

– przeciwdziedzina: liczby (rzeczywiste) nieujemne

* (co nie znaczy, że /w przyszłości/ nie można uczynić jej taką funkcją /po odpowiednim sformalizowaniu odpowiednich, nowych aspektów/)

Miara informacji

• Niestety, to nie koniec problemów z „ogarnianiem”, ładniej mówiąc: formalizowaniem, informacji, ponieważ (na domiar złego) jest ona także czymś względnym

– „punkt siedzenia określa punkt widzenia”

Miara informacji

• Bogdan Stefanowicz (GUS)„Informacja. Wiedza. Mądrość.”

--------------------------------------------------------------------------------------------

– Dobitną ilustracją wpływu założeń domyślnych jest sytuacja opisana przez Klemensa Stróżyńskiego (2006, s. 14). Otóż wyobraźmy sobie kogoś (osobę X), która spotyka inną osobę (osobę Y) i stwierdza, że Y idzie tylko w jednym bucie. Co pomyśli X? [...]

1) Y pewnie zgubił but

albo

2) Y pewnie znalazł but.

--------------------------------------------------------------------------------------------

Miara informacji

• Dr hab. Marcin Miłkowski (Zakład Logiki i Kognitywistyki Instytutu Filozofii i Socjologii PAN) „Filozofia informacji”

--------------------------------------------------------------------------------------------

– Uwaga: jak stosować miarę Shannona

• Weźmy dowód matematyczny. On ma prawdopodobieństwo 1.

• Wydawałoby się zatem, że żaden dowód nie niesie żadnej informacji w sensie Shannona.

• Ale tylko wtedy, kiedy odbiorca (którym może być maszyna!) zna tekst tego dowodu i wie, że dany tekst jest dowodem.

• Ilość informacji zależy od stopnia zaskoczenia odbiorcy. Nie jest absolutna!!!

--------------------------------------------------------------------------------------------

Miara informacji

Miara informacji

x

y

(x+y/100)3

Co innego wstawać latem, co innego zimo.

Edward Redliński „Konopielka” (1974) 1:1

• Rada na wszystkie trudne do ogarnięcia aspekty informacji: zignorować! (tym samym zasadniczo upraszczając sprawę)

– (zostawić tylko „objętość” i „przydatność”)

Miara informacji

• Kartka z kolonii/wakacji

– (w naszych czasach raczej) SMS

Dygresja

• Nauka przez zabawę, a konkretnie:tzw. „zabawa w 10 pytań” (u nas: N = 8 pytań)

– cel: odgadnięcie wylosowanej liczby naturalnej ze zbioru {1, 2, ..., 8}

– reguły:

• wolno zadawać pytania o odpowiedziach typu „tak/nie”

• zabawa się kończy po odgadnięciu wybranej liczby

– założenie ogólne: racjonalność pytań

• nietrywialne

• bez powtórzeń / bez implikowanych powtórzeń

• ...

Miara informacji

• Możliwe są różne pytania (i odpowiedzi), np.:

– (a) czy jest to 2?

• odpowiedź: albo tak, albo nie

– (b) czy jest to liczba większa od 2?


– (c) czy jest to liczba podzielna przez 2?


– ...

Miara informacji

• Wobec faktu, że odpowiedzi typu „tak/nie” dzielą zbiór na dwie części, powyższe (oraz wszystkie inne) pytania formułujemy następująco:

– (a) czy liczba należy do zbioru {2} czy do zbioru {1, 3, 4, ..., 8}?

(krótko: {2} czy {1, 3, 4, ..., 8}?)

• odpowiedź: albo {2}, albo {1, 3, 4, ..., 8}

– (b) czy liczba należy do zbioru {3, 4, ..., 8} czy do zbioru {1, 2}?

(krótko: {3, 4, ..., 8} czy {1, 2}?)

• odpowiedź: albo {3, 4, ..., 8}, albo {1, 2}

– (c) czy liczba należy do zbioru {2, 4, 6, 8} czy do zbioru {1, 3, 5, 7}?

(krótko: {2, 4, 6, 8} czy {1, 3, 5, 7}?)

• odpowiedź: albo {2, 4, 6, 8}, albo {1, 3, 5, 7}

– ...

Miara informacji

• Możliwe są także różne strategie zadawania pytań (rozumiane jako serie konkretnych pytań), np.:

– strategia A, typu

• {1} czy {2, 3, ..., 8}?

• jeżeli {2, 3, ..., 8}, to {2} czy {3, 4, ..., 8}?

• ...

– strategia B, typu

• {1, 2, 3, 4} czy {5, 6, 7, 8}?

• jeżeli {1, 2, 3, 4}, to {1, 2} czy {3, 4}?

• ...

Miara informacji

• Strategie powinny być skuteczne / kompletne

– tzn.: muszą zawsze doprowadzać do osiągnięcia celu

• (patrz też: założenia ogólne)

Miara informacji

• Strategia typu A (tutaj: dla kolejności 1, 2, ..., 8)• {1}

• {2, 3, ..., 8}

• {2}

• {3, 4, ..., 8}

• {3}

• {4, 5, ..., 8}

• {4}

• {5, 6, 7, 8}

• {5}

• {6, 7, 8}

• {6} • {7, 8}

• {7}

• {8}

Miara informacji

• Strategia typu B (tutaj: dla kolejności 1, 2, ..., 8)• {1, 2, 3, 4}

• {1, 2}

• {1}

• {2}

• {3, 4}

• {3}

• {4}

• {5, 6, 7, 8}

• {5, 6}

• {5}

• {6}

• {7, 8}

• {7}

• {8}

Miara informacji

• Rozegrano dwie „partyjki” zabawy

– jedną z użyciem strategii A

– jedną z użyciem strategii B

zakończone osiągnięciem celu

– tzn.: poznaniem wylosowanej liczby

Miara informacji

• Czyli:

– ponieważ

• różnymi zestawami pytań (strategiami ich zadawania)

– osiągnięto

• ten sam cel

– to można przyjąć pewne kluczowe założenie dotyczące tych strategii

• pomimo wyraźnych różnic, strategie mają wspólną cechę:

„przekazują” taką samą ilość informacji!!!

(czymkolwiek by ta informacja nie była...)

Miara informacji

• Stąd: pomysł na mierzenie ilości informacji:

– uznać, że cała (rozpatrywana) ilość informacji to np. C jednostek

– znaleźć jakiś parametr strategii Q

– podzielić C przez Q

– twierdzić, że „nośnik” (opisany parametrem Q) zawiera (średnio) C / Q jednostek informacji

– przykładowe pomiary (po uproszczeniu, że C = 1)

• jeżeli na jakąś strategię składa np. 5 pytań, to jej jedno pytanie zawiera średnio 1/5 jednostki informacji

• jeżeli na inną strategię składa np. 10 pytań, to jej jedno pytanie zawiera średnio 1/10 jednostki informacji

• ...

Miara informacji


– niech Q będzie liczbą pytań składających się na strategię

– strategia A: 7, strategia B: 7

• brak różnicy!

– ale to nie to stanowi główny problem...

– krytyka

• tak zdefiniowana miara nie ma jednak żadnego związku z „praktyką” procesu zadawania pytań (i uzyskiwania odpowiedzi), chociażby z tym, ile (co najmniej / co najwyżej) pytań należy zadać, aby zagwarantować osiągnięcie celu (tzn. poznanie wybranej liczby)

– tymczasem dopiero osiągnięcie tego celu pozwala na wykorzystanie założenia kluczowego!

Miara informacji


– niech Q będzie liczbą odpowiedzi gwarantujących osiągnięcie celu

Miara informacji

• Strategia A• {1}

• {2, 3, ..., 8}

• {2}

• {3, 4, ..., 8}

• {3}

• {4, 5, ..., 8}

• {4}

• {5, 6, 7, 8}

• {5}

• {6, 7, 8}

• {6} • {7, 8}

• {7}

• {8}

1: 1 odp., 2: 2 odp., 3: 3 odp., 4: 4 odp., 5: 5 odp., 6: 6 odp., 7: 7 odp., 8: 7 odp.

Miara informacji

• Strategia B• {1, 2, 3, 4}

• {1, 2}

• {1}

• {2}

• {3, 4}

• {3}

• {4}

• {5, 6, 7, 8}

• {5, 6}

• {5}

• {6}

• {7, 8}

• {7}

• {8}


Miara informacji

• Charakterystyki ilościowe

– pytanie: jaka jest średnia wymaganej liczby odpowiedzi w sytuacji, gdyby zabawa miała być powtórzona wielokrotnie (z liczbami wybieranymi za każdym razem w sposób losowy)

– odpowiedź:

strategia A


• średnia: (1+2+...+7+7)/8 = 35/8 = 4.375

strategia B


• średnia: (3+3+...+3)/8 = 24/8 = 3.000

– uwaga: (zauważalna) przewaga strategii B ewidentnie rośnie ze wzrostem N:

• np. dla N = 64 otrzymamy średnio

– strategia A: 32.484 pytania

– strategia B: 6.000 pytań

• np. dla N = 1024 otrzymamy średnio

– strategia A: 512.499 pytań

– strategia B: 10.000 pytań

• ...

Miara informacji

• Charakterystyki ilościowe

– ponieważ:zestaw (średnio) 4.3 odpowiedzi na pytania ze strategii A

niesie tyle samo informacjico zestaw (średnio) 3.0 odpowiedzi na pytania ze strategii B więc:

• jedna odpowiedź ze strategii B

niesie (średnio) więcej informacji niż

• jedna odpowiedź ze strategii A

Miara informacji

• Uwaga: ponieważ odpowiedzi w praktyce nie zmieniają się w trakcie zabawy (zawsze: albo „tak”, albo „nie”), przykazywana informacjamusi tkwić w (odpowiednio formułowanych i) zadawanych pytaniach (a nie tylko w udzielanych odpowiedziach!)

– jak pamiętamy: informacja to coś więcej niż dane

• (która stanowią odpowiedź)

Miara informacji

57

...

• Miara informacji

– szeroki kontekst

• źródło, nadawca, emisja, odbiorca, ...

• idea kanału informacyjnego (jednowymiarowego)

• transmisja (monolog) a wymiana? (dialog)

Miara informacji


– wąski kontekst

• dany jest n-elementowy ciąg znaków z alfabetu m-elementowego (przekaz), przy czym znaki (a także ich ciągi) są równie prawdopodobne

– (całkowite) n 0

– (całkowite) m 1

• istnieje mn różnych ciągów tego typu (przekazów)

– np.:

» n = 1, m = 2: 21 = 2 (2 ciągi jedno elementowe)

» n = 5, m = 2: 25 = 32 (32 ciągi 5-cio elementowe)

» n = 10, m = 2: 210 = 1024 (1024 ciągi 10-cio elementowe)

» itd.

» n = 0, m – dowolne: m0 = 1 (1 ciąg pusty /bez względu na wartość m/)

Miara informacji


– pewne (dalej pomijane, ale) kluczowe założenia:

• interpretowalna jest (tylko i wyłącznie)

– (1) różnorodność ciągu odebranych znaków,

• interpretowalna nie jest (natomiast)

– (2) żaden parametr procesu ich nadawania

– (3) liczba znaków

Miara informacji


– założenie (1)

• interpretacja odebranych znaków (transmisja „cyfrowa”)

– sytuacja wyidealizowana: alfabet Z

– sytuacja nieco bardziej praktyczna: alfabet Z {?}

Miara informacji


– założenie (2)– dotyczy takich parametrów jak: moc, jakość, czas, prędkość, częstotliwość, ...

• interpretacja (np.) prędkości nadawania (transmisja „analogowa” + konwersja analogowo-cyfrowa)

– sytuacja wyidealizowana: bezbłędny pomiar prędkości

– sytuacja nieco bardziej praktyczna: pomiar prędkości obarczony błędami

Miara informacji


– założenie (3)

• interpretacja liczby odebranych znaków

– synchroniczny proces emisji/odbioru znaków

» proces synchroniczny a asynchroniczny

» znak „pusty” (spacja, przerwa, ...) a brak sygnału

» idea „nasłuchu”

– alfabet jednoelementowy (m = 1) w kanale synchronicznym

» jeżeli przy kolejnych nasłuchach źródło emituje więc jedynie ciągi złożone z tego jednego, jedynego znaku; odebranie kolejnego znaku jest więc w pełni przewidywalne, i w rezultacie żaden ciąg (bez względu na swoją długość) złożony z tej litery nie niesie żadnej informacji

» inaczej: faktu odebrania n znaków alfabetu jednoelementowego nie można w żaden sposób interpretować w przypadku synchronicznym*, ponieważ oznacza on jedynie, że nasłuchu dokonano n razy (a nie, że nadano n znaków)

* w ogólności możliwe (i naturalne) jest interpretowanie odebranegociągu n znaków alfabetu jednoelementowego jako liczby n (zapisanej w jedynkowym systemie liczenia)

Miara informacji


– przykłady

• zrozumiałość wypowiedzi

– aspekt cyfrowy

• treść wypowiedzi a (np.) tonacja wypowiedzi

– aspekt cyfrowy a analogowy

• treść wypowiedzi a (np.) „mowa ciała”

– kanały wielowymiarowe

– dalsze (bardziej życiowe) przykłady

• podpowiadanie w grze Milionerzy

• ...

Miara informacji


– ogólnie: niech dla przyjętych m i n miara informacji wyraża się funkcją L(m,n)

• argumenty: m i n (parametry danych, które mają „przełożyć się” na informację)

– m: wskaźnik „przydatności”; interpretacja: duże m = duża przydatność*

» m 1

– n: wskaźnik „objętości”; interpretacja: duże n = duża objętość

» n 0

uwaga: wzrost m jest inaczej interpretowany niż wzrost n

(„reakcja” miary powinna być inna)

* „intuicja” pomocna przy rozumieniu „przydatności”:

dane charakteryzują się dużą przydatnością, gdy trudno je zdobyć (czyli: przewidzieć, chociażby metodą odgadywania)

Miara informacji


– rozpatrywać można różne postaci takiej funkcji

• L(m,n) = m+n

• L(m,n) = m·n

• L(m,n) = sin(m)·cos(n)

• ...

Miara informacji


– wymagane właściwości (niekoniecznie niezależne od siebie)

• L(m,n) 0

• L(m,n) słabo monotoniczna* względem m i n, przy czym dla skrajnych wartości m i n (czyli dla m = 1 i n = 0), miara jest zerowa; konkretnie

– L(1,n) = 0

» przy trywialnym przekazie (m = 1), miara jest zerowa

uzasadnienie: m = 1 oznacza, że istnieje tylko jeden znak alfabetu, źródło emituje więc jedynie ciągi złożone z tego jednego, jedynego znaku;odebranie kolejnego znaku jest więc w pełni przewidywalne, i w rezultacie żaden ciąg (bez względu na swoją długość) złożony z tej litery nie niesie żadnej informacji

– L(m,0) = 0

» przy braku przekazu (n = 0), miara jest zerowa

• L(m,k·n) = k·L(m,n)

– przy k-krotności objętości przekazu, miara rośnie k-krotnie

• L(k·m,n) = L(k,n) + L(m,n)

– przy k-krotności przydatności przekazu, miara rośnie o L(k,n)

* (słaba) monotoniczność funkcji f(x) względem x:

im większe x, tym większe (lub takie samo) f(x)

Miara informacji


– przykładowe uzasadnienie ostatniej właściwości

– jeżeli każdy z przekazywanych m znaków, np.:

• litera (alfabetu angielskiego): m = 26

• cyfra (dziesiętna): m = 10

• itp.

charakteryzuje się dokładnie jedną dodatkową cechą, która jest w pełni niezależna od (treści) samych znaków, np.:

• litera jest wyrażona albo dużą literą alfabetu albo małą literą alfabetu

• cyfra jest albo poprzedzona ustalonym znakiem (plus albo minus) albo nie

• itp.

to wypadkowa liczność alfabetu wzrasta (stanowi iloczyn oryginalnej liczności m oraz liczby dodatkowych (niezależnych) cech k)

Miara informacji



– w powyższych przypadkach

• (po prostu) litery: m = 26

• litery (m = 26) duże albo małe (k = 2): k·m = 2·26 = 52 „znaki”

• (po prostu) cyfry: m = 2

• cyfry (m = 10) z ewentualnym znakiem (k = 3): k·m = 3·10 = 30 „znaków”

Miara informacji



– oznacza to, że (wobec wspomnianej niezależności treści znaku i jej dodatkowej cechy) w jednym przekazie można zamieszczać dwie osobne „wiadomości”

Miara informacji



– przykład: z danych, na które składają się znaki w postaci

• cyfr (binarnych): m = 2

charakteryzujące się dodatkową cechą pogrubienia

• cyfra jest albo zapisana krojem pogrubionym albo nie: k = 2

możliwe jest odczytywanie dwóch liczb (w obu przypadkach: binarnych) naraz, np.:

• 0

– „treści” („1” = 1, „0” = 0): 0

– „cechy” („pogrubienie” = 1, „brak pogrubienia” = 0): 1

• 1010

– „treści” („1” = 1, „0” = 0): 1010

– „cechy” („pogrubienie” = 1, „brak pogrubienia” = 0): 1100

Miara informacji



– wniosek: wypadkowy alfabet skrywa w sobie dwa niezależne alfabety:

• alfabet treści (w tym przypadku, wobec m = 2, binarny)

• alfabet cech (w tym przypadku, wobec k = 2, binarny)

– wartość miary wyrażona dla wypadkowej liczności alfabetu (L(2·2,n)) powinna być więc równa sumie wartości wyrażonych dla obu alfabetów (L(2,n) oraz L(2,n)) osobno, czyli:

L(2·2,n) = L(2,n) + L(2,n)

(a w ogólności)

L(k·m,n) = L(k,n) + L(m,n)

Miara informacji


– niech L(m,n) = m+n

– właściwość nieujemności zapewniona

• m+n 0 (dla m 1 i n 0)

– właściwość słabej monotoniczności zapewniona

• m+n jest monotoniczne względem m i n

– problem:

• dla n = 0 zachodzi: L(m,0) = m+0 = m

– przy braku przekazu, miara jest niezerowa

• wynik spodziewany: L(m,0) = 0

– przy braku przekazu, miara jest zerowa

Miara informacji


– niech L(m,n) = m·n


• m·n 0 (dla m 1 i n 0)


• m·n jest monotoniczne względem m i n

– właściwość „przy braku przekazu, miara zerowa” zapewniona

• L(m,0) = m·0 = 0

– problem:

• dla m = 1 zachodzi: L(1,n) = 1·n = n

– przy trywialnym przekazie, miara jest potencjalnie niezerowa (dla n > 0)

• wynik spodziewany: L(1,n) = 0

– przy trywialnym przekazie, miara jest zerowa

Miara informacji


– niech L(m,n) = mn


• mn 0 (dla m 1 i n 0)


• mn jest monotoniczne względem m i n

– problem:

• dla n = 0 zachodzi: L(m,0) = m0 = 1

– przy braku przekazu, miara jest niezerowa

• wynik spodziewany: L(m,0) = 0

– przy braku przekazu, miara jest zerowa

Miara informacji


– niech L(m,n) = mn – 1


• mn – 1 0 (dla m 1 i n 0)


• mn – 1 jest monotoniczne względem m i n


• L(m,0) = m0 – 1 = 1 – 1 = 0

– właściwość „przy trywialnym przekazie, miara zerowa” zapewniona

• L(1,n) = 1n – 1 = 1 – 1 = 0

– problem:

• dla n = k·p zachodzi: L(m,k·p) = mk·p – 1 = (mp)k – 1 = (mp –1+1)k – 1 = (L(m,p)+1)k – 1

– miara rośnie co najmniej L(m,p)k–1 krotnie

(powód: rozwinięcie wyrażenia (L(m,p)+1)k zawiera składnik L(m,p)k = L(m,p)k–1·L(m,p))

» np. przy dwukrotności (k = 2) przekazu, miara rośnie co najmniej L(m,p)-krotnie

• wynik spodziewany: L(m,k·p) = k·L(m,n)

– przy k-krotności przekazu, miara rośnie k-krotnie

Miara informacji


– niech L(m,n) = logP(mn) = n·logP(m)


• n·logP(m) 0 (dla m 1 i n 0)


• n·logP(m) jest monotoniczne względem m i n


• L(m,0) = logP(m0) = 0·logP(m) = 0

– właściwość „przy trywialnym przekazie, miara zerowa” zapewniona

• L(1,n) = logP(1n) = n·logP(1) = n·0 = 0

– właściwość „przy k-krotności obj. [...] rośnie k-krotnie” zapewniona

• L(m,k·n) = k·n·logP(m) = k(n·logP(m)) = k·L(m,n)

– właściwość „przy k-krotności przyd. [...] rośnie o L(k,n)” zapewniona

• L(k·m,n) = n·logP(k·m) = n·(logP(k)+logP(m)) = n·logP(k)+n·logP(m) = = L(k,n) + L(m,n)

Miara informacji


In = L(m,n) = n·logP(m) [Hartley]

– miara informacji ciągu n-elementowego (równe prawdopodobieństwa)

– za „jednostkę” tej miary uznaje się podstawę P logarytmu

• dla P = 2: „bit”

• dla P = e: „nit” („nat”, „N/neper”)

• dla P = 3: „trit”

• dla P = 10: „dit” („ban”, „H/hartley”)

– zastosowania

• (w ramach teorii informacji) zwyczajowo przyjmuje się

– P = e w częściach teoretycznych (dowody)

– P = 2 w częściach praktycznych (zadania)

• (w ramach informatyki) zwyczajowo stosuje się

– P = 2 w pomiarach objętości danych

Miara informacji


– miara informacji a miara danych

• nibble/nybble

• byte

– pewna istotna różnica • biti (liczba 0/1 w pliku) a bitS (jednostka miary informacji)

– biti mierzy dane (jednostkowa „objętość”)– bitS mierzy informacje (jednostkowa „przydatność”)

• w szczególnym przypadku: biti = bitS– (prawdopodobieństwa zer i jedynek równe)

Miara informacji

• https://upload.wikimedia.org/wikipedia/commons/5/5e/Units_of_information.svg

Miara informacji

Miara informacji


– wielokrotności wielokrotności bitów (znany mętlik)

– dla bajtów– https://pl.wikipedia.org/wiki/Jednostka_informacji

• układ SI (wielokrotności liczby 10)

– kilobajt (kB) – 103 = 1000 bajtów;

– megabajt (MB) – 106 = 10002 = 1 milion bajtów;

– gigabajt (GB) – 109 = 10003 = 1 miliard bajtów;

– terabajt (TB) – 1012 = 10004 = 1 bilion bajtów.

• układ IEC (wielokrotności liczby 2)

– kibibajt (KiB) – 210 = 1024 bajty;

– mebibajt (MiB) – 220 = 10242 = 1 milion 48 tysięcy 576 bajtów;

– gibibajt (GiB) – 230 = 10243 = 1 miliard 73 miliony 741 tysięcy 824 bajty;

– tebibajt (TiB) – 240 = 10244 = 1 bilion 99 miliardów 511 milionów 627 tysięcy 776 bajtów.

82

...

Teoria Informacji i Metody Kompresji Danych -...

Documents

Transcript of Teoria Informacji i Metody Kompresji Danych -...