ELEMENTY TEORIIINFORMACJI I STEROWANIA

Warszawa, 26 listopada 2007

INFORMATYTKA

• W świecie istnieją dwa główne obiegi:• Energii• Informacji

• Dziedziną, która łączy ze sobą w sieć przyczynowo-skutkową elementy świata przyrodniczego, jest biocybernetyka. Nauka ta ukształtowała się w drugiej połowie XX wieku i zajmuje się badaniem procesów sterowania, regulacji i przetwarzania informacji w maszynach i żywych organizmach (Norbert Wiener, 1948)

Teoria informacji• Teoria informacji zajmuje się analizą procesów

wytwarzania, przenoszenia, odbioru i przetwarzania informacji. Nie uwzględnia się zazwyczaj struktury obiektu ani postaci energii biorącej udział w procesach.

• Przesyłanie informacji wymaga ustalenia zrozumiałego zarówno przez nadajnik, jak i odbiornik zasobu znaków (symboli), co do których są one zgodne (kodowanie). Mogą to być słowa, litery obrazy, kształty lub też dźwięki.

• Przesyłanie informacji przebiega kanałem przesyłowym, którym może być powietrze, próżnia, przewód sieci informatycznej, instalacja pneumatyczna, hydrauliczna albo energetyczna oraz wiele innych mediów przenoszących informacje

Łącze informacyjne

ŹródłoNadajnik

(kodowanie)Kanał

Odbiornik

(dekodowanie)

Przeznaczenie

informacji

Informacja

Zakłócenia

Sygnały Sygnały Informacja

Informatyka

• Informatyka to dyscyplina nauk technicznych zajmująca się zagadnieniami pobierania, przechowywania, przesyłania, przetwarzania i interpretacji informacji.

• W organizmach zwierząt i u człowieka znane są dwa szczególnie ważne kanały przesyłowe informacji: system nerwowy i krwioobieg.

Łącza informacyjne w organizmie

• Jako nadajnik mogą służyć na przykład mózg i receptory oraz gruczoły wydzielania wewnętrznego.

• Odbiornikami mogą być elementy wykonawcze, mózg lub receptory.

• Na przykład: • receptory - mózg• mózg – mięśnie• Gruczoły wydzielania wewnętrznego - narządy

Miara informacji

• Z punktu widzenia techniki najbardziej odpornym na zakłócenia i prostym w przetwarzaniu jest system binarny (dwójkowy).

• Potwierdza to przyroda, stosując podobny system w układzie nerwowym, zasada wszystko albo nic.

• W systemie tym możliwe jest również prowadzenie rachunku logicznego – algebry Boole’a: prawda (tak) – 1, fałsz (nie) – 0.

Bit

• Informacja polegająca na wyborze jednego ze stanów:

• 1 lub 0

• tak lub nie

• H lub L

• Ma ilość informacji równą 1 bitowi

• bit skrót od binary digit

Miara informacji

• Informacja w sensie potocznym rozumiana jest jako znajomość pewnego stanu otaczającego świata.

• Informację definiuje się jako zdarzenie wybrania elementu ze zbioru wszystkich możliwych elementów.

Negentropia• Zdarzenie wybrania elementu ze zbioru wszystkich

możliwych elementów zachodzi z pewnym prawdopodobieństwem.

• Biorąc pod uwagę to prawdopodobieństwo oraz liczbę elementów zbioru n możliwych zdarzeń, określa się miarę informacji I (zwaną negentropią):

• pi – prawdopodobieństwo wystąpienia i – tego elementu zbioru

n

iii ppI

12 )(log

Negentropia

• Jednostką negentropii jest 1 bit

• 1 bit to wybór spośród dwóch jednakowych zdarzeń czyli wybór jednego z dwóch równie prawdopodobnych zdarzeń jest jednostką informacji.

Negentropia

• Wartość negentropii wzrasta wraz ze zwiększeniem liczby stanów, które mogą wystąpić oraz ze zwiększeniem nieprzewidywalności stanu aktualnego.

• Negentropia wielu niezależnych zbiorów stanów jest równa sumie ich negentropii.

• Negentropia informacji niezmiennej (występuje 1 stan) wynosi 0.

Negentropia

• Negentropia dla p1 = p2 = 0,5 wynosi I = 1 bit

• Negentropia,p1 = 0,01 p2 = 0.99, I = 0.0807 bita

• Dla równolicznych zbiorów negentropia przyjmuje największą wartość gdy prawdopodobieństwa wystąpienia każdego z elementów są równe:

• I = log2(n)

Przepustowość informacji

• Przepustowość informacji to stosunek przekazywanych ilości informacji do czasu:

]1/[ bodsbitt

IL

bod – skrót nazwiska Boudot

Gęstość informacji (powierzchniowa)

• Gęstość informacji to stosunek ilości informacji do powierzchni:

]/[ 2mbitS

IB

Pojemność informacyjna łącza informacyjnego

• Pojemność informacyjna łącza informacyjnego to stosunek maksymalnej ilości przekazywanych informacji do czasu:

]/[max sbitt

IC

0<L≤C

Przepustowość informacji żywych organizmów

• Ilość informacji odbieranych, wysyłanych lub przetwarzanych przez żywe organizmy może być tylko szacunkowa.

• Ilość informacji, które człowiek może przyjąć wszystkimi zmysłami ocenia się na około 109 bodów.

• Ilość informacji, które człowiek może wysłać ocenia się na około 107 bodów.

Przepustowość informacji

• Świadomie przetworzyć można co najwyżej 100 bodów na miliard odbieranych, z czego 10 bodów można zapamiętać na krótko, a tylko 1 bod trwale.

Przepustowość informacyjna receptorów [bod]

• Wzrok – 1010

• Słuch - 5·104

• Ucisk – 105

• Temperatura – 103

• Węch – 102

• Smak - 10

Lejek informacyjny

• Ograniczenia przepustowości informacji mają miejsce we wszystkich zmysłach.

• Ograniczenie przepustowości nazywane jest lejkiem informacyjnym.

Otoczenie 109 [bod]

SłuchWzrokWęchSmakDotyk

Selekcja 107 [bod] 102 [bod] Świadomość

System dziesiętny

• C110n+C210n-1+C310n-2+……

• 1234=1·103+2·102+3·101+4·100

System dwójkowy (binarny)

• bit – liczba binarna (binary digit)• bajt – jednostka miary informacji

równa 8 bitom (ang. byte)• bajt to 28=256 informacji

• Zapis binarny:• b·2n+b·2n-1+b·2n-2+……….• b=0 lub b=1

Bajt• Ośmiocyfrowa liczba binarna jest podstawą

zapisu różnych wielkości w pamięci komputera.

• 00000000 0• 00000001 1• 00000010 2• 11111111 256• kilo – 103 210 = 1024• Mega – 106 220 = 10487576• Giga – 1020 230 = 1073741824