Semantyczna teoria informacji 2

Teoria informacji semantycznej Bar-Hillela i Carnapa (BHC) - cd.Krytyka teorii BHC w pracach L. Floridiego

Krytyka teorii BHC w pracy Hintikki

Filozofia Informacji, Wykład IV - Semantycznateoria informacji (cz. 2).

Artur Machlarz

17 stycznia 2014

Artur Machlarz Filozofia Informacji, Wykład IV - Semantyczna teoria informacji (cz. 2).



Plan wykładu

1 Teoria informacji semantycznej Bar-Hillela i Carnapa (BHC) - cd.cont i inf jako miara informatywnościWłasności cont i inf - porównanieZastosowanie teorii BHCPodsumowanie teorii BHC

2 Krytyka teorii BHC w pracach L. FloridiegoTzw. paradoks teorii BHCInformatywność praw logicznych

3 Krytyka teorii BHC w pracy Hintikki




cont i inf jako miara informatywnościWłasności cont i inf - porównanieZastosowanie teorii BHCPodsumowanie teorii BHC

Logiczna funkcja m

Właściwa teoria informacji semantycznej i określenie miaryinformatywności w teorii BHC zaczyna się wraz z wyborem funkcjiokreślającej interpretację prawdopodobieństwa, które pojawia się wdefinicji miary informatywności. W teorii BHC funkcja ta musi określać apriori tę wartość dla wszystkich elementów L. Do tego celu służy w teoriiBHC pojęcie m-funkcji właściwej.





Logiczna funkcja m

Pojęcie m-funkcji pochodzi z Carnapa Logical Foundations of Probability(Chicago 1950). Funkcja ta określa wartość apriorycznąprawdopodobieństwa statycznego alternatywnych stanów rzeczy w danejdziedzinie. Prawdopodobieństwo w przypadku m-funkcji w teoriiinformacji jest rozłożone symetrycznie na wszystkie logicznie możliwestany rzeczy tak, że suma wartości m-funkcji dla całego zbioru jest równa1.





Logiczna funkcja m - definicja

Ta funkcja jest zdefiniowana logicznie, jako spełniająca szereg warunków:

Musi być większa niż 0 dla dowolnej klasy opisów stanów.

Suma wszystkich m-wartości = 1.

Dla dowolnego L-fałszywego zdania j, m(j) = 0.

Dla dowolnego nie-L-fałszywego zdania j, m(j) = sumie m-wartościdla klasy opisów stanów w R(j).

Pozostałe własności - na wykładzie.





Logiczna funkcja m - uwagi

M-funkcja właściwa jest logiczną funkcją rozkładającą po równoprawdopodobieństwo na wszystkie elementy zbioru. Nie uwzględnia sięprzy tym żadnego rodzaju realnych warunków typu:

stopień potwierdzenia,

częstotliwość występowania,

inne dowody wspierające poszczególne elementy zbioru,

a tym bardziej wiarygodność źródła...

Interesują nas wyłącznie syntaktyczne możliwości naszego języka. To onewyznaczają ilość możliwych stanów rzeczy - jednoznacznie określają całąsemantykę.





cont - definicja

Przy użyciu m-funkcji defniuje się nastęnie miarę treści (cont):

cont(i) = mp(∼ i)

Innymi słowy: treści jest tyle, ile wynosi prawdopodobieństwo zdańbędących dopełnieniem zakresu zdania i.





cont - własności

Najważniejsze własności cont:

1 > cont(i) > 0

cont(i) = 0 wtw i jest L-prawdziwe,

cont(i) = 1 wtw i jest L-fałszywe,

1 > cont(i) > 0 wtw i jest faktualne.

cont(i.j) = cont(i) + cont (j) wtw i oraz j są L-rozłączne, czylidedukcyjnie niezależne.





cont - jeszcze jedna ciekawa własność

Kolejna własność cont:

Dla dowolnych dwóch zdań bazowych Bi oraz Bj z różnymi prostymipredykatami, cont(Bj/Bi ) = 1/2cont(Bi ). Np. cont(Da/Za) = 1/4.

Ćwiczenie: jaki sens ma ta własność? Jeśli odbiorca otrzymuje n-ilośćkolejno następujących po sobie zdań bazowych, z n-ilością odmiennychpredykatów, to wartość cont pierwszego wyniesie 1/2, drugiego: 1/4,trzeciego: 1/8 itd.








Ćwiczenie: jaki sens ma ta własność?

Jeśli odbiorca otrzymuje n-ilośćkolejno następujących po sobie zdań bazowych, z n-ilością odmiennychpredykatów, to wartość cont pierwszego wyniesie 1/2, drugiego: 1/4,trzeciego: 1/8 itd.








Ćwiczenie: jaki sens ma ta własność? Jeśli odbiorca otrzymuje n-ilośćkolejno następujących po sobie zdań bazowych, z n-ilością odmiennychpredykatów, to wartość cont pierwszego wyniesie 1/2, drugiego: 1/4,trzeciego: 1/8 itd.





cont - czego brakuje?

Czy potrzebujemy czegoś jeszcze?1 Zgodnie z przedostatnią z wymienionych własności, wartości treści i

oraz j są dodawalne o ile i oraz j są rozłączne: nie implikują tychsamych zdań. Ten warunek jest jednak dla BHC niewystarczający.Wg BHC należy uwzględnić ich indukcyjną a nie dedukcyjnąniezależność.

2 Jeśli weźmiemy zdania bazowe traktowane jako niezależnededukcyjnie i indukcyjnie, to własność wymieniona jako ostatnia,wydaje się nieadekwatna, bo nie powinna zależeń od idealnegoodbiorcy.

Wyjaśnienie: niezależność indukcyjna polega tutaj na tym, żeprawdopodobieństwo warunkowe zdań bazowych i/j będzie równebezwzględnemu prawdopodobieństwu i.





inf - definicja

inf (funkcja pomiaru ilości informacji przypadającej na zdanie):

inf (i) = log 11−cont(i)

ewentualnie:

inf (i) = log 1cont(−i)





inf - warunek dodawalnośi

Funkcja cont nie spełnia warunku dodawalności, który to warunek jestspełniony przez inf:

inf (i .j) = inf (i) + inf (j) wtw i oraz j są indukcyjnie niezależne.

Dowolne dwa zdania bazowe, mają wspólny zakres: np. alternatywę tychzdań, która logicznie wynika tak z jednego jak i z drugiego. Nie są zatemrozłączne logicznie, są zaś niezależne indukcyjnie.





Funkcja inf - własności

Najważniejsze pozostałe własności inf:

0 ≤ inf (i) ≤ ∞inf(i) = 0 wtw i jest L-prawdziwe

inf(i) = ∞ wtw i jest L-fałszywe

inf(i) ma dodatnią skończoną wartość wtw i jest faktualne.





Czym różnią się cont i inf?

inf spełnia warunek dodawalności.

inf dla kontrtautologii uzyskuje wartość maksymalną - tzn.nieskończoną (dla cont maximum jest 1).

L-rozłączność (czyli dedukcyjną niezależność) w cont zastępujeindukcyjna niezależność w inf.

dla dowolnego zdania atomowego cont=1/2, inf=1.





Zastosowanie teorii BHC

Według Bar Hillela:

teoria informacji semantycznej w zarysowanym kształcie może byćrozszerzona w kierunku teorii pragmatycznej a ograniczenie dozamkniętego systemu językowego da się “z łatwością” pokonać.

zarysowana teoria może być wartościowa dla teorii projektowaniaeksperymentów (DOE) oraz

teorii testów.





Przykład teoretycznego zastosowania BHC

Według Bar Hillela inf może służyć jako definicja informatywnościhipotezy w świetle określonego stopnia potwierdzenia:

inf (h, e) = log 1cp(h,e)

,

gdzie nowa funkcja konfirmacji c mająca postać prawdopodobieństwawarunkowego cp(h, e) określająca stopień potwierdzenia hipotezy h wświetle potwierdzenia e może być zdefiniowana przez m-funkcję właściwąprzy pomocy prawdopodobieństwa warunkowego:

cp(h, e) =mp(e.h)mp(e)






To twierdzenie pokazuje silną zależność między relatywną miarąinformacji nowej wiadomości h ze względu na dowód e - tzn. względneprawdopodobieństwo indukcyjne hipotezy h w kontekście dowodu e. h i emogą być ewentualnie interpretowane jako (nowa) wiadomość i wiedza.Widać wyraźnie, że wartość informacyjna inf(h/e) jest tym większa, immniej prawdopodobne jest h ze względu na dowód e.






Funkcja konfirmacji wyraża stopień potwierdzenia jakiegoś zdania przezinne zdania. Przykład dla języka L22:

załóżmy, że p(e) = 1/2 a p(h) = 1/8 ;

wtedy: cp(h, e) = 34 - załóżmy, że h oraz e nie są L-rozłączne;

a zatem inf (h, e) = log 134= 0, 422

Stopień potwierdzenia c jest zatem wyznaczony przez związek logicznymiędzy e oraz h.





Oczekiwana wartość informacyjna wyniku eksperymentu

Wg BHC możemy na podstawie teorii informacji semantycznej a priorinp. określić wartość informacyjną oczekiwanych danych wyjściowychprzeprowadzanego eksperymentu. Załóżmy, że:

możliwe dane wyjściowe projektowanego eksperymentu to zdania:h1, h2, ..., hn - są one rozłączne a ich alternatywa jest L-prawdziwa.Zbiór tych zdań oznaczmy jako H.

m-funkcja jest zdefiniowana dla wszystkich zdań hi ∈ H - mamyustalony rozkład prawdopodobieństwa.

w ramach BHC możemy podać uogólnioną wartość informatywnościzbioru możliwych wyjściowych danych eksperymentu, którychwartość nie będzie oparta na rozkładzie prawdopodobieństwawyznaczonym wyłącznie przez m-funkcję właściwą, ale naprawdopodobieństwie warunkowym względem stopnia potwierdzenia

przez e: est(in,H, e) =n∑p=1c(hp, e) ∗ inf (hp/e)





Oczekiwana wartość informacyjna wyniku eksperymentu -przykład

Wartość informacyjna wyniku eksperymentu - przykład:

przyjmijmy, że: L23, h1 = Dc , h2 = Zc , H = {h1, h2}, e = Da.Db.Zatem:

cont∗(h1/e) = 0, 1

cont∗(h2/e) = 0, 2. Zatem:

est(cont∗,H, e) = 23 ∗ 0, 1 + 1

3 ∗ 0, 2 = 0, 133 oraz

est(inf ∗,H, e) = 23 ∗ Log

23 +

13 ∗13 = 0, 918





Podsumowanie teorii BHC

Pytania kontrolne:

Jaki jest przedmiot tej teorii?

Jaki jest cel Bar-Hillela i Carnapa?

Jak określona jest miara informatywności i jaki jest jej sens?

Do czego może mieć zastosowanie teoria BHC?




Tzw. paradoks teorii BHCInformatywność praw logicznych

Problem informatywności praw logicznych - Carnap iBar-Hillel

W ramach teorii BHC tautologie i kontrtautologie również posiadająwartość informacyjną:

wartość informacyjna tautologii = 0

wartość informacyjna kontrtautologii = ∞Maksymalna wartość informacyjna kontrtautologii może być uznana zawysoce nieintuicyjną.





Paradoks teorii BHC w ujęciu BHC

Wyjaśnienie Bar Hillela i Carnapa:

Może się to wydawać dziwne, że zdania sprzeczne (czyli takie,których żaden idealny odbiorca nie mógłby zaakceptować)okazują się zdaniami zawierającymi najwięcej informacji. Należyjednak podkreślić, że informacja semantyczna nie implikujeprawdziwości zdania. Zdania fałszywe mogą być w wysokimstopniu informatywne. Zdania sprzeczne (kontrtautologie)są zbyt informatywne, żeby mogły być prawdziwe.





Paradoks teorii BHC w ujęciu Floridiego

Wysoka wartość informacyjna zdań, które nie mówią kompletnie nic orzeczywistości jest konsekwencją, której na gruncie definicji przyjętych wBHC nie da się ominąć. Dla Floridiego jest to konsekwencja, którejwartość urasta w filozofii informacji do rangi paradoksu Gettiera w teoriiwiedzy. Staje się ona dla Floridiego jednym z istotnych argumentów zaprzyjęciem prawdziwościowo określonej definicji informacji.





O czym mówimy na zajęciach z logiki?

Problem informatywności praw logicznych pojawiał się także w innychkontekstach, np.:

Wittgenstein: “Zdania pokazują, co mówią: tautologia i sprzecznośćpokazują, że nie mówią nic. (...) Tautologia i sprzeczność sąbezsensowne (...) (Nie wiem np. nic o pogodzie, gdy wiem tylko, żepada lub nie pada.) (...) Tautologia i sprzeczność nie są obrazamirzeczywistości. Nie przedstawiają one żadnej możliwej sytuacji.Pierwsza dopuszcza bowiem każdą możliwą sytuację a druga niedopuszcza żadnej.” (Tractatus logico-philosophicus, 4.461, 4.462)

Tautologie i kontrtautologie nie są informatywne: nie obrazują bowiemrzeczywistości.






Problem informatywności praw logicznych w teorii Dretskego i Floridiego:

Dretske: sygnał jest informatywny a informacja pełni funkcjęwiedzotwórczą dzięki “prawom naturalnym” i “prawom logiki”.Zarówno prawa logiki jak i prawa naturalne, jako odnoszące się dopewnego typu zdarzeń we wszelkich kontekstach, mają zerowąwartość informacyjną.

Floridi: tautologie i kontrtautologie stanowią graniczne przykładyrelacji infonu do określonej sytuacji. Niezależnie od tego, czy infonjest potwierdzany przez dowolną czy żadną sytuację, wartośćinformacyjna takiego infonu wynosi 0.






Naturalnie nie wszyscy uznają prawa logiczne za pozbawione znaczenia:

w szczególności należy zwrócić uwagę na rozwiązaniezaproponowane przez Jaakko Hintikkę w kategoriach logikiepistemicznej będącej prostym przekształceniem logiki modalnej K.

oraz tzw. algorytmiczną teorię informacji.

Więcej na ten temat w: Manuel E. Bremer Do Logical Truths CarryInformation?, w: “Minds and Machines” Volume 13 Issue 4, November2003 oraz na następnym wykładzie.




Przedmiot krytyki Jaakko Hintikki

Hintikka poddaje krytyce interpretację pojęcia prawdopodobieństwa wteorii BHC. Wg Hintikki w teorii BHC znaleźć można przynajmniej dwietrudności związane z interpretacją pojęcia prawdopodobieństwa:

1 w teorii BHC jesteśmy zainteresowani jedynie różnymi alternatywamii czysto logicznym prawdopodobieństwem; informacja nie ma nicwspólnego ze stanem wiedzy lub przekonaniami. Tymczaseminformacja niesiona przez hipotezę jest prawdopodobieństwem aposteriori - czymś, co może być wzmocnione przez np. jużprzeprowadzone obserwacje w stopniu zależnym od ich ilości.

2 funkcja m dopuszcza trudną do utrzymania konsekwencję: przyrozszerzeniu teorii BHC, przy nieskończonym uniwersum, zdaniaogólne mają prawdopodobieństwo zerowe.

3 ponadto przyjęty w BHC język jest zbyt ubogi nawet dla językównaukowych, w których pojawia się więcej niż tylko predykatyjednoargumentowe i stałe indywiduowe.




Przedmiot krytyki Jaakko Hintikki

Szczegółowa analiza Hintikki propozycji rozwiązania problemu orazkategorie informacji głębokiej i powierzchniowej zostaną przedstawione nakolejnym wykładzie.




Literatura

Duża część tego wykładu oparta jest na tekstach Bar-Hillelazamieszczonych w wyborze:

Language and Information. Selected Essays in their Theory andApplication. Massachusetts 1964.

Polecam także:

Halina Mortimer Logika indukcji, Warszawa 1982.




Dziękuję za uwagę i zapraszam do stawiania pytań!

Artur Machlarz

e-mail: [email protected]: http://www.uni.opole.pl/∼machlarz


Semantyczna teoria informacji 2

Education

Transcript of Semantyczna teoria informacji 2