Semantyczna teoria informacji 1

Teoria informacji semantycznej Bar-Hillela i Carnapa (BHC)

Filozofia Informacji, Wykład III - Semantycznateoria informacji (cz. 1)

Artur Machlarz

17 stycznia 2014

Artur Machlarz Filozofia Informacji, Wykład III - Semantyczna teoria informacji (cz. 1)


Plan wykładu

1 Teoria informacji semantycznej Bar-Hillela i Carnapa (BHC)Teoria BHC - Źr[Pleaseinsertintopreamble]dła i informacje wstępneWarunki wstępneIn - informacja semantycznaCONT jako miara treści



Teoria BHC - Źródła i informacje wstępneWarunki wstępneIn - informacja semantycznaCONT jako miara treści

Teoria Shannona (MTC)

Teria BHC i teoria Shannona (MTC) różnią się w kilku istotnychpunktach. Jednak u swoich podstaw mają wspólny rachunek: rachunekprawdopodobieństwa. Zależności między informacją i stopniemprawdopodobieństwa również są analogicznie określone.




Teoria Shannona (MTC)

Różnice między MTC i BHC:

W BHC pojawia się próba uchwycenia istotniejszego sensu wartościinformacji - wartości, która będzie miała związek tym, co znaczącewypowiedzi mogą nieść dla tych, którzy je rozumieją. W MTC takiproblem się nie pojawia.

W MTC i BHC pojawiają się radykalnie odmienne sposobydefiniowania pojęcia prawdopodobieństwa. W MTC oznacza onoczęstotliwość występowania jakiegoś stanu, w teorii BHCinterpretacja tego pojęcia jest oparta na logicznej m-funkcjiwłaściwej.

W MTC fundamentalnym problemem było określenie przeciętnejinformatywności dla danego systemu. W BHC wartość informacyjnajest określona dla poszczególnych prostych lub złożonych zdańsystemu.




Donald MacKay (1948, 1969)

Wg MacKaya pełna teoria informacji powinna obejmować zarówno teoriękomunikacji Shannona jak i teorię informacji naukowej. Ta ostatniapowinna zajmować się problemami związanymi z tworzeniem reprezentacjilub ich układem w perspektywie obserwatora.Zaproponowana przez Mackaya jakościowa teoria informacji jest związanaz pojęciem wiedzy: pojawia się w niej odbiorca z krwi i kości, któregostan wiedzy rośnie w stopniu zależnym od otrzymanej informacji. Teoriainformacji musi wg Mackaya opisywać fakt, że odbiorca, po otrzymaniuinformacji wie coś, czego nie wiedział wcześniej.(D. Mackay, Measuring Information, w: D. Mackay, Information,Mechanism and Meaning, MIT 1969, s. 10).




Jean Ville

Jean Ville, którego również wymieniają Bar-Hillel i Carnap wśródprotoplastów teorii informacji semantycznej jest doceniany jakomatematyk znany przede wszystkim z osiągnięć na gruncie teorii gier.Jean Ville sformułował definicję wartości informacyjnej jako miaręwzrostu wiedzy osiągniętego po otrzymaniu informacji. Informacja będzietym większa im mniejsze będzie prawdopodobieństwo danego wydarzenia:

I = Plog Pp + Qlog Qq

P, Q: faktyczne prawdopodobieństwo zdarzenia;

p, q: przekonanie o prawdopodobieństwie zdarzenia przedotrzymaniem informacji.




Jean Ville

Ostatecznie Ville definiuje bezwzględną wartość informacji o określonymzdarzeniu w niniejszy sposób:

I = log 1p

Wartość I jest tym większa im mniejsza jest wartość p. (NOTICE sur lestravaux scientifiques de M. Jean VILLE Journal electronique d’Histoiredes Probabilites et de la Statistique/ Electronic Journal for History ofProbability and Statistics. Vol.5, n.1. Juin/June 2009, s. 9. Notatkipochodzą z roku 1955.)




Yehoshua Bar-Hillel

Rysunek: Yehoshua Bar-Hillel - matematyk, logik, filozof. Wieloletni pracownikMIT. Jeden z pionierów badań nad mechanicznym przekładem i systemamiinformacyjno wyszukiwawczymi.




Yehoshua Bar-Hillel - Information Retrieval

Bar-Hillel jest nie tylko autorem klasycznej teorii informacji semantycznej,logikiem i matematykiem, ale także teoretykiem i praktykiem w dziedzinieInformation Retrieval. Był bardzo sceptyczny w stosunku do próbkonstruowania mechanicznych systemów ekstrakcji informacji zdokumentów. Uważał, że w połowie XX wieku niedostatecznie precyzyjnieodróżnia się dwa odmienne typy sytuacji poszukiwania informacji:

poszukiwanie dokumentów,

poszukiwanie maksymalnie dokładnej odpowiedzi na określonepytanie.





O ile widział sens tworzenia systemów do automatycznegoprzygotowywania list dokumentów spełniających określone warunki (ideapochodząca od Perry’ego i Moersa z 1952 roku) to nie widział szanspowodzenia na stworzenie systemu dostarczającego odpowiedzi napytania odnoszące się do treści tych dokumentów. Jego zdaniem, zamiasto Information Retrieval powinno się mówić co najwyżej o DocumentsRetrieval (lub Literature Search). Bar-Hillel nie widział bowiemmożliwości stworzenia systemu, który w satysfakcjonujący sposóbzastąpiłby samodzielne opracowanie dokumentu: procedury ocenyargumentacji, stosowanych metod, wiarygodności itp.





Wg Bar-Hillela systemy IR mogą jednak (a nawet muszą) w pewnymzakresie istnieć, jako wsparcie dla systemów Documents Retrieval. Obasystemy wymagają jednak innego typu przetwarzania dokumentów:

Dla systemów IR zbiór zdań musi być skorelowany z opisywanymdokumentem. Zdania mają wyczerpywać informacyjną zawartośćdokumentu. Zbiór zdań ma być swego rodzaju abstraktem w formiemetaopisu.

Dla systemów LS potrzebny jest zbiór indeksów terminówwskazujących w pewien sposób zawartość informacyjną dokumentu.Indeksy pozwalają rozstrzygnąć, czy dokument należy do określonejtematyki, czy nie.





Przykład trudności natury logicznej dla problemów Information Retrieval:Interesuje nas historia kamieniczek ormiańskich na Rynku Wielkim wZamościu:

Rysunek: Kamieniczki ormiańskie na Rynku Wielkim w Zamościu




Yehoshua Bar-Hillel - Information Retrieval - przykład

Interesuje nas temat historii kamieniczek ormiańskich na Rynku Wielkimw Zamościu:

Mamy parę dokumentów na dokładnie ten sam temat (dobrze znająje wszyscy, którzy są nim zainteresowani...),

Interesują nas także dokumenty dotyczące Ormian naLubelszczyźnie, w Polsce, w Europie Wschodniej.

Wartościowe mogą być dokumenty dotyczące architektury Zamościa,Zamojszczyzny, Lubelszczyzny, wschodniej Polski itp.

Interesują nas opracowania poświęcone architekturze renesansowej wEuropie Wschodniej.

Mogą być dla nas interesujące opracowania dotyczące migracjiludności w XVII wieku, prace nt. Jana Zamojskiego itd.




Yehoshua Bar-Hillel - Information Retrieval - przykład

Interesujące dla nas mogą być te dokumenty, które nie dotyczą dokładnieposzukiwanego tematu. Zastąpienie w indeksach pojęć szczegółowychogólniejszymi nie zawsze może być dla nas korzystne, bo pojęcieogólniejsze nie we wszystkich kontekstach będzie dla nas ekwiwalentne.Ilość różnego rodzaju podstawień też może być olbrzymia i nie da się zgóry przewidzieć ich przydatności. Information Retrieval napotyka zatemwedług Bar-Hillela nieprzekraczalne trudności, jeśli - co byłoby konieczne- miałoby być oparte na analizie znaczeniowej.




Yehoshua Bar-Hillel - przekład maszynowy

Bar-Hillel pracował także nad prblemem przekładu mechanicznego.Uważał, że jest to dobry test dla prób formalizacji języków naturalnychpokazujący jednocześnie ograniczenia takich prób. Wg Bar-Hillelaograniczenia wynikają przede wszystkim z tego, że:

nie da się wszystkich wyrażeń języków naturalnych rozłożyć nakolejno następujące po sobie elementy konstytutywne zgodnie zeskończonym zbiorem reguł. Języki naturalne nie reprezentują wgBar-Hilella wolnej od kontekstu gramatyki frazowej.

Nie jest też możliwe wg Bar-Hillela stworzenie aproksymacyjnychsamokorygujących mechanizmów odkrywania tych gramatyk napodstawie próbek,

Wg Bar-Hillela systemy MT powinny też być zdolne doprzetwarzania znaczeń, co wydawało mu się wątpliwe do osiągnięcia.




Yehoshua Bar-Hillel - przekład maszynowy

Według Siergieja Nirenburga sceptycyzm Bar-Hillela był nieco przesadny,aczkolwiek nie da się przecenić jego osiągnięć dla MT. W latach 90-tychsystemy MT były oparte na logicznym systemie leżącym u podstawznaczeń. Logiczne systemy są interpretowane za pomocą ontologii -modeli wiedzy.

Uwagi Nirenburga o Bar-Hillelu w: S. Nirenburg, Bar Hillel and MachineTranslation: Then and Now, BISFAI’95: Proceedings [of] The FourthBar-Ilan Symposium on Foundations of Artificial Intelligence, ed. MosheKoppel and Eli Shamir, June 20-22, 1995, Ramat Gat and Jerusalem,Israel (Menlo Park, CA: AAAI Press, 1996), ss. 300-306.




Teoria BHC

Teoria BHC - wyłożona w An Outline of a Theory of SemanticInformation (1952)




Uwagi ogólne o teorii BHC

Uwagi ogólne o teorii BHC:

Uważa się ją powszechnie za pierwszą teorię informacji semantycznej(zyskała już nawet miano klasycznej).

Według Bar-Hillela ma ona charakter rudymentów właściwej teoriiinformacji semantycznej. W 1969 roku ubolewał jednak nad tym, żez obiecujących początków tak niewiele wynikło.

Celem Bar-Hillela i Carnapa było stworzenie prawdziwiepragmatycznej teorii informacji. Jednak jeszcze nie w 1952 roku.Później niestety prób stworzenia takiej teorii Bar-Hillel niepodejmował.




Uwagi ogólne o teorii BHC - podstawowe rozróżnienia

Teoria BHC składa się z dwóch części:1 eksplikacji sensu pojęcia treści dostarczanej przez informację oraz2 definicji miary informacji dostarczanej przez określony nośnik

informacji (czyli w teorii BHC przez zdanie).

Właściwą część teorii BHC stanowi część druga.




Semantyka

W teorii BHC wszelkie zagadnienia związane z postaciami odbiorcy inadawcy zostały przeniesione do (nieistniejącej) pragmatyki. Wniosek:

Semantykę należy w tej teorii rozumieć inaczej, niż proponujeWeaver (1949): problem aproksymacji interpretacji treści u odbiorcyi intencji nadawcy nie należy do zadań teorii BHC.

Aspekt semantyczny informacji to tyle, co treść niesiona przezzdanie, która to treść jest wyznaczona przez inne zdania określonegosystemu językowego.




Semantyka a pragmatyka

Różnica między semantyką i pragmatyką:

Wg BHC obiektywna zawartość informacyjna praw logicznych i prawmatematycznych oraz zasad geometrii jest zerowa. Subiektywniemoże być znacząca (tzn. gdy osoba A nie zna tych praw i zasad), zewzględu na aspekt wiedzotwórczy.

Ta sama uwaga dotyczy wszelkiego rodzaju zdań empirycznych: jeśliuzależni się wartość informacyjną zdania od czynnika subiektywnego,to nie da się wg Bar-Hillela i Carnapa podać obiektywnej wartościinformacyjnej takiego zdania.

Czynnik subiektywny zatem w teorii BHC jest irrelewantny - niebierzemy go pod uwagę.




Wstępne założenia

Wstępne założenia teorii BHC:

Wartość informacyjną przypisuje się zdaniom (a nie symbolom,dźwiękom, zdarzeniom itp.).

Nie interesuje nas realny odbiorca ani intencje nadawcy.

Ograniczamy się wstępnie do zamkniętego systemu, aczkolwiek,zdaniem Bar-Hillela i Carnapa, rozszerzenie go na nieskończony niepowinno przysporzyć żadnych trudności (przykład próby rozszerzeniai związane z tym trudności na Wykładzie 5 - teoria Jaakko Hintikki).




Język - uwagi ogólne

Teoria BHC jest budowana w odniesieniu do pewnego prostego systemujęzykowego. Wg BHC jest to język, który jest jednak na tyle bogaty, żemoże być podstawą rekonstrukcji wszystkich możliwych językównaukowych. Jest on formalizowany w ramach rachunku predykatów.Wszystkie niżej definiowane pojęcia są zrelatywizowane do określonegojęzyka.




Język Lπn - elementy składowe

Lπn zawiera:

n - ilość różnych stałych indywiduowych (oznaczających n-ilośćróżnych indywiduów, takich jak rzeczy, zdarzenia itp.)

π - ilość jednoargumentowych predykatów oznaczających prostewłasności indywiduówstałe logiczne: spójniki zdaniowe:

negacja ∼dysjunkcja ∨koniunkcja .implikacja ⊃równoważność ↔

Wartości n i π są skończone.




Język Lπn - definicje spójników

i L-implikuje j = D f i ⊃ j

i jest L-równoważne j = D f i ↔ j

i jest L-alternatywne j = D f i ∨ j

i jest L-ekskluzywne j = D f i .j




Język Lπn - składnia

Składnia przykładowego języka L22:

zdania atomowe (basic sentences) - np. Da,Zb itp.

Q-predykatory - koniunkcja predykatów, w których każdy prostypredykat występuje zanegowany lub nie: np. Q = D.Z itd. Dlajęzyka składającego się z dwóch predykatów liczba Q-predykatorów(k) będzie równa

4.

Własność definiowana przez Q-predykatory nazywana jestQ-własnością.

Q-zdanie: pełne zdanie Q-predykatorowe.

Opis stanu: koniunkcja n-ilości Q-zdań, po jednym dla każdej stałejindywiduowej.





Składnia przykładowego języka L22:


Q-predykatory - koniunkcja predykatów, w których każdy prostypredykat występuje zanegowany lub nie: np. Q = D.Z itd. Dlajęzyka składającego się z dwóch predykatów liczba Q-predykatorów(k) będzie równa 4.

Własność definiowana przez Q-predykatory nazywana jestQ-własnością.

Q-zdanie: pełne zdanie Q-predykatorowe.

Opis stanu: koniunkcja n-ilości Q-zdań, po jednym dla każdej stałejindywiduowej.





Składnia języka L22 - przykłady (D - dobry, Z - zły, uczynki a i b):


Q-predykatory - D. ∼ Z ,D.Z ,∼ D.Z ,∼ D. ∼ Z

Q-własność: D.nie − Z .

Q-zdanie: [D. ∼ Z ]a.

Opis stanu: [∼ D.Z ]a.[D. ∼ Z ]b




Język Lπn - opisy stanów

Opisy stanów są pełnym opisem możliwych stanów uniwersum dyskursukonstytuowanego przez nasz język. Interesuje nas ich ilość: w przypadkunaszego systemu L22 będzie ich

16.




Język Lπn - opisy stanów

Opisy stanów są pełnym opisem możliwych stanów uniwersum dyskursukonstytuowanego przez nasz język. Interesuje nas ich ilość: w przypadkunaszego systemu L22 będzie ich 16.




Opisy stanów - przykład

Konfiguracje stałych indywiduowych i predykatów można swobodnieprzedstawić w formie przejrzystej tabeli:

Rysunek: Tabela dla L43. Możemy zrobić analogiczną dla L22




Warunki wstępne - podsumowanie

Wstępne warunki teorii BHC - podsumowanie:

Założenia wstępne.

Definicja języka.

Aspekt ilościowy.




In - definicja

Informacja (In) - definicja i podstawowe własności:

In(i) - informacja niesiona przez zdanie i. Implicite definiujemy jąjako nieokreślony zbiór “czegoś”.

In(i) zawiera In(j) wtw i L-implikuje j. (L-reguła oznacza regułylogiczno-matematyczne (Carnap)).

In(i) = In(j) wtw i jest L-równoważne j.




In - informacja względna

Informacja względna - definicja:

In(j/i) = In(i .j)− In(i)

Wyjaśnienie: tak zdefiniowana informacja względna określa pewnegorodzaju nadwyżkę informacyjną pojawiającą się w zdaniu j w kontekściezdania (lub koniunkcji zdań) i.




In - własności

Kolejne własności In:

L-prawdziwe zdania: są L-implikowane przez dowolne zdanie

L-łałszywe zdania: L-implikują dowolne zdanie.

Wnioski:

In(i) = minimalny zbiór In-zbiorów wtw i jest L-prawdziwe

In(i) = maksymalny zbiór In-zbiorów wtw i jest L-prawdziwe




CONT - definicje i uwagi wstępne

Uwaga: In nie stanowi jeszcze żadnej miary informatywności. Podobniejest z CONT: In i CONT są pojęciami, które nie definiują ilości treści aniinformacji.

Sens pojęcia treści zdania (CONT(i)):

Zakres zdania i (R(i)) - zbiór wszystkich opisów stanów (Z), któreL-implikują i.

Zdanie i mówi zatem, że stan naszego uniwersum wyznaczonegoprzez L jest jednym z możliwych stanów, które są opisywane przez Zw R(i).

Patrząc z drugiej strony: i mówi, że stan tego uniwersum nie jestjednym ze stanów opisywanych przez dopełnienie zakresu R(i).

Element treści: negacja opisu stanu.

Treść zdania i (CONT(i)) - klasa elementów treści L-implikowanychprzez i.




CONT - przykład

Jeśli w języku L22 mamy 16 możliwych opisów stanów, to: ile elementówzawiera CONT (Da. ∼ Za. ∼ Db.Zb) ?

ile elementów zawiera CONT (Da) ?




CONT - własności

Bar-Hillel i Carnap uważają, że CONT jest znakomitą funkcjąeksplikującą sens In. Pojęcie informacji niesionej przez zdanie jestbowiem identyfikowane ze zbiorem negacji wszystkich tych opisówstanów, które są przez określone zdanie wykluczone. Trzymają się tejsamej intuicji, która leży u podstaw oparcia definicji wartościinformacyjnej na odwrotności wartości prawdopodobieństwa określonegostanu w danym systemie w teorii Shannona, Nyquista i Hartleya.




Podsumowanie

Co udało się dotąd osiągnąć?

Udało się zdefniować precyzyjnie warunki, w ramachktórych będą obowiązywały definicje informacji i treści.Udało się też podać definicje informacji i treści zdaniawzględne do określonego systemu językowego.

Co chcemy osiągnąć?Chcemy podać definicję wartości informacyjnej określonychzdań systemu.




Podsumowanie

Co udało się dotąd osiągnąć?Udało się zdefniować precyzyjnie warunki, w ramachktórych będą obowiązywały definicje informacji i treści.Udało się też podać definicje informacji i treści zdaniawzględne do określonego systemu językowego.





Podsumowanie


Co chcemy osiągnąć?

Chcemy podać definicję wartości informacyjnej określonychzdań systemu.




Podsumowanie






Literatura

Duża część tego wykładu oparta jest na tekstach Bar-Hillelazamieszczonych w wyborze:

Language and Information. Selected Essays in their Theory andApplication. Massachusetts 1964.




Dziękuję za uwagę i zapraszam do stawiania pytań!

Artur Machlarz

e-mail: [email protected]: http://www.uni.opole.pl/∼machlarz


Semantyczna teoria informacji 1

Documents

Transcript of Semantyczna teoria informacji 1