Krzysztof Mossakowski [email protected] mini.pw.pl/~mossakow

Mechanizmy przetwarzania języka naturalnego jako wspomaganie systemów decyzyjnych - wybrane zagadnienia

Krzysztof Mossakowski - http://www.mini.pw.edu.pl/~mossakow

1

Wydział Matematyki i Nauk Informacyjnych Politechniki Warszawskiej


Krzysztof [email protected]

http://www.mini.pw.edu.pl/~mossakow



2


Przetwarzanie języka naturalnego

• Natural Language Processing - NLP• „inteligentna analiza”• „zrozumienie znaczenia”

• Zastosowania:• rozpoznawania mowy• synteza mowy• rozpoznawanie tekstu• narzędzia leksykograficzne• automatyczne tłumaczenia• analiza dokumentów



3


Słowa kluczowe

• natural language processing• written text understanding• information retrieval, document retrieval• information extraction• text processing• language learning



4


Język naturalny

• Problemy:• długie, wielokrotnie złożone zdania• różne znaczenia w różnych kontekstach• wyjątki gramatyczne• specjalne formatowanie tekstu• błędy (ortografia, gramatyka, interpunkcja)



5


Techniki NLP - Knowledge Base

• Semantyczna reprezentacja i interpretacja poszczególnych słów w tekście

• Słowniki• powiązania między słowami (synonimy)

• Wiedza:• morfologiczna - budowa i odmiana wyrazów• syntaktyczna - składnia• semantyczna - znaczenie wyrazów• pragmatyczna - związki logiczne



6


Techniki NLP - Linguistic

• Gramatyki i automaty• Zagadnienia:

• stemming - pobranie podstawowego fragmentu słowa niezmiennego w odmianie

• normalization - identyfikacja odmian słowa i redukcja ich do pojedynczej formy podstawowej

• lemmatization - przynależność słów i fraz do grup• conflation - złączenie nieidentycznych słów w grupy

wg znaczenia



7


Techniki NLP - Statistical (Probabilistic)

• Zagadnienia:• klasyfikacja słów• segmentacja tekstu• częstość występowania słów (fraz)

• Document Retrieval - prawdopodobieństw, że dokument odpowiada zapytaniu



8


Techniki NLP - Connectionist

• Zagadnienia:• kojarzenie słów i fraz• predykcja następnego słowa w zdaniu• podział zdania na fragmenty funkcjonalne• wieloznaczność słów i fraz• automatyczne dopasowanie struktury i funkcji

(SOM)



9


Techniki NLP - Semantic

• Znaczenie wyrazów• WordNet

• słowa (94 tys. rzeczowników, 10 tys. czasowników, 20 tys. przymiotników, 4 500 przysłówków)

• określenie złożone• idiomy



10


Wybrane zagadnienia NLP

• Wyszukiwanie dokumentów dla zadanego pytania• Wyszukiwanie słów kluczowych w tekście • Tworzenie podsumowania informacji• Odpowiadanie na pytania zadawane w

naturalnym języku• Uniwersalność w sensie zakresu słownictwa• Uniwersalność w sensie języka



11





Krzysztof Mossakowski [email protected] mini.pw.pl/~mossakow

Documents

Transcript of Krzysztof Mossakowski [email protected] mini.pw.pl/~mossakow