Świat Bytów Świat Bytów Wirtualnych 1Wirtualnych 1

Włodzisław Duch

Katedra Informatyki Stosowanej, Uniwersytet Mikołaja Kopernika, Toruń

School of Computer Engineering, Nanyang Technological University, Singapore

Google: Duch

Kierunki rozwoju nowoczesnych technologii, Uniw. Łódzki, 24.04.2004

PlanPlanPlanPlan• Świat bytów wirtualnych w Internecie i telefonach: awatary, boty,

sztuczne osobowości w cyberprzestrzeni.

• Elementy: cyberprzestrzeń, agent, bot, synteza mowy mówiąca głowa, awatar ...

• Zastosowania: automatyzacja usług informacyjnych i reklamy ... • Potrzeby: robotyka kognitywna, automatyzacja złożonych

czynności, interfejsy w języku naturalnym.

• Przykłady istniejących zastosowań: wirtualni asystenci – Talking Buddy, UltraHal; mówiące głowy na stronach – Lingubots i inne.

• Technologia: agenci, awatary, grafika - Haptek.• Technologia: dialog z użytkownikiem, analiza języka naturalnego.• Technologia: modele kognitywne złożonych zachowań.• Co nadejdzie wkrótce? Dokąd to zmierza?

Cyberprzestrzeń: definicjeCyberprzestrzeń: definicjeCyberprzestrzeń: definicjeCyberprzestrzeń: definicje

• Cyberprzestrzeń: świat sprzężonych ze sobą sieci komputerowych tworzący „przestrzeń informacyjną” z możliwością jej eksploracji oraz odczuwania przy pomocy zmysłów pobudzanych wspomaganymi komputerowo urządzeniami. Termin wprowadził William Gibson w powieści „Neuromancer”, gdzie opisał świat, w którym stosowane są cybernetyczne rozszerzenia możliwości ludzkiego organizmu, np. wymiana informacji ze światową siecią komputerową.

• Poruszanie się w sieci = w cyberprzestrzeni.

• Internet jako całość, rozumiany jako przestrzeń komunikacyjna, zwłaszcza World Wide Web, grupy dyskusyjne. W tym sensie do cyberprzestrzeni wkraczamy podłączając się do Sieci.

• Wygenerowane komputerowo środowisko wirtualnej rzeczywistości z dostępem do sieci komputerowej lub też jej pozbawione (np. światy stworzone w technologii VRML).

AgenciAgenciAgenciAgenci• Nie ma jednoznacznej definicji agenta.

Przez agenta (programowego) zwykle rozumie się działający w jakimś środowisku program zdolny do komunikacji, monitorowania swego otoczenia i podejmowania autonomicznych decyzji, aby osiągnąć cele określone podczas jej projektowania lub działania.

• Agent powinien mieć przynajmniej niektóre z cech:• być mobilny, poruszać się w cyberprzestrzeni;• autonomiczny, zdolny do podejmowania samodzielnych decyzji;• umiejętność komunikacji z innymi agentami i użytkownikiem;• być zdolnym do kooperacji lub korzystania z usług innych agentów;• percepcję (zdolność do postrzegania i reagowania na zmiany

środowiska);• wykazywać tolerancję na błędy;• wykorzystywać i gromadzić wiedzę;• adaptować się (uczyć się) w celu osiągnięcia celu.

BotyBotyBotyBoty• Fragment słowa Ro-bot; może być Soft-bot• Agenci specjalizujący się w prowadzeniu dialogu, pierwotnie boty

powstały aby działać w czasie nieobecności operatorów kanałowych w grupach dyskusyjnych IRC, pilnować porządku na kanale oraz chronić przed przejęciem. Najpopularniejszym botem dla IRC jest eggdrop.Popularne boty utrzymują Wikipedie we względnym porządku, automatyzując takie procesy jak tworzenie powiązań między stronami encyklopedii w różnych językach.

• Spotykane nazwy, czyli botyka http://www.aibotworld.com/botyka.html

Chatterbot, chatbot – bot „paplający”.Knowbot – bot szukający wiedzy i gromadzący wiedzę.Lingubot – nazwa botów firmy KiwiLogic.Mindbot – program pomagający myśleć, np. sugerujący pomysły.Shopbot – agent wyszukujący okazje ...

Synteza mowySynteza mowySynteza mowySynteza mowy

Przykłady starych i nowych programów do syntezy mowy.

Całkiem dobry syntezer:http://www.ivo.pl/?page=ivona_on_line

Nie tylko prawidłowa wymowa ale i niezła intonacja.

Syntezator mowy przydatny jest osobom niewidomym i niedowidzącym. W wersji rehabilitacyjnej pozwala na wybór sposobu interpretowania (parsowania) tekstu i ignorowanych znaków.

Można przyśpieszyć czytanie tekstu aż do czterech razy bez zmiany jakości czy wysokości.

Mówiąca przeglądarka Intelligent Web Reader jest dostępna za darmo.Dostępna jest wersja do urządzeń przenośnych (PDA, smartfon). Spore zainteresowanie lokalnych władz wdrożeniami tego typu systemów (fundusz rehabilitacyjny).

Rozpoznawanie mowyRozpoznawanie mowyRozpoznawanie mowyRozpoznawanie mowy

Bardzo dużo produktów związanych z rozpoznawaniem mowy.Microsoft oferuje darmowe SAPI (Speech Application Program Interface)

Office 2003 ma narzędzia do rozpoznawania mowy.

Darmowe narzędzia firmy Brainhathttp://www.brainhat.com/

Dwa najbardziej znane programy to: Dragon Naturally Speaking (ScanSoft), osiąga po krótkim treningu (zwykle < 30 min) dokładność 95-99%.

IBM ViaVoice osiąga podobną dokładność co Dragon NS, pozwalając na dodawanie nowych słów do słownika użytkownika.

Współpracują ze wszystkimi aplikacjami Windows, powalają na wykonywania prostych komend, np. nawigacji po Internecie. Wymagają dużo RAM i szybkiego procesora.

Mówiące głowyMówiące głowyMówiące głowyMówiące głowy

Głównie grafika 3D, możliwości synchronizacji ruchu ust z dźwiękami z syntezatora mowy; grafika i synteza mowy, ale bez percepcji i prawdziwej interakcji.

Przykłady: Ananova, czyta wiadomości, firma telefoniczna Orange dała za nią £95M – wkrótce w telefonach komórkowych?

Andrea Catherwood, czyli Vandrea, czyta wiadomości programu BT5.

Simon czyta wiadomości w języku migowym.

Technologia Veeper – przykład z Harvard School of Medicine, realistyczny dźwięk i grafika. Inne Veepery http://ecard.veepers.com/service/Start

VeeperVeeperVeeperVeeperTechnologia Veeper robienia głów 3D z własnych zdjęć.http://www.pulse3d.com/pulse/

Firma Pulse dostarcza technologii pozwalającej na tworzenie i rozsyłanie wirtualnych postaci do użytkowników komputerów i urządzeń bezprzewodowych. Ich software zamienia zdjęcia na interaktywne postacie, które można oglądać bez dodatkowego oprogramowania.

Zastosowania: marketing, usługi, wirtualna obsługa i sprzedaż, nauczanie, przesyłanie wiadomości – realistyczne ale pliki 1% wideo. Przykład pacjenta z Harvard School of Medicine przedstawiającego swój stan studentom.

Przykłady kartek z głowami Veepera – można interakcyjnie podłożyć swoja, dodać dźwięk syntetyczny lub nagrany i wysłać pocztą elektroniczną. Spróbujcie!http://ecard.veepers.com/service/Start

Veeper cd.Veeper cd.Veeper cd.Veeper cd.Popatrzmy na parę przykładów zastosowań, np IRS (urząd podatkowy!)http://www.pulse3d.com/pulse/examples.html

• Mobile Veepers MessagingPozwala na przesyłanie mówiących 3-wymiarowych postaci odczytujących wiadomości tekstowe w wielu językach i głosami do wyboru. Analiza tekstu pozwala na robienie min i gestów! • Face TonesDzwonki do telefonu połączone z twarzami, które odczytują SMSy i maile, informują kto dzwoni. • Broadcast VeepersGłowy czytające wiadomości, doniesienia sportowe, informacje o pogodzie, ruchu na drodze i innych sprawach, działające w telefonach. • Mobile V-cards Szybkie tworzenie i wysyłanie fotorealistycznych animowanych fotografii, np. robionych aparatem telefonem. • Location-Based Face Ads (LB-Fads)Reklama za pomocą mówiących głów, korzystając z GPS i technologii agentów, z informacją o lokalnych zdarzeniach, wyprzedażach itd.

HaptekHaptekHaptekHaptekMówiące głowy, podobnie jak Veeper, http://www.haptek.com/

Poziom pre-kognitywny, głównie grafika 3D, morfing, synteza mowy, synchronizacja ruchu ust. Duże możliwości graficzne oraz sterowania zachowaniem, w tym prozodią mowy, syntetycznymi emocjami, gestami i wyrazami twarzy.

Przedstawia się Haptek Virtual Character

Haptek Player, czyli oprogramowanie do odtwarzania, działa jako wtyczka w przeglądarkach za darmo. Narzędzia SDK do tworzenia postaci Hapteka są tanie.

Działa jako wtyczka ActiveX, łatwo jest dodać własne programy w C++ lub w VisualStudio, można też używać języków skryptowych, JavaScript działa z darmowymi narzędziami MS SAPI do rozpoznawania mowy.

Pokaz oprogramowania People’s Putty do tworzenia i kontroli postaci Hapteka.

ChatterbChatterbototyyChatterbChatterbototyy

Boty w wersji desktop-bot (niezależne) lub web-bot (na serwerach), głównie analiza języka, prowadzenie dialogu.

Linki do stron z botami są pod: http://www.phys.uni.torun.pl/~duch/IR.html#Agent

W Polsce „botyka”: http://www.aibotworld.com/www.chatbot.pl to projekt Tribota, mówiącego po polsku.

Jeden z pierwszych: Eliza (Weizenbaum, MIT 1967), udaje psychoterapeutę, oparty na prostych skryptach - demo.

MegaHall, http://www.a-i.com/ symulator konwersacji, który się naprawdę uczy; Hal jest na poziomie 2-letniego dziecka i nauczył się sensu słów wyłącznie przez rozmowy; istnieje bardzo wiele „osobowości” Hal. Zastosowania? Może w zabawkach dla maluchów?

EllaZEllaZEllaZEllaZ

Demonstracja EllaZ: http://www.ellaz.com/AI/

Działa jako aplikacja na serwerze lub lokalnie w komputerze.Czyta książki, zna gry (karty, gry planszowe, hazardowe, I Ching), dostarcza informacji o pogodzie, giełdzie, walutach, zamienia jednostki i pomaga wykonywać obliczenia ...

Używa WordNetu, wielkiej bazy leksykalnej, może podawać definicje, synonimy, antonimy, hipernimy (kategorie nadrzędne, rodzaj czegoś) i hyponimy (kategorie szczegółowe, przykład czegoś).

Np: "What are the hypernyms of horse?" Horse is a type of: hoofed mammal, animal, living thing. "What are the hyponyms of flower?" Flower has a type: peony, lesser celandine, windflower ...

Podpowiada np. jakie słowa pasują w krzyżówce do schematu U===E===L, albo jakie słowa kończą się na „ant” (do rymów).

AliceAliceAliceAlice

Duży projekt ArtificiaL InteligenCE Foundationhttp://www.alicebot.org/ (Richard Wallace)

Jeden z najlepszych botów, 3 razy wygrał nagrodę Loebnera. Rozmowa z Alice.CLAUDIO (Cybernetic Lifelike Android Used for Dialogue Interaction and Observation) zrobi test osobowości.Na stronie http://www.alicebot.org/non.html jest bardzo dobry przegląd około 30 projektów związanych z botami.

http://www.alicebot.org/directory.html ma linki do wielu botów w sieci, od Alice, przez Budda-bot do Szekspira.

Sporo zastosowań do nauki angielskiego: www.alicebot.org/ESL.htmlW cyberprzestrzeni spotkać można wiele botów opartych na Alice.

www.Pandorabots.com gdzie można wystawić swojego bota zrobionego w oparciu o język AIML używany przez Alice.

AIMLAIMLAIMLAIMLAIML (Artificial Intelligence Markup Language) to zgodny z XML język, którego łatwo można się nauczyć, służący do przystosowania ALICE do swoich potrzeb.

Tag: <category> zaznacza „jednostkę wiedzy" w bazie wiedzy Alice;<pattern> to wzorzec wypowiedzi użytkownika;<template> zawiera odpowiedź dla danego wzorca.

Tagów jest ponad 20 i można je samemu rozszerzać. W AIML jest ok. 41,000 kategorii, np:

<category> <pattern>WHAT ARE YOU</pattern> <template><think><set name="topic">Me</set></think> I am the latest result in artificial intelligence, which can reproduce the capabilities of the human brain with greater speed and accuracy. </template></category>

OddcastOddcastOddcastOddcastFirma sprzedaje głosy (w 64 językach), głowy i aplikacje je zawierające, http://www.oddcast.com – drogie!

VHost Studio™ - tworzenie postaci, umieszczanie na stronach WWW, dodawanie plików dźwiękowych i synchronizacja z obrazem.

VHost Workshop™ - przesyłanie wirtualnych postaci w listach do klientów, którzy mogą modyfikować nadesłane postacie i wiadomości.

VHost AIMC™ - profesjonalny system pozwalający na pisanie skryptów w AIML, rozszerza możliwości Studio i Enterprise.

VHost e-Learning Suite™ - zestaw programów do tworzenia aplikacji edukacyjnych, ich zawartości, modułów, logiki powiązań.VHost FAQ Maker™ - do robienia FAQ odczytywanych przez awatary.VHost Simulation Maker™ - symulacje scenariuszy z podziałem na role. VHost Quiz Maker™ - tworzenie testów i kwizów wyboru.VHost Analyzer™ - poleca produkty robiąc analizę zapytań użytkownika.

LingubotyLingubotyLingubotyLinguboty

Linguboty na stronie http://www.kiwilogic.com/ i www.fido.pl. Bazy wiedzy i boty odpowiadające na pytania.

German Chancellor's IT-Eagle http://www.bundeskanzler.de/

Betty Feron pomaga pacjentom z stwardnieniem rozsianym.KMP Internet: relacje pomiędzy ludźmi i firmami.Opera Telecom: automatyczne usługi SMS.Swiftcall: asystent wyszukujący SwiftyVW ma stronę z botem dla Supplier Self Registration (SSR)

Schwarzkopf: wszystko dla włosów

Novartis Pharmaceuticals: porady wirtualnego doktora

DAB Bank, DaimlerChrysler, MCC Smart stosują linguboty...Droga technologia, ale niezła.

UltraHal - wirtualni asystenciUltraHal - wirtualni asystenciUltraHal - wirtualni asystenciUltraHal - wirtualni asystenci

Połączenie technologii botów i agentów; głównie analiza języka, prowadzenie dialogu, ale też dostęp do baz wiedzy, zapamiętywanie użytecznych faktów, prawdziwa interakcja z użytkownikiem.

Ultra-Hal, firmy Zabaware (Robert Medeksza).

Przykład dialogu: User: Rob's address is 3175 West 42nd St.Hal: Cool. I like learning new things like that.

User: Sally's eyes are blue.Hal: Cool. I have learned something new.

User: What is Rob's address?Hal: Rob's address is 3175 West 42nd St.

User: What color are Sally's eyes?Hal: Sally's eyes are blue.

Co potrafi UltraHal?Co potrafi UltraHal?Co potrafi UltraHal?Co potrafi UltraHal?

Krótki tutorial – prowadzi Zaba.

Przede wszystkim chatterbot, który potrafi prowadzić konwersację na wiele tematów.

Podręczna pamięć: zapamiętuje proste skojarzenia i przypomina o określonej godzinie lub na żądanie, np. zadzwoń do Jacka, email Jarek.

Może uruchomić programy jeśli wydamy polecenie np. „Run Word”.Może szukać pomocy dla wszystkich zainstalowanych programów.

Można dodawać różnych agentów poprzez wtyczki pisane w VBScript, JavaScript, kontrolki ActiveX czy programy dołączone przez DDE.

Ultra Hal Representative może odpowiadać na pytania osób odwiedzających strony Internetowe! Można sobie go ustawić za darmo.

Talking BuddyTalking Buddy

Agent używający animowanych postaci: http://www.talkingbuddy.com/

• powiadamia i czyta pocztę elektroniczną; • zbiera i odczytuje informacje z giełdy, serwisów pogodowych i

wybranych stron WWW, np. ostatnie wiadomości, ostrzeżenia przed wirusami;

• dostarcza pozdrowienia i wiadomości odczytując je lub odśpiewując adresatom;

• przypomina o zdarzeniach z kalendarza: spotkaniach, rocznicach, imieninach;

• opowiada kawały, ściągając je ze stron internetowych; konwersji formatów danych;

• znajduje interesujące strony WWW i je poleca;• odczytuje zaznaczone informacje.Demonstracje ...

Turing Turing ii Loebner LoebnerTuring Turing ii Loebner Loebner

Test Turinga (1950): czy jesteś programem czy komputerem?

Od 1994 r Medal i Nagroda Loebnera przyznawana jest programowi, który przejdzie Test Turinga. Nagroda główna to 100 K$, co roku 2000 $.

Sędziowie mają >15 min na rozmowę z botem lub człowiekiem, potem wystawiają ocenę.

2001: Alice dostał 14 punktów, ludzie 19-242002: Ellaz, http://www.ellaz.com/ 2003: Jabberwockopowiada dowcipy, podaje pogodę, czyta na głos książki, interpretuje I-Ching, gra w karty, uczy się ...

Ocena programów i ludzi, na ile sztuczny/prawdziwy w skali 1-10. Tylko 10% sędziów się myli (2000).

Przykład konwersacjiPrzykład konwersacjiPrzykład konwersacjiPrzykład konwersacji

Talk-Bot #3 by Chris Cowart

User: Can you love?Talk-Bot: I've seen people do it.. it doesn't seem hard!

W 1994 roku tematami były koty i psy, kriogenika, Rolling Stones, proces O.J. Simpsona, a zwyciężył program dyskutujący o seksie!

Zawody w 1998 roku w Sydney nie miały ograniczeń tematu konwersacji. Programy często przejmują inicjatywę, co ułatwia oszukanie sędziego.

Oceny: 1 – najbardziej ludzki, 10 – najmniej ludzki.

Przykład konwersacjiPrzykład konwersacji

PROGRAM: Hello. My name is Albert. Who are you?

JUDGE002: Greetings, I'm judge 2

PROGRAM: I'm not sure what to talk about with you. Are you a girl or a boy?

JUDGE002: girl. how are you?

PROGRAM: Are you married? I'm doing just fine, thanks.

JUDGE002: would you like to talk about somethng interesting?

PROGRAM: MP is an abbreviation for Member of Parliament.

JUDGE002: right, why did you say that?

PROGRAM: I just felt like it.

JUDGE002: okay, did you hit a wrong button?

PROGRAM: Do you come from around here?

JUDGE002: yes, do you?

PROGRAM: No I don't.

Przykład cd.Przykład cd.J002: where do you come from PROGRAM: I am from Earth.J002: well that's very specific indeed. what are your interests> PROGRAM: Would you like to have a drink with me later? let's not get too personal.J002: what do you work as? P. I've worked on a lot of PC's and some mini computers and mainframes when I was in college.

............

Wyniki 2000Wyniki 2000

Program Alice oszukał sędziego 1 i 2.

Wyniki 2004Wyniki 2004

W 2000 roku najsłabszy człowiek był lepszy od najlepszego programu 3.3 razy, w 2004 już tylko 1.9 razy. Postęp?

Generacja tekstuGeneracja tekstu

Brutus - program tworzący opowiadania na zadany temat, np. zdanie:„Jerzy obudził się pewnego ranka z koszmarnym uczuciem, że stał się wielkim insektem”.

Historie dziwaczne, a przez to interesujące, np. porównania: „Oczy Harta były jak wielkie, krwawiące słońca.” „LAG: Literary augumented grammars”. Formalizacja pojęcia „zdrada”.

Nadaje się do pisania scenariuszy TV!

Gry słowneGry słowneGry słowneGry słowne• Gry komputerowe angażują głównie zdolności

percepcyjno-ruchowe, w przeszłości to mowa i grysłowne stanowiły podstawę rozwoju.

• Dialog z użytkownikiem: o co mu chodzi? Trzeba zadawać pytania by sprecyzować dokładnie, co rozmówca ma na myśli.

• Gra w 20 pytań: pomyśl o czymś, a ja zgadnę. Czy to zwierzę, roślina, minerał czy coś innego?

• Jak zadawać inteligentne pytania? Gra w 20 pytań to kolejne wyzwanie dla AI, chcemy zrobić światowe mistrzostwa.

• Mamy już mówiącą głowę, z którą można pograć. Można też kupić zabawkę z grą w 20 pytań, ale bez awatara.

• Planujemy wiele zastosowań w grach edukacyjnych.

HITHITHITHIT• HIT = Humanized InTerfaces, czyli naturalne interfejsy

w komputerach i telefonach.

• Cel daleki: budowa sztucznego umysłu, czyli systemuz którym będziemy mogli mieć podobne relacje jak z ludźmi.

• Cel bliski: integracja wielu technologii, stworzenie modularnej platformy dla HIT, składającej się z mówiącej głowy, syntezy mowy, kontroli zachowania, wyrazu twarzy, gestów, percepcji słuchowej, wzrokowej, rozpoznawania mowy, lokalizacji obiektów, rozpoznawania osób po głosie i twarzy, dostępu do baz danych i informacji z Internetu, pamięci i kojarzenia faktów.

• Liczne zastosowania, ale wąsko określone, nie uniwersalna AI.• Wielki rynek programów dla urządzeń przenośnych, bez

klawiatury, które mają zbyt wiele możliwości by je wykorzystać.• Na razie mam w projekcie 16 osób z NTU, ponad 4Mzł.

HIT: HIT: planowana platformaplanowana platforma

Ogólny schemat:

funkcje podstawowe: synteza i rozpoznawanie mowy w ograniczonym , zakresie, grafika, proste f. językowe (NLP) + funkcje rozszerzone:percepcja, poznawcze, afektywne,behawioralne, wyspecjalizowani agenci.

Wyzwanie: zbudować modularną platformę na PC, z głową 3D, funkcjami percepcyjnymi, kontrolą zachowania, funkcjami kognitywnymi i afektywnymi, przenieść ją telefony/usługi sieciowe.Integracja wielu istniejących projektów dotyczących AI, analizy sygnałów, komputerowej wizji, treści semantycznych multimediów itd; współpraca z przemysłem, silna konkurencja ze strony Microsoft, Intel, projektów UE.

Percepcja: słuch i wzrok

Funkcje poznawcze

Funkcje afektywne

Interfejsy do informacji tekstowej

Kontrola zachowania

Kontrola urządzeń

Graficzna głowa

Synteza mowyZrozumienie

tekstów

Agenci d/s specjalnych

Mind-botsMind-botsMind-botsMind-bots

Agenci, boty, roboty – maszyny bez głowy?

• Wyższe czynności poznawcze w agentach wymagają rozumowania w oparciu o percepcję, skojarzeń, myślenia, wiedzy o świecie, rozumienia stanów mentalnych innych agentów.

• Mind-bots: teoria poznawania (architektura poznawcza) + zdolności lingwistyczne, symulacje bez czynności sensomotorycznych.

Przykłady: Gerald Edelman, roboty Nomad/Darwin w których złożone formy

zachowania powstają z “instynktów” w sieciach neuronowych.

John Anderson, ACT-R, architektura poznawcza: teoria działania umysłu na poziomie symbolicznym, z elementami sub-symbolicznymi.

Allan Newell, SOAR, uniwersalna teoria poznawania + system modelowania + analiza języka => regułowy system NL-SOAR.