www.agh.edu.pl

Adrian Horzyk

SZTUCZNA INTELIGENCJA

MODELE OBLICZENIOWE,

BIOCYBERNETYKA I KOGNITYWISTYKA

Zasadniczym pytaniem w informatyce jest kwestia

sposobu przetwarzania danych,czyli określenia, w jaki sposób

operować na symbolach i liczbach.

MODELE OBLICZENIOWE

OGRANICZENIA WSPÓŁCZESNYCH OBLICZEŃ

BAZUJĄCYCH NA MASZYNIE TURINGA

Współczesna informatyka opiera się na deterministycznym modelu obliczeniowym, tzw. Maszynie Turinga (MT), który formalnie zdefiniowany jest jako krotka:MT = < Q, Σ, δ, Γ, q0, B, F >

gdzie:Q – skończony zbiór stanów, q0 – stan początkowy, q0 ∈ QF – zbiór stanów końcowychΓ – skończony zbiór dopuszczalnych symboliB – symbol pusty, B ∈ ΓΣ – zbiór symboli wejściowych, taki że: B Σ Γδ: Γ x Q Q x Γ x {L,P,-} – funkcja opisująca przejście od stanu q1 ∈ Q pod wpływem

symbolu wejściowego ze zbioru Γ w kolejny stan ze zbioru q2 ∈ Q zwracający symbol ze zbioru Γ oraz przesunięcie głowicy w lewo (L), prawo (P) lub nie dokonując bez przesunięcia (-).

Model MT skupia się na przetwarzaniu skończonego zbioru symboli,operuje na językach i gramatykach formalnych oraz jest podstawądziałania współczesnych komputerów.

Maszyna ta ma jednak istotne ograniczenia, np. w stosunkudo architektury i sposobu działania ludzkiego umysłu – mózguoraz biologicznych sieci neuronowych, które z natury są w stanieprzetwarzać różne dane, mimo iż nie są maszynami Turinga!

PORÓWNANIE MODELI OBLICZENIOWYCH

MASZYNA TURINGA MODEL ASOCJACYJNY

Nie zmienia stanów pod wpływem upływu czasu.

Nie zmienia sposobu swojego działania, symboli, danych ani funkcji przejścia pod wpływem upływu czasu ani przetwarzanych danych.

Nie formuje wiedzę o danych, lecz tylko może je zapamiętać oraz przetwarzać, a sposób ich przetwarzania jest zasadniczo liniowy,również w wersji zrównoleglonej.

Przetwarza dane deterministycznie według określonych algorytmów

Oddziela dane od algorytmów, gdzie dane mogą zostać zmodyfikowane tylko na skutek działania algorytmów, które muszą zostać zewnętrznie zdefiniowane oraz podane Maszynie Turinga.

Większość czasu pracy procesora (zwykle od 60% do 99%) tracą na wyszukiwanie danych i relacji pomiędzy nimi oraz przenoszenie danych pomiędzy pamięcią i rejestrami procesora!

Model więc zorientowany jest bardziej na dane niż na relacje pomiędzy danymi.

Ma wiele ograniczeń związanych ze złożonością obliczeniową (np. problemy NP-Trudne) na skutek konieczności przeszukiwania danych.

Automatycznie zmienia swoje stany pod wpływem upływu czasu, może np. zerować „słabe” dane.

Automatycznie zmienia sposób swojego działania pod wpływem formującej się wiedzy i na skutek przetwarzanych danych.

Automatycznie formuje wiedzę o danych w postaci skojarzeń (asocjacji), które dynamicznie zmieniają związki (relacje) pomiędzy danymi.

Potrafi zmieniać sposób swojego działania na skutek procesów refrakcji („odpoczywania”) i zmęczenia neuronów, co automatycznie wprowadza w życie alternatywy.

Dane formują algorytmy ich kojarzenia a następnie przetwarzania w przyszłości, więc powstają samoistnie na skutek działania tego modelu.

Dane pozostające ze sobą w pewnej relacji są ze sobą skojarzone, a ich reprezentacje neuronalne kontekstowo powiązane, dzięki czemuzwykle bardzo upraszczany jest processzukania, osiągając często stałązłożoność obliczeniową, więc mózgmoże zająć się przetwarzaniem danych.

Dane są częścią mechanizmów ich przetwarzania.

PORÓWNANIE MODELI OBLICZENIOWYCH

MASZYNA TURINGA MODEL ASOCJACYJNY

Zaniedbuje relacje pomiędzy danymi,nawet w relacyjnych bazach danych:

Musi sortować,żeby wyszukiwaćefektywniej, lecztabele są toporne!

Agregacja danych i ich podobieństwa oraz utrwalanie i wartościowanie relacji pomiędzy danymi są podstawą asocjacji, formowania wiedzy i inteligentnego kontekstowego ich przetwarzania.

Wszystko się samo sortuje dzięki podobieństwui w takiej postaci jest przechowywane, więc nie wymaga sortowania, indeksowania i wyszukiwania

BIOCYBERNETYKA

Biocybernetyka to dział cybernetyki zajmujący się badaniem procesów sterowania w układach biologicznych oraz sprzężeń pomiędzy tymi procesami a środowiskiem.

Określenie biocybernetyka wywodzi się od słów bio (z greckiego: życie) i cybernetyka (z greckiego: kybernetes "sternik; zarządca" lub od kybernán"sterować; kontrolować").

Prof. dr hab. Inż. Ryszard Tadeusiewicz – Biocybernetyk o Biocybernetyce:

http://ryszardtadeusiewicz.natemat.pl/74845,jestem-biocybernetykiem-ale-czym-wlasciwie-jest-biocybernetyka

„Biocybernetyka stanowi swoisty „most” pomiędzy dziedzinami biologii (oraz medycyny) i techniki. O tym, że dziedziny te powinny ze sobą kooperować nikogo dziś specjalnie przekonywać nie trzeba. Biologia i medycyna mogą pozyskać od techniki nowe narzędzia diagnostyczne i badawcze, których przykładem są na rysunku tomograf komputerowy i mikroskop elektronowy, a także nowe narzędzia terapeutyczne, symbolizowane na rysunku przez system robota chirurgicznego.”

BIOCYBERNETYKA

„Technika jednak także może wiele zyskać, gdyż wiele zadań inżynierskich rozwiązuje się metodą naśladowania „rozwiązań” podpatrzonych w ludzkim organizmie lub w strukturach innych tworów biologicznych. Na rysunku ten transfer „biologicznych patentów” do techniki symbolizowany jest przez system BCI (Brain – Computer Interface) czyli narzędzie do przekazywania informacji i poleceń wprost z mózgu człowieka do komputera oraz maszyna krocząca, która jest zdolna poruszać się po bezdrożach, ponieważ zamiast kół używa nóg naśladujących biologiczne odnóża.”

BIOCYBERNETYKA

Zrodziła się z obserwacji działania istot żywych oraz z modelowania procesów,jakie odgrywają się w przyrodzie.

Jej potencjał leży więc w otaczającym nas świecie.

Nauka o cybernetycznym modelowaniu procesów biologicznych i jako dział cybernetyki zajmuje się procesami informacyjnymi zachodzącymi w organizmach żywych,w szczególności w mózgu - naczelnym organie biocybernetycznym organizmów żywych.

Ma na celu wyjaśnienie, opisanie i modelowanie cybernetycznych procesów zachodzących w organizmach żywych, a w szczególności w ludzkim mózgu.

Pomost pomiędzy inteligencją ludzką i inteligencją sztuczną, czyli modelem biocybernetycznych procesów zachodzących u istot żywych.

Łączy ze sobą sposób działania organizmów żywych z działaniem systemów cybernetycznych.

Systemy cybernetyczne w czasach dzisiejszych usprawniają nasze życie w różnych obszarach, dając nam większe możliwości poznawcze oraz poszerzając nasze zmysły.

Zajmuje się interfejsami człowiek-komputer oraz modelowaniem mechanizmów obliczeniowych z tym związanych, aby ta interakcja mogła być łatwiejsza i przyjemniejsza.

Nauka po poznaniu sposobu działania organizmów żywychoraz asymilacji tych mechanizmów do współdziałania z systemami cybernetycznymi.

BIOCYBERNETYKA

Biocybernetyka obejmuje szeroki obszar nauk technicznych: od informatyki, matematyki, fizyki, biochemii, neurologii, neurobiologii, przez psychologię, socjologię aż po obszary kognitywistyki i filozofii.

Biocybernetyka zajmuje się modelowaniem biologicznych procesów cybernetycznych,a więc obejmuje:

Sztuczne sieci neuronowe

Sztuczną inteligencję

Inteligencję obliczeniową

Obliczenia miękkie

Obliczenia genetyczne

Obliczenia rozmyte

Modelowanie i reprezentację wiedzy

Celem praktycznym jest opracowanie modeli biocybernetycznych lub z zakresu inteligencjiobliczeniowej do rozwiązania wybranych zagadnień naukowych, następnie przygotowanieprezentacji oraz referatu w postaci publikacji naukowej. Przedmiot ten ma więc aktywniewspomagać doktorantów w ich aktywności naukowej i publikacyjnej, bardzo istotnej z punktuwidzenia przygotowania do otwarcia ich przewodów doktorskich oraz prowadzenia dalszychprac badawczych pod opieką ich opiekunów naukowych, zachęcając ich do współpracyi wymiany doświadczeń naukowych.

KOGNITYWISTYKACognitive Science

Kognitywistyka jest nauka o procesach poznawczych, ich modelowaniu, pamięci, formowaniu wiedzy i rozumowaniu. Jest nauką interdyscyplinarną na pograniczu psychologii poznawczej, neurobiologii, neurofizjologii, antropologii, socjologii, informatyki, sztucznej inteligencji, lingwistyki, logiki, fizyki i matematyki.

Kognitywistyka zgłębia tajniki poznawania, uczenia się, percepcji, definiowania pojęć, symboliki, języka, pamięci, myślenia, rozumowania, dedukcji, introspekcji, podejmowania decyzji, reprezentacji mentalnych, emocji, procesami motywacji, jak również formowaniu się w umyśle: wiedzy, inteligencji i świadomości.

Kognitywistyka jest dziedziną nauki zajmującą się obserwacją i modelowaniem działania umysłu (układu nerwowego, a w szczególności mózgu i zmysłów)!

Kognitywistyka symboliczna koncentruje się na modelowaniu abstrakcyjnych funkcji myślowych opartych na symbolach, tworzeniu symbolicznych baz wiedzy (Knowledge Base) i systemów opartych na nich (Knowledge Base Systems).

Architektury kognitywne próbują modelować ludzki umysł: https://en.wikipedia.org/wiki/Cognitive_architecture

Mózg i Neurony

Jak w rzeczywistości działają?

Mózg i Neurony

Uruchamiają wewnętrzne procesy równolegle i często asynchronicznie

Wykorzystują czas do temporalnych i kontekstowych obliczeń

Integrują pamięć z procedurami (algorytmami)

Jak w rzeczywistości działają?

Mózg i Neurony

Automatycznie i kontekstowo kojarzą dane i obiekty

Tworzą samo-organizujące reprezentacje danych i obiektów

Agregują dane i obiekty podobne

Jak w rzeczywistości działają?

Mózg i Neurony

Wykorzystują złożone pamięci o neuronowej strukturze grafowej

Nie są ograniczone modelem obliczeniowym maszyny Turinga

Automatycznie powracają do stanu spoczynku neuronów

Jak w rzeczywistości działają?

Mózg i Neurony

Kojarzą różne informacje w celu uformowania wiedzy

Agregują reprezentacje takich samych i bliskich obiektów

Łączą reprezentacje powiązanych obiektów

Jak w rzeczywistości działają?

Fundamentalne Pytaniei Cele Neurobiologii

Jak informacje są kodowane i dekodowane za pośrednictwem serii impulsów przesyłanych przez aktywowane neurony

po ich potencjałach czynnościowych?

Podstawowym celem neurobiologii jest wyjaśnienieczy neurony komunikują się poprzez częstotliwość pulsów

czy poprzez różnice w czasie pomiędzy impulsami?

Asocjacyjne Neurony Pulsacyjne dowodzą, że upływ czasu pomiędzy kolejnymi impulsami, jak również częstotliwość tych impulsów mają

wpływ na wynik asocjacji oraz obliczeń neuronowych.

Jak w rzeczywistości działają?

Ewolucja Modeli NeuronówGENERACJE MODELI NEURONÓW:

1. Model neuronów McCulloch-Pittsa implementuje tylko najbardziej podstawowe mechanizmy integracji (sumowania) ważonych wejść i progu aktywacji, nie modelując czasu, plastyczności i innych ważnych czynników neuronów.

2. Nieliniowy model neuronów o ciągłej funkcji transferu pozwala na zbudowanie wielowarstwowych sieci neuronowych (tj. MLP) i ich adaptację do bardziej skomplikowanych zbiorów danych uczących, które nie są liniowo separowalne.

3. Modele neuronów impulsowych wzbogacają ten model o implementację paradygmatu czasu, w którym zachodzą różne procesy wewnętrzne w neuronie w trakcie integracji bodźców.

4. Model neuronów asocjacyjno-pulsacyjnych (APN) produkuje serie impulsów, których frekwencja określa wynik działania sieci oraz stopień skojarzenia odpowiedzi z kontekstem wejściowym. Ponadto sieci zbudowane z tych neuronów w wyniku procesów plastycznych są w stanie budować, rozwijać i konfigurować strukturę połączeń pomiędzy neuronami i wyznaczać ich wagi oraz progi aktywacji, dopasowując się do różnych wzorców

i ich sekwencji.

Rzeczywiste neurony są plastyczne!

Neurony Asocjacyjno-Pulsacyjne

Łączą się warunkowo zmieniając swoją wrażliwość na bodźce wejściowe.

Modelują zachowania neuronów w czasie w sieci neuronowej.

Tworzą rzadką grafową strukturę połączeń odwzorowującą różne relacje pomiędzy obiektami, tj. podobieństwa, następstwa, definiowania.

Agregują reprezentacje takich samych lub podobnych obiektów prezentowanych sieci neuronowej za pośrednictwem pól sensorycznych.

Reprezentują te kombinacje bodźców wejściowych, które powodują ich najczęstszą aktywację i w zależności od wrażliwości specjalizują się.

Pozwalają na wywoływanie skojarzonych informacji.

Neurony Asocjacyjno-Pulsacyjne

Implementują mechanizmy integracji bodźców wejściowych w czasie tworzą wewnętrzną kolejkę procesów (internal process queue - IPQ) modelujących reakcje neuronów APN na nie.

Pozwalają na wywoływanie skojarzonych informacji.

Neurony Asocjacyjno-Pulsacyjne

Wewnętrzne procesy modelowane są liniowo, co umożliwia integrację równoległych i nakładających się bodźców w dyskretnych momentach czasu i tylko wtedy, gdy nadchodzi nowy bodziec lub kończy się jakiś proces.

Pozwalają na wywoływanie skojarzonych informacji.

Neurony Asocjacyjno-Pulsacyjne

Implementują mechanizmy plastyczne rzeczywistych neuronów, pozwalających na adaptację i samoorganizację struktury sieci. Mechanizmy te działają warunkowo dostosowując strukturę i parametry sieci do danych wejściowych, kodując klasy obiektów w skojarzonych neuronach.

Pozwalają na wywoływanie skojarzonych informacji.

EKSPERYMENTY I ANIMACJAZ SIECIAMI NEURONOWYMI APNN

Najmocniej skojarzony APNs reprezentujący najbardziej

podobne wzorce uczące pulsujące najczęściej i jako pierwsze!

Teraz spróbujmy stymulować receptory następującymi wartościami[?, 6.0, ?, 5.0, 1.5]. Który obiekt okaże się być najbardziej podobny?

12

Klasa skojarzona ze zwycięzkim obiektem

EKSPERYMENTY I ANIMACJAZ SIECIAMI NEURONOWYMI APNN

Najmocniej skojarzony APNs reprezentujący najbardziej

podobne wzorce uczące pulsujące najczęściej i jako pierwsze!

Weźmy większy zbiór danych uczących i stymulujmy receptory wartościami [?, 6.0, ?, 5.0, 1.5].

KLASYFIKACJA

12 3

APN

Podsumowanie Neurony APN automatycznie kreują dedykowane struktury neuronowe

dla podanych danych treningowych oraz dokonują szybkich porównań i wnioskowanie skojarzeniowe w porównaniu do innych algorytmów.

Sieci neuronowe APNN uczą się i pracują wielokrotnie szybciej niż inne sieci impulsowe, np. Izhikevich spiking neurons, ze względu na liniową integracjębodźców, dyskretną aktualizację neuronów i krótkie kolejki procesów.

Podsumowanie Neurony Asocjacyjno-Pulsacyjne (APNs) reprezentują te rozciągnięte

w czasie kombinacje bodźców wejściowych, które powodują ich aktywację.

Te neurony APN, które zaczynają pulsować jako pierwsze i pulsują najczęściej reprezentują najmocniej skojarzone wartości, obiekty lub informacje powiązane z kontekstem wejściowym oraz reprezentują odpowiedź sieci neuronowej która przekazywane jest w czasie przez sierie impulsów.

PodsumowaniePołączone neurony APN mogą reprezentować różne relacje asocjacyjne:

Podobieństwo wartości lub obiektów

Bliskość obiektów w przestrzeni

Następstwo obiektów w czasie

Kontekst dla dalszych bodźców

PodsumowanieNeurony APN są aktualizowane w dyskretnych i rzadkich momentach czasu:

kiedy nadchodzi bodziec zewnętrzny,

gdy skończy się jakiś wewnętrzny proces.

Ta cecha neuronów APN w połączeniu z odpowiednią implementacją kolejek procesów (IPQ) i globalnej kolejki zdarzeń równoległych (GEQ) decydują o szybkim ich działaniu w trakcie symulacji.

PodsumowanieWewnętrzne procesy neuronów APN są efektywnie zarządzane i porządkowane przez:

Wewnętrzne kolejki procesów IPQ (Internal Process Queue) które integrują wszystkie bodźce do postaci sekwencji kolejnych nie nakładających się procesów w czasie w każdym neuronie.

Globalną kolejkę zdarzeń GEQ (Global Event Queue) która sortuje wszystkie procesy względem czasu ich zakończenie i pilnuje aktualizacji neuronów w czasie.

PodsumowanieSieci APNN udzielają również odpowiedzi na fundamentalne pytanie z neurobiologii dotyczące sposobu kodowanie i dekodowania informacji:

Frekwencja serii impulsów reprezentują siłę skojarzeń pomiędzy obiektami oraz w odniesieniu do kontekstu wejściowego.

Czas pomiędzy impulsami nie koduje informacji, lecz pośrednio wpływa na możliwość reprezentacji i siłę oddziaływania kontekstu.

BIBLIOGRAFIA I LITERATURA1. A. Horzyk, J. A. Starzyk, J. Graham, Integration of Semantic and Episodic Memories, IEEE

Transactions on Neural Networks and Learning Systems, 2017, DOI: 10.1109/TNNLS.2017.2728203.

2. A. Horzyk, J. A. Starzyk, A. Horzyk and J.A. Starzyk, Fast Neural Network Adaptation with Associative Pulsing Neurons, IEEE Xplore, In: 2017 IEEE Symposium Series on Computational Intelligence, pp. 339-346, 2017. - presentation, movie Iris-4, movie Iris-12.

3. A. Horzyk, Deep Associative Semantic Neural Graphs for Knowledge Representation and Fast Data Exploration, Proc. of KEOD 2017, SCITEPRESS Digital Library, 2017.

4. A. Horzyk, Neurons Can Sort Data Efficiently, Proc. of ICAISC 2017, Springer-Verlag, LNAI, 2017, pp. 64-74, ICAISC BEST PAPER AWARD 2017 sponsored by Springer.

5. A. Horzyk, J. A. Starzyk and Basawaraj, Emergent creativity in declarative memories, IEEE Xplore, In: 2016 IEEE Symposium Series on Computational Intelligence, Greece, Athens: Institute of Electrical and Electronics Engineers, Curran Associates, Inc. 57 Morehouse Lane Red Hook, NY 12571 USA, 2016, ISBN 978-1-5090-4239-5, pp. 1-8, DOI: 10.1109/SSCI.2016.7850029.

6. A. Horzyk, Human-Like Knowledge Engineering, Generalization and Creativity in Artificial Neural Associative Systems, Springer-Verlag, AISC 11156, ISSN 2194-5357, ISBN 978-3-319-19089-1, ISBN 978-3-319-19090-7 (eBook), DOI 10.1007/978-3-319-19090-7, Springer, Switzerland, 2016, pp. 39-51.

7. A. Horzyk, Innovative Types and Abilities of Neural Networks Based on Associative Mechanisms and a New Associative Model of Neurons - Invited talk at ICAISC 2015, Springer-Verlag, LNAI 9119, 2015, pp. 26-38, DOI 10.1007/978-3-319-19324-3_3.

8. Horzyk, A., How Does Generalization and Creativity Come into Being in Neural Associative Systems and How Does It Form Human-Like Knowledge?, Neurocomputing, 2014.

University of Science and Technology

in Krakow, Poland

Adrian Horzyk

horzyk@agh.edu.pl

Google: Horzyk

BIBLIOGRAFIA I LITERATURA9. Mariusz Flasiński, Wstęp do sztucznej inteligencji, Wydawnictwo Naukowe PWN, Warszawa, 2011.

10. Daniel T. Larose, Odkrywanie wiedzy z danych, Wydawnictwo naukowe PWN, Warszawa 2006.

11. Andrzej Łachwa, Rozmyty świat zbiorów, liczb, relacji, faktów, reguł i decyzji, Akademicka Oficyna

Wydawnicza EXIT, Warszawa, 2001.

12. Ryszard Tadeusiewicz, Elementarne wprowadzenie do techniki sieci neuronowych z przykładowymi

programami, w serii Problemy Współczesnej Nauki, Informatyka, Akademicka Oficyna Wydawnicza PLJ,

Warszawa, 1998.

13. Ryszard Tadeusiewicz, Józef Korbicz, Leszek Rutkowski, Włodzisław Duch, Sieci neuronowe w

inżynierii biomedycznej, 9. tom serii Inżynieria biomedyczna. Podstawy i zastosowania, Akademicka

Oficyna Wydawnicza EXIT, Warszawa, 2013.

14. R. Tadeusiewicz, M. Szaleniec, Leksykon sieci neuronowych, Wrocław, 2015

15. Horzyk, A., Human-Like Knowledge Engineering, Generalization and Creativity in Artificial Neural

Associative Systems, Springer Verlag, AISC 11156, ISSN 2194-5357, 2015.

16. Horzyk, A., Innovative Types and Abilities of Neural Networks Based on Associative Mechanisms and a

New Associative Model of Neurons - referat na zaproszenie na międzynarodowej konferencji ICAISC 2015,

Springer Verlag, LNAI, 2015.

17. Horzyk, A., Sztuczne systemy skojarzeniowe i asocjacyjna sztuczna inteligencja, EXIT, Warszawa, 2013.

18. Tadeusiewicz, R., Horzyk, A., Man-Machine Interaction Improvement by Means of Automatic Human

Personality Identification, Gerhard Goos, Juris Hartmanis, and Jan van Leeuwen (Eds.), Springer, LNCS

8104, 2013.

19. Horzyk, A., Gadamer, M., Associative Text Representation and Correction, Springer Verlag Berlin

Heidelberg, LNAI 7894, 2013, pp. 76-87.

20. Horzyk, A., Information Freedom and Associative Artificial Intelligence, Springer Verlag Berlin Heidelberg,

LNAI 7267, 2012, pp. 81-89.

21. Horzyk, A., Self-Optimizing Neural Network 3, L. Franco, D. Elizondo, J.M. Jerez (eds.), Constructive

Neural Networks, Springer, Series: Studies in Computational Intelligence, Vol. 258, 2009, pp. 83-101.

Adrian Horzyk

horzyk@agh.edu.pl

Google: Horzyk