Metody efektywnego łączenia sieci neuronowych

36
Metody efektywnego łączenia Metody efektywnego łączenia sieci neuronowych sieci neuronowych w systemach wielozadaniowych w systemach wielozadaniowych Mikołaj Olszewski Mikołaj Olszewski Promotor: dr hab. Jacek Mańdziuk Promotor: dr hab. Jacek Mańdziuk

Transcript of Metody efektywnego łączenia sieci neuronowych

  • 1. Metody efektywnego czenia sieci neuronowych w systemach wielozadaniowych Mikoaj Olszewski Promotor: dr hab. Jacek Madziuk

2. Plan prezentacji Problem Sieci typu ART Algorytmy konstrukcyjne Incremental Class Learning Moduy sieciowe Wzorce Implementacja Bibliografia 3. Zadanie Implementacja komputerowa Analiza efektywnoci Algorytm czenia moduowych sieci neuronowych Jeden system wielozadaniowy Wybrany obszar zastosowa 4. Przyczyny I Skomplikowane zadania uczce Podzielenie zadania na podzadania Niezalena realizacja przez odrbne sieci Niska efektywno finalnego systemu 5. Przyczyny II Problem zmieniajcego si celu Problem stada Problem douczania katastroficzna interferencja Problem doboru liczby i licznoci warstw ukrytych 6. Rozwizania Sieci typu ART Algorytmy konstrukcyjne Rozwizania moduowe Incremental Class Learning 7. Plan prezentacji Problem Sieci typu ART Algorytmy konstrukcyjne Incremental Class Learning Moduy sieciowe Wzorce Implementacja Bibliografia 8. Sieci typu ART Saba efektywno w duych systemach Saba efektywno dla zaszumionych danych Obiecujce rezultaty sieci hybrydowych opartych na przetwarzaniu rozmytym Fuzzy ARTMAP FasArt PROBART 9. ART-1 10. Plan prezentacji Problem Sieci typu ART Algorytmy konstrukcyjne Incremental Class Learning Moduy sieciowe Wzorce Implementacja Bibliografia 11. Algorytmy konstrukcyjne Start z maej sieci Powikszanie sieci i zmniejszanie bdu w trakcie uczenia Zmiana niektrych neuronw i ich wag Zamraanie Algorytmy: UPSTART Kieszonkowy Kaskadowej korelacji 12. Kaskadowa korelacja 13. Plan prezentacji Problem Sieci typu ART Algorytmy konstrukcyjne Incremental Class Learning Moduy sieciowe Wzorce Implementacja Bibliografia 14. Incremental Class Learning Kolejna nauka podproblemw Zamraanie kluczowych struktur Wykorzystanie dotychczasowych rezultatw nauki do biecego problemu Odpowiednie poczenie reprezentacji w celu otrzymania rozwizania wyjciowego 15. ICL wane czynniki Dekompozycja problemu w efektywny sposb na podproblemy Zwarta struktura reprezentujca podproblem Okrelenie istotnych neuronw i zamroenie wag pocze wchodzcych Wykorzystanie w razie potrzeby do uczenia dotychczas zamroonych neuronw 16. ICL - podsumowanie Coraz mniejszy wysiek naukowy Poczenie cech algorytmw konstrukcyjnych i rozwiza moduowych Start ze wszystkimi poczeniami Podproblemy nie s uczone niezalenie Moliwo dzielenia czci struktur dla rnych podproblemw Zwarta struktura sieci 17. Czasowo-przestrzenna reprezentacja wzorcw uczcych Zalety Inwariancja wzgldem osi czasu Dopuszczalna rna dugo wzorcw (wzgldem osi czasu) Uproszczenie architektury sieciPrzebieg ramki Ustawienie okna i normalizacja wag Znalezienie zwycizcy w warstwie ukrytej Poprawa wag (zamroenie) i ich normalizacja Przesunicie okna itd. 18. Ramka 19. Wzorce 20. Wyniki 21. Plan prezentacji Problem Sieci typu ART Algorytmy konstrukcyjne Incremental Class Learning Moduy sieciowe Wzorce Implementacja Bibliografia 22. Rozwizanie moduowe Konstrukcja moduowa Wykorzystanie sieci rozpoznajcych podkategorie wzorcw Rwnolege poczenie warstw ukrytych Zwikszenie wydajnoci sieci Przyspieszenie uczenia sieci 23. System I 0|1|2|3|4|5|6|7|8|9wejcieWybr klasy o najwikszej aktywacji Brak douczania 24. System II 0|1|2|3|4|5|6|7|8|92 HLwejciePoczenia stae i zmienne Trenowanie nowych czci 25. System III 0|1|2|3|4|5|6|7|8|92 HLCDwejcieDodatkowy modu rozrniajcy Trenowanie nowych czci 26. System IV 0|1|2|3|4|5|6|7|8|92 HLCGwejcieDodatkowy modu klejcy Trenowanie i dotrenowanie po uwolnieniu 27. Plan prezentacji Problem Sieci typu ART Algorytmy konstrukcyjne Incremental Class Learning Moduy sieciowe Wzorce Implementacja Bibliografia 28. Wzorce bazowe Obrazki 16 x 16 Cyfry 0 9 Rna czcionka Rna wielko Rny kt 29. Zaszumienie Szum losowySzum systematycznySzum rczny 30. Grupowanie Podobiestwo 1, 4, 7 3, 5, 6, 8 0, 2, 9Odrbno 0, 1, 3 2, 4, 5 ,8 7, 6, 9Samoorganizacja 31. Plan prezentacji Problem Sieci typu ART Algorytmy konstrukcyjne Incremental Class Learning Moduy sieciowe Wzorce Implementacja Bibliografia 32. Podstawy Sie neuronowa C++ Interfejs Java Wzorce cz-b bitmapy 16 x 16 Systemy: Linux i Windows 33. Algorytmy uczce BackPropagation QuickProp RProp 34. Klasy sieci AbstractNeuronBiasNeuronLayerModifiedNeuronFeedforwardNeuronInputLayerInputNeuronConnectionMultilayerNetworkHiddenLayer 35. Bibliografia J. Madziuk, L. Shastri , Incremental Class Learning Approach and Its Application to Handwritten Digits Recognition, w: Raport Techniczny TR-97-026, International Computer Science Institute, Berkeley, CA, USA, 1997 A. Waibel, Consonant Recognition by Modular Construction of Large Phonemic Time-Delay Neural Networks, w: Advances in Neural Information Processing Systems 1, D.S. Touretzky (ed.), Morgan Kaufmann, 1989 S. Osowski, Sieci neuronowe w ujciu algorytmicznym, WNT, Warszawa, 1996 J. Korbicz, A. Obuchowicz, D. Uciski, Sztuczne sieci neuronowe. Podstawy i zastosowania, Akademicka Oficyna Wydawnicza PLJ, Warszawa, 1994 36. Metody efektywnego czenia sieci neuronowych w systemach wielozadaniowych Dzikuj za uwag