NIELINIOWE SIECI

NUERONOWE

W czym tkwi problem…

Rodzaje sieci neuronowych nieliniowych

•Sieć typu MLP•Sieć typu RBF•Sieć typu PNN•Sieć Kohonena

Sieć typu MLP

Powstanie• Frank Rosenblatt 1958„Principles of neurodynamics: Perceptrons and the theory of brain mechanisms”• Minsky i Papert The Perceptrons, 1969

Źródło: http://www.ieee.org/about/awards/bios/rosenblatt_recipients.html http://www.ieee.org/about/awards/bios/rosenblatt_recipients.html http://www.computerhistory.org/fellowawards/hall/bios/Marvin,Minsky/

Charakterystyka sieci

• Posiada minimum 3 warstwy• Wejściowa• Ukryta• Wyjściowa

• Połączenia występują tylko z neuronami z sąsiednich warstw• Ilość neuronów jest dowolna

Charakterystyka sieci• Uniwersalny aproksymator

Źródło: ssi.dug.net.pl/dydaktyka/5_semestr/sztuczna.../ai_ssn_w3.ppt

Proces uczenia• Algorytm wstecznej propagacji błędów• Algorytm gradientów sprzężonych• Algorytm pseudoinwersji• Algorytm próbkowania• Algorytm K-średnich• Algorytm K-najbliższych sąsiadów

Wykorzystanie

• Analiza obrazów• Modelowanie procesów• Klasyfikacja• Sterowanie jakością (np. mas formerskich)• Prognozowanie (np. ciśnień podziemnego

magazynu gazu)

Sieć typu RBF

Powstanie

Dave Broomhead i David Lowe(1988), a następnie uzupełniona przez Johna Moody’ego i Christiana Darkina w 1989 roku

Źródło: http://www.cs.ubc.ca/~lowe/

Budowa

Żródło:http://smp.if.uj.edu.pl/~kopiec/prace/referat.pdf

Właściwości sieci

• Składa się z trzech warstw• Warstwa ukryta składa się z neuronów

wzbudzanych przy pomocy radialnej funkcji bazowej, a nie liniowej kombinacji sygnałów wejściowych i wag

• Jest to sieć ontogeniczna - podczas procesu nauki modyfikujemy architekturę sieci

Uczenie sieci

• Dwa etapy• etap doborów centrów(c) oraz

odchyleń(współczynników wygładzania) neuronów radialnych;• doboru odpowiednich wag dla

neuronów warstwy wyjściowej (optymalizacja warstwy wyjściowej)

Uczenie sieci

•Metody do wyznaczania centrów• Próbkowanie powtórne• Algorytm k-średnich

•Metody pozwalające nam określić odchylenia neuronów radialnych• Definiowane przez użytkownika• Przydział metodą k-najbliższych kwadratów• Równomierny podział odchyleń

Zastosowanie sieci RBF

• Rozwiązywanie problemów klasyfikacyjnych

• W wielu aspektach przetwarzanie i rozpoznawanie wielu wzorców

• Odtworzenie trójwymiarowej struktury obiektów

Sieci regresyjne PNN

Powstanie sieci

• D. F. Specht (1990/1991) „Probablistic Neural Network”

PNN - Rozbudowana sieć RBF o ukrytą jednostkę centralną zwaną jądrem w każdym przypadku szkoleniowym i jest zazwyczaj fukcją gęstości prawdopodobieństwa podobnie jak funkcja Gaussowska

Właściwości sieci

• Sieć PNN jest przedewszystkim klasyfikatorem• PNN reprezentuje metodę statystyczną

tzw. dyskryminację jdrową, przestawioną w postaci czterech warstw:

– Warstwa wejściowa– Warstwa wzorców– Warstwa sumowania– Warstwa wyjściowa

Uczenie sieci PNN

• Zbiór uczący powinien być reprezentatywny dla analizowanych populacji• Dodawanie i usuwanie przykładów

uczących powoduje jedynie dodawanie i usuwanie neuronów w warstwie drugiej• Uczenie bazuje głównie na doborze

wartości współczynników dyspersji •Na bazie wiedzy o analizowanym problemie•Używając technik heurystycznych (np. leave-one-out)

Wady i zalety

• ZALETY:• Szybki proces

uczenia• Dodawanie i

usuwanie nowych przypadków bez dużych zmian w uczeniu

• WADY:• Duże wymagania co

do pamięci • Wolne działanie

sieci• Duże wymagania

dotyczące jakości danych uczących

• Mniejsze zdolności uogólniające w porównaniu z sieciami wielowarstwowymi

Sieć Kohonena

Powstanie

• Teuvo Kohonen (1981)

• Emerytowany profesor Amademii Fińskiej

• Twórca ponad 300 publikacji oraz 4 książek w tym trzecie wydanie „Sieci samoorganizujące się”

• Od roku 1960 przedstawił wiele fundamentalnych koncepcji na temat sieci nauronowych

Źródło: http://www.scholarpedia.org/article/User:Kohonen

Charakterystyka sieci

• występuje w niej współczynnik konkurencji• uczy się bez nadzoru• służy do analizy danych i rozpoznawania nowych danych• Budowa zbliżona do ludzkiego mózgu

Topologia sieci

Źródło: http://kik.pcz.pl/nn/samoorg.php?art=3

Architektura sieci• Jedne nauron niewiele znaczy• Połączenie neuronów w grupę daje możliwość

prowadzenia skomplikowanych operacji• Najczęściej stosuje się schemat sieci

jednowarstwowej jednokierunkowej

Żródło: http://zsi.tech.us.edu.pl/~anowak/files/som.pdf

Wykorzystanie sieci Kohonena

• Analiza danych i kojarzenie podobnych klas danych• Wykrywanie nowości w danych

uczących i reagowanie na nie

Uczenie siecisamouczenie

Uczenie siecisamouczenie

Uczenie siecisamouczenie

Uczenie siecibardzo duży współczynnik uczenia

Uczenie siecibardzo duży współczynnik uczenia

Uczenie siecimały współczynnik uczenia

Uczenie siecimały współczynnik uczenia (stan po pewnym czasie nauki)

Uczenie siecidlugie uczenie = nie przyjmowanie nowości

Uczenie siecijak to działa…

Źródło: http://home.agh.edu.pl/~asior/stud/doc/Kohonen_09.pdf

DZIĘKUJĘ ZA UWAGĘ

Literatura i źródła• http://home.agh.edu.pl/~asior/stud/doc/Kohonen_09.pdf,

20/10/2010• www.is.umk.pl/~duch/Wyklady/NN-CI/CI-b.ppt, 20/10/2010• http://smp.if.uj.edu.pl/~kopiec/prace/referat.pdf, 20/10/2010• http://www.statsoft.pl/textbook/stneunet.html, 20/10/2010• P. Boniecki, Elementy modelowania neuronowego w

rolnictwie, Poznań 2008, s. 54-55• http://www.statsoft.pl/czytelnia/neuron/pwersnn.html,

28/05/2010• http://www.kik.pcz.czest.pl/nn/samoorg.php?art=2,

28/05/2010• http://

www.faqs.org/faqs/ai-faq/neural-nets/part2/section-20.html, 20/10/2010