Jacek Bartman
Siecirekurencyjne
Jacek Bartman
Sieci rekurencyjne
� Charakteryzują się:� istnieniem sprzężeń zwrotnych między
wejściem, a wyjściem,� dwukierunkowym przepływem
informacji,� występowaniem w ich pracy przebiegi
dynamiczne� Do najczęściej spotykanych sieci
rekurencyjnych należą� sieci Hopfielda,� maszyna Boltzmana,� sieci BAM (Bidirectionxl Associxtive Memory),
� sieci ART (Adaptive Resonance Theory).
Jacek Bartman
Sieci rekurencyjne
� W układach biologicznych neurony mają silnesprzężenia zwrotne.
� Zamknięcie pętli sprzężenia zwrotnego powoduje,że sieć staje się dynamiczna – sygnały na jejwyjściu zależą od:� aktualnego stanu wejść� stanu sieci (który zależy od wejść wcześniejszych)
lub innymi słowy
� stanu początkowego� podanych później pobudzeń
jednowarstwowa
wielowarstwowa
Jacek Bartman
� Sieci rekurencyjne znajdują zastosowanie do rozwiązywaniaproblemów optymalizacyjnych oraz jako pamięci skojarzeniowe(asocjacyjne).
� Pamięć skojarzeniowa (asocjacyjna) jest jednym z podstawowychatrybutów ludzkiego mózgu. Ma dwie istotne cechy:� informacje zarejestrowane w pamięci asocjacyjnej mogą być dostępne poprzez
podanie na wejściu systemu informacji skojarzonej,
� ślad pamięciowy, zwany engramem, nie ma w pamięci asocjacyjnej ściślejlokalizacji - każda zarejestrowana informacja zlokalizowana jest w istocie w całejpamięci, na zasadzie kolektywnego działania wszystkich jej elementów.
Jacek Bartman
� Pamięć asocjacyjna pełni funkcję układu reprezentującegowzajemne skojarzenia wektorów.
� W przypadku, gdy skojarzone wektory dotyczą tych samychskładników tego samego wektora, mówimy o pamięciautoasocjacyjnej (sieć Hopfielda).
� Gdy skojarzone są dwa różne wektory można mówić o pamięci typuheteroasocjacyjnego (sieć Hamminga, sieć BAM).
� Podstawowym zadaniem pamięci asocjacyjnej jest zapamiętaniezbioru próbek wejściowych (uczących) w taki sposób, aby przyprezentacji nowej próbki układ mógł wygenerować odpowiedź,która dotyczyć będzie jednej z zapamiętanych wcześniej próbek,położonej najbliżej próbki testującej.
Jacek Bartman
� Najbardziej znanymi sieciami rekurencyjnymi są:� sieć Hopfielda,� sieć BAM (Bidirectional Associxtive Memory)
� rzadziej spotyka się:� sieć Hamminga� sieć RTRN (Real Time Recurrent Network),� sieć Elmana (o uproszczonej strukturze rekurencji),� sieć RCC (Recurrent Cascade Correlation)
Jacek Bartman
Sieć Hopfielda
� Założenia:� wszystkie neurony są ze sobą połączone
(fully connected network) wagamisynaps wji.
� macierz wag połączeń jest symetryczna,Wij = Wji. - symetria jest wygodnaz teoretycznego p. widzenia, pozwalawprowadzić f. energii; jest nierealistycznaz biologicznego p. widzenia.
� wyjście neuronu nie jest kierowane najego wejście Wii =0
� Brak podziału na warstwy.
Jacek Bartman
Algorytm działania sieci Hopfielda
� Wybieramy losowo neuron.
� Obliczamy ważoną sumę połączeń do aktywnych sąsiadów.
� Jeżeli suma jest dodatnia to neuron się aktywuje, w przeciwnym przypadkudezaktywuje.
lub
� Losujemy kolejny neuron i postępujemy według algorytmu, aż douzyskania stanu stabilnego.
� Proces nazywa się równoległą relaksacją.
( ) ( )∑=
−=N
1ijiji bkxwku
( )
( )
( ) ( )
( )
<
=
>
=+
0kugdy0
0kugdyky
0kugdy1
1ky
j
jj
j
j ( )
( )
( ) ( )
( )
<−
=
>
=+
0kugdy1
0kugdyky
0kugdy1
1ky
j
jj
j
j
Jacek Bartman
Funkcja energii� Podczas pracy w danej chwili aktualizuje się wyjście tylko jednego neuronu� Aktualizacja zawsze prowadzi do obniżenia funkcji energii (f. Lapunowa):
� w danej chwili zmienia się stan tylko jednego neuronu (np.: p-tego):
� Zmiana wartości funkcji energii wynosi
� jeśli up ≥ 0 to yp nie może zmaleć, więc energia zmaleje;� jeśli up < 0 to ∆yp < 0, energia również zmaleje.
� Osiągnięcie minimum funkcji energii oznacza, że sieć znalazła się w staniestabilnym (nie musi to być minimum globalne)
( ) ∑∑ ∑= = =
+−=N
1i
N
1j
N
1iiijiij ybyyw
21xE
( ) ( )( ) ( )( ) ( ) ( )kukykyE1kyEkE pp ∗−=−+= ∆∆
( ) ∑=
+−=N
1jppjppj ybyyw
21yE
Jacek Bartman
Atraktory
� Stany stabilne, odpowiadające minimum funkcji energii, nazywa sięatraktorami.� Atraktory można porównać do najniższych punktów w dolinie, a dolinę
nazwać niecka przyciągania atraktora (atraktory punktowe - tylko dlasymetrycznych połączeń).
� O liczbie i rodzaju atraktorów oraz charakterze funkcji energiidecyduje dobór wag połączeń między neuronami
� Stany stabilne: minima lokalne E(W) odpowiadające pamiętanymwzorcom
Jacek Bartman
Sieci ART (Adaptive Resonance Theory)
� Jedną z właściwości mózgu jest umiejętność zapamiętywania nowychobrazów bez zaniku zdolności rozpoznawania obrazów poznanychwcześniej.
� Większość przedstawionych metod uczenia sieci neuronowych miała tęwadę, że wprowadzenie do nauczonej już sieci nowych obrazówwymaga powtórzenia procesu uczenia się przy pomocy wzorówpoprzednich i nowych. Ograniczanie się jedynie do nowych wzorówpowoduje zapomnienie wzorów poprzednich
� Problem ten rozwiązany został w sieciach ART.
� Autorami prac dotyczących Adaptacyjnej Teorii Rezonansu, które sąpodstawą działania sieci rezonansowych ART są Carpenter i Grossberg.
Jacek Bartman
Rodzaje sieci ART
� ART1 - operują na obrazach binarnych
� ART2 - na obrazach ciągłych
� ART3 - zapewnia większą stabilność w porównaniu z siecią ART 2
Jacek Bartman
� Sieci rezonansowe ART składają się z:� dwóch warstw: dolnej (wejściowo-porównującej)
i górnej wyjściowo-rozpoznawczej)
� układu orientacji,� układu kontrolnego
� Obie warstwy są połączone dwoma układami połączeń jednokierunkowych:� od warstwy dolnej do górnej o wagach o wagach wij (na rysunku na czarno)� od warstwy górnej do dolnej o wagach vji (na rysunku na czerwono)
Budowa sieci rezonansowych
warstwa górna
warstwa dolna
wagi dół-góra
wagi góra dół
Jacek Bartman
� W pierwszej, wejściowej warstwie (dolnej) , przechowywany jest obrazwejściowy.
� Druga warstwa, wyjściowa (górna) odpowiada za wskazanie klasy, do którejklasyfikuje się kształt wejściowy.� W warstwie tej tylko jeden z neuronów ma stan jedynki. Natomiast wszystkie pozostałe są
wyzerowane.
� Jeżeli zwrócony sygnał dokładnie odpowiada wzorcowi to klasyfikacja jestzakończona
� Jeśli natomiast sygnał odpowiedzi w znaczący sposób różni się od sygnałuwejściowego wówczas dokonują się odpowiednie modyfikacje wagpołączeń, a proces ten powtarza się aż do osiągnięcia maksymalnegopodobieństwa.
� Poszczególne warstwy komunikują się w górę i w dół, czyli rezonują,dopasowując wagi, a proces ten powtarza się, aż do osiągnięciamaksymalnego podobieństwa.
Działanie sieci rezonansowej
Jacek Bartman
Uczenie sieci ART
� Sieć ART jest siecią uczącą się w czasie rzeczywistym.
� Uczenie to polega głównie na rozpoznawaniu kształtów, które znacznieróżnią się od przechowywanych wzorców oraz ich zapamiętywaniu jakonowych wzorców.
� Przy niewielkich różnicach stwierdzonych przy porównywaniu wejść zzapamiętanymi wzorcami dokonuje się "douczenie" polegające napoprawieniu wzorców zgodnie z obserwowanymi odchyleniami.
� Nad uaktywnieniem lub wygaszeniem odpowiednich decyzji w sieciczuwają układy orientujący i układ kontrolny.
Jacek Bartman
Wady sieci rezonansowej dwuwarstwowej
� niebezpieczeństwo powstania przypadkowego procesu dynamicznegowzajemnych pobudzeń warstw przy zerowym obrazie wejściowym. Takiproces może dać bardzo niepożądane rezultaty.
� trudność w ustaleniu poprawnych progów aktywacji dla neuronówwarstwy dolnej:
� powinny być niskie, aby obraz wejściowy mógł wygenerować odpowiednie wyjście,� powinny być na tyle wysokie aby w przypadku poprawnego rozpoznania wzorca,
obraz z warstwy górnej nie zaburzał wektora wejściowego warstwy dolnej - cobędzie doprowadziło do utraty rezonansu.
Jacek Bartman
Układ kontrolny
� Układ kontrolny składa się z dwóch podukładów, które maja za zadanieeliminację podanych wad:� podukład G2 pełni rolę elementu progowego uaktywniającego się w chwili pojawienia się
sygnału wejściowego dzięki czemu umożliwia zablokowanie reakcji warstwy dolnej nabodźce pochodzące z warstwy górnej, jeżeli brak jest sygnałów wejściowych.
� podukład G1 odbiera pobudzające impulsy wejściowe oraz hamujące z warstwy górneji podaje dodatkowy sygnał dla neuronów warstwy dolnej (przesuwa próg tychneuronów).
g
Jacek Bartman
Wejś c
iasi
e ci
Wyjśc
ia w
arst
wy
górn
ej
Realizacja układu kontrolnego
� Układ kontrolny można zamodelować przy pomocy trzech nieliniowych neuronów
≤−
>−=
0ggdla0
0ggdla1g
12
12
≤
>=
∑
∑
=
=k
1j
gj
k
1j
gj
1
0ydla0
0ydla1g
≤
>=
∑
∑
=
=n
1ii
n
1ii
2
0xdla0
0xdla1g
Jacek Bartman
Układ orientacji
� Zwany również detektorem nowych danych
� Układ orientacji jest pobudzany przez sygnał wejściowy i hamowanyprzez sygnał wyjściowy z warstwy pierwszej
Jacek Bartman
� Pojawienie się obrazu na wejściu sieci powoduje wybór neuronuzwycięskiego w warstwie górnej i przekazanie odpowiedzi do warstwydolnej.
� Obraz wejściowy wraz z odpowiedzią warstwy górnej podane na warstwędolną generują w niej nowy obraz.
� Jeżeli obraz wejściowy zostaje rozpoznany powstaje rezonans a sygnałypodane na układ orientacyjny wzajemnie się znoszą
� Jeżeli obraz należy do klasy niezidentyfikowanej, układ orientacjiuaktywnia się i eliminuje z rywalizacji zwycięzcę z warstwy górnej.Umożliwia to rywalizację i jeżeli nowy zwycięzca jest „nieobsadzony” tozostaje zaakceptowany jako reprezentant nowej klasy
Jacek Bartman
� Wyjście neuronu warstwy dolnej
Wejś c
iasi
e ci
Wyjśc
ia w
arst
wy
doln
ej
≤++
>++=
θ
θ
gyvxdla0
gyvxdla1y
gijij
gijijd
j
≤−
>−=
∑∑
∑∑
==
==
00
01
11
11k
j
gj
n
ii
k
j
gj
n
ii
yxdla
yxdlar
ρ
ρ
Jacek Bartman
Pełny schemat sieci ART
� Struktura sieci ART.-1
Jacek Bartman
Uczenie sieci ART.
� Wariant I� dla połączeń „dół-góra”
� δ1 i δ2 mogą być stałe ale lepsze wyniki uzyskuje się gdy:
� dla połączeń „góra-dół”
( )( ) ( )( ) ( )( )( ) ( )( )( ) ( )( ) ( )( )
=∧=−
=
=∧=+
=+
1ky0kygdykw
0kygdykw
1ky1kygdykw
1kw2i
1j2ij
2iij
2i
1j1ij
ij
,
,
,
δ
δ
( )( ) ( )
−−−= ∑
=1ykwkw1
n
1i
diijij1 ηδ ( )
= ∑
=
n
1i
diij2 ykwδ
( )( )( ) ( )( )
( ) ( )( )( )( ) ( )( )
=∧=
=
=∧=
=+
1ky0kygdy0
0kygdykv
1ky1kygdy1
1kv2i
1j
2iji
2i
1j
ji
,
,
,
Jacek Bartman
� Wariant II� dla połączeń „dół-góra”
� dla połączeń „góra-dół”
( )
( )( ) ( )( )
( ) ( )( )
( )( ) ( )( )
=∧=
=
=∧=
+−
=+
∑=
1ky0kygdy0
0kygdykw
1ky1kygdyy1
1kw
2i
1j
2iij
2i
1jn
1i
gi
ij
,
,
,η
η
( )( )( ) ( )( )
( ) ( )( )( )( ) ( )( )
=∧=
=
=∧=
=+
1ky0kygdy0
0kygdykv
1ky1kygdy1
1kv2i
1j
2iji
2i
1j
ji
,
,
,
Jacek Bartman
� Uczenie inicjuje się wagami:� wji – losuje się z rozkładem równomiernym z przedziału [0, 1/n]� vji=1
Jacek Bartman
Fazy działania sieci ART
� Faza 1 - Inicjalizacja� Polega na wstępnym ustawieniu wag połączeń oraz progu zadziałania układu
orientującego. Wagi początkowe vij połączeń "z góry na dół" ustawiamy,przypisując im wartości równe jeden vij=1 gdzie i = 1,...,k; j = 1,...,n. Wagipoczątkowe wij "z dołu do góry" ustawia się jednakowo w następujący sposóbwii=1/n, gdzie n to liczba neuronów dolnej warstwy. Czułość układuorientującego p jest liczba z przedziału (0,1).
Jacek Bartman
� Zasada działania sieci ART. – krok po kroku.� wprowadzić obraz na wejście pierwszej warstwy sieci – na wyjściu
otrzymamy jego kopię,
� w warstwie górnej (konkurencyjnej) pobudzeniu ulega tylko jedenneuron,
� obraz powstały w warstwie górnej jest następnie wstecz przekazywanydo warstwy dolnej,
� obraz z warstwy górnej wraz z obrazem wejściowym powodują ponownaaktywację warstwy dolnej,
� jeżeli nowa aktywacja warstwy dolnej harmonizuje z zewnętrznymobrazem wejściowym to mówimy o rezonansie adaptacyjnym.
� oznacza to, że obraz wejściowy został rozpoznany i zakwalifikowany doklasy reprezentowanej przez wzbudzony element warstwy górnej.
Top Related