Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne...

Sieci rekurencyjneAutoasocjator Hopfielda

ZadaniaPrzeliczenia

Wstęp do sieci neuronowych, wykład 10Sieci rekurencyjne. Autoasocjator Hopfielda

Maja Czoków, Jarosław Piersa

Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika

2012-12-19

Projekt pn. „Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych”realizowany w ramach Poddziałania 4.1.1 Programu Operacyjnego Kapitał Ludzki

M. Czoków, J. Piersa WSN 2011/2012 Wykład 10


ZadaniaPrzeliczenia

1 Sieci rekurencyjneSieci rekurencyjneModele sieci rekurencyjnejEnergia sieci

2 Autoasocjator HopfieldaKonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci

3 Zadania

4 PrzeliczeniaPojemność sieciPoprawne odzyskiwanie



ZadaniaPrzeliczenia

Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci



3 Zadania




ZadaniaPrzeliczenia


Sieci skierowane — przypomnienie

Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli

wierzchołki dają się posortować topologicznie,

dynamika odbywa się synchronicznie zgodnie z kolejnościązadaną przez otrzymaną kolejność,



ZadaniaPrzeliczenia


Sieci rekurencyjne

Graf sieci dopuszcza istnienie cykli skierowanych,

sortowanie topologiczne nie jest możliwe,

Czynnik czasowy w dynamice: sieć rozwijamy w szereg podsiecipowiązanych ze sobą zależnościami czasowymi.



ZadaniaPrzeliczenia


Motywacja

Chcemy stworzyć rekurencyjną sieć neuronową, zdolną kodować irozwiązywać (dyskretne) problemy optymalizacyjne

Rozważania w poniższym rozdziale będą dotyczyły konstrukcjiautoasocjatora graficznego,

W dalszych wykładach pokażemy jak dostosować sieć do innychproblemów.



ZadaniaPrzeliczenia


Sieci rekurencyjne typu Hopfielda

każda jednostka ma przypisany swójspin σi ∈ {−1,+1} — zmienny wtrakcie dynamiki,

połączenia synaptyczne mająprzypisane wagi wij = wji ∈ R —stałe w trakcie dynamiki, zmienne wtrakcie uczenia,

wii = 0,

jeżeli krawędzi nie ma w grafie, towij = 0,

neurony otrzymują swoje polezewnętrzne hi ∈ R — stałe.



ZadaniaPrzeliczenia


Ogólna koncepcja dynamiki w sieciach rekurencyjnych

neuron zmienia swój spin i wysyła informację do sąsiadów,

po zmianie jest nieaktywny przez pewien okres czasu τr czasrefrakcji,

po upływie τr neuron może przyjmować i wysyłać impulsy,

przesył impulsu po krawędzi zajmuje pewien okres czasu τp(czas przesyłu, może zależeć od rodzaju lub długości krawędzi),



ZadaniaPrzeliczenia


Dynamika Glaudera

Jeżeli τp � τr , to sieć jest niewielka i można stosować następującądynamikę:

wylosuj neuron σi ,

przypisz

σi = sign(∑j

wijσj + hi )

powtarzaj 1 i 2 aż do ustabilizowania się sytuacji.

Oznaczmy Mi =∑j wijσj + hi — lokalne pole wypadkowe dla

jednostki i .



ZadaniaPrzeliczenia


Dynamika Little’a

Jeżeli τp ' τr , to działanie przybliżamy dynamiką synchroniczną:

wszystkie neurony jednocześnie ustawiają się zgodnie z lokalnympolem wypadkowym, tj, przypisujemy:

σi = sign(Mi )

przy wykorzystaniu zestawu spinów z poprzedniej iteracji.



ZadaniaPrzeliczenia


Dynamika Little’a

Alternatywne sformułowanie:

Rozpocznij z losowego σ̄0

Powtarzaj wielokrotnie:Przypisz

σ̄t+1 := sign(W · σ̄t + H)

gdzie:W = [wij ]i ,j=1..N jest macierzą wag,H — wektor pól zewnętrznychσ̄t — wektor spinów w t-tym kroku.



ZadaniaPrzeliczenia


Dynamika Hybrydowa

Jeżeli τp � τr , to dynamika staje się skomplikowana ze względu naznaczne opóźnienia w przesyle.

małe fragmenty sieci (tj. bliskie jednostki) przybliżamy dynamikąasynchroniczną (Glaudera),

w dużej skali stosujemy dynamikę synchroniczną uwzględniającąróżnice czasowe.



ZadaniaPrzeliczenia


Energia sieci

Określmy energię sieci (Hammiltonian) zależny od bieżącejkonfiguracji spinów neuronów:

Energia

E (σ̄) = −12

∑i 6=jwijσiσj −

∑i

hiσi

Wagi wij oraz pola zewnętrzne hi są ustalone, więc energia zależytylko od spinów.



ZadaniaPrzeliczenia


Twierdzenie

Twierdzenie

W trakcie dynamiki Glaudera energia sieci nie ulega wzrostowi.

Dowód na tablicy



ZadaniaPrzeliczenia


Dowód

Załóżmy, że z konfiguracji σ̄ przeszliśmy do σ̄′. Niech σi będzieneuronem, który zmieniliśmy, tj σi = −σ′i = −sign(Mi ).

Zauważmy, że

E (σ̄) = −12

∑j 6=i ,k 6=i

wjkσjσk −12

2 ·∑j

wijσiσj −∑j 6=ihjσj − hiσi

Zmieniliśmy tylko spin σi więc∑j 6=i ,k 6=i wjkσjσk oraz

∑j 6=i hjσj nie

wpływają na zmianę energii.Obliczmy E (σ̄′)− E (σ̄) =

= −∑j

wijσ′iσj − hiσ′i −

−∑j

wijσiσj − hiσi

=



ZadaniaPrzeliczenia


Dowód

Załóżmy, że z konfiguracji σ̄ przeszliśmy do σ̄′. Niech σi będzieneuronem, który zmieniliśmy, tj σi = −σ′i = −sign(Mi ).Zauważmy, że

E (σ̄) = −12

∑j 6=i ,k 6=i

wjkσjσk −12

2 ·∑j



∑j 6=i hjσj nie


= −∑j


−∑j

wijσiσj − hiσi

=



ZadaniaPrzeliczenia


Dowód


E (σ̄) = −12

∑j 6=i ,k 6=i

wjkσjσk −12

2 ·∑j



∑j 6=i hjσj nie

wpływają na zmianę energii.

Obliczmy E (σ̄′)− E (σ̄) =

= −∑j


−∑j

wijσiσj − hiσi

=



ZadaniaPrzeliczenia


Dowód


E (σ̄) = −12

∑j 6=i ,k 6=i

wjkσjσk −12

2 ·∑j



∑j 6=i hjσj nie


= −∑j


−∑j

wijσiσj − hiσi

=



ZadaniaPrzeliczenia


Dowód cd.

E (σ̄′)− E (σ̄) = −∑j

wijσ′iσj − hiσ′i +∑j

wijσiσj + hiσi =

−∑j

wij(σ′i − σi )σj − hi (σ′i − σi ) =

(σ′i − σi )

−∑j

wijσj − hi

= (σ′i − σi )(−Mi )

Przypomnijmy, że podstawialiśmy σ′i := sign(Mi ).

E (σ̄′)− E (σ̄) = −(sign(Mi )− (−sign(Mi ))Mi = −2|Mi | ≤ 0



ZadaniaPrzeliczenia


Ewolucja sieci Hopfielda, dynamika Little’a

click



ZadaniaPrzeliczenia


Wniosek

Jeżeli ilość neuronów w sieci n jest skończona, to ilośćmożliwych konfiguracji σ̄ również,

podczas dynamiki osiągane jest minimum (być może lokalne!)funkcji energetycznej w skończonym czasie.

Wykorzystamy dynamikę asynchroniczną sieci do znajdowaniarozwiązania problemów optymalizacyjnych.

Wystarczy do tego sprecyzować wagi wij i pola lokalne hj ,

Dostosowanie wag i pól zewnętrznych jest zagadnieniem uczeniasieci.



ZadaniaPrzeliczenia

KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci



3 Zadania




ZadaniaPrzeliczenia


Cel

Chcemy stworzyć pamięć adresowaną zawartością, tj mając danyfragment obrazu będziemy w stanie go odtworzyć.

Oznaczmy:

Iµ = {ξµi } — obraz wzorcowy,

i = 1..N — indeks piksela, N — ilość pikseli,

µ = 1..P — indeks wzorca, P — ilość wzorców,

σi — neurony sieci, po jednym neuronie na każdy piksel obrazu,

wij — wagi między neuronami,

hi — pola zewnętrzne.



ZadaniaPrzeliczenia


Konstrukcja



ZadaniaPrzeliczenia


Konstrukcja

Oznaczmy stopień zgodności stanu sieci σ̄ ze wzorcem Iµ

Mµ(σ̄) =1N

N∑i=1

σiξµi =

1N〈σ̄, Iµ〉

Mµ(σ̄) = 1 oznacza pełną zgodność, Mµ(σ̄) = −1 całkowitąniezgodność, ale przy naszych oznaczeniach należy pamiętać, że jestto idealny negatyw.



ZadaniaPrzeliczenia


Energia

Zdefiniujmy energię

E (σ̄) = −N2

P∑µ=1

(Mµ(σ̄))2 =

= −N2

P∑µ=1

(1N

N∑i=1

σiξµi

)2 =

−N2

P∑µ=1

1N2

N∑i=1

N∑j=1,j 6=i

σiσjξµi ξ

µj +

1N2

N∑i=1

σ2i ξµi2



ZadaniaPrzeliczenia


Energia

E (σ̄) = − 12N

P∑µ=1

∑i 6=j

σiσjξµi ξ

µj

= − 12N

N∑i 6=j

P∑µ=1

σiσjξµi ξ

µj

= −12

N∑i 6=j

σiσj

1N

P∑µ=1

ξµi ξµj



ZadaniaPrzeliczenia


Energia

E (σ̄) = − 12N

P∑µ=1

∑i 6=j

σiσjξµi ξ

µj

= − 1

2N

N∑i 6=j

P∑µ=1

σiσjξµi ξ

µj

= −12

N∑i 6=j

σiσj

1N

P∑µ=1

ξµi ξµj



ZadaniaPrzeliczenia


Wagi

Otrzymujemy zależności na wagi:

Wagi

wij =1N

P∑µ=1

ξµi ξµj

oraz na pola zewnętrzne

Pola zewnętrzne

hi = 0

Zerowe pola zewnętrzne sprawiają, że sieć nie ma preferencji odnośniekolorów. Negatywy są rozpoznawane tak samo jak obrazy oryginalne.



ZadaniaPrzeliczenia


Przestrzeń stanów



ZadaniaPrzeliczenia


Rekonstrukcja obrazu — dynamika Glaudera

Gdy sieć jest już nauczona możemy odzyskać wejściowy zaszumionyobraz:

1 Obraz wejściowy konwertujemy na konfigurację spinów σ̄,2 Poddajemy bieżącą konfigurację ewolucji Glaudera:

1 Losujemy jednostkę i ,2 Ustawiamy spin σi := sign(

∑j wijσj),

3 Powtarzamy 2.1 i 2.2 aż stan sieci się ustabilizuje,

3 Wyjściowy obraz odzyskujemy dekodując wyjściową konfiguracjęspinów σ̄.



ZadaniaPrzeliczenia


Rekonstrukcja obrazu — dynamika Little’a

Ustaloną mamy macierz wag W = (wij)Ni ,j=11 Obraz wejściowy konwertujemy na konfigurację początkową

(t = 0) spinów σ̄0,2 Poddajemy konfigurację ewolucji:

1 Przypisujemyσ̄t+1 :=W · σ̄t

σ̄t+1i := sign(σ̄t+1i )

2 Powtarzamy 2.1 aż stan sieci się ustabilizuje,

3 Wyjściowy obraz odzyskujemy dekodując wyjściową konfiguracjęspinów σ̄T .



ZadaniaPrzeliczenia


Trajektoria odzyskiwania obrazu

Rysunek uproszczony, przestrzeń to {−1,+1}d a nie R2.

-10

-5

0

5

10 -10

-5

0

5

10-2.5

-2

-1.5

-1

-0.5

0



ZadaniaPrzeliczenia


Trajektoria odzyskiwania obrazu



ZadaniaPrzeliczenia


Ograniczenia

Jakie wymagania sieć musi spełniać aby poprawnie odtwarzaćwzorce?

Ile maksymalnie wzorców P =? może się pomieścić w sieci o Nneuronach?



ZadaniaPrzeliczenia


Fakt

Jakie wymagania sieć musi spełniać aby poprawnie odtwarzaćwzorce?

Ile maksymalnie wzorców może się pomieścić w sieci o Nneuronach?



ZadaniaPrzeliczenia


Pojemność sieci

Fakt

W sieci o N wierzchołkach można przechować maksymalnie N4 logN

nieskorelowanych wzorców.



ZadaniaPrzeliczenia


Pojemność sieci

W poprawnym działaniu ważną rolę odgrywa brak korelacjimiędzy wzorcami uczącymi.



ZadaniaPrzeliczenia


Co to są wzorce skorelowane?



ZadaniaPrzeliczenia


Korelacja a poprawne odzyskiwanie

-10-5

05

10-10-5

05

10-1-0.8-0.6-0.4-0.20

-10-5

05

10-10-5

05

10-1-0.8-0.6-0.4-0.20

-10-5

05

10-10-5

05

10-1-0.8-0.6-0.4-0.20

-10-5

05

10-10-5

05

10-1-0.8-0.6-0.4-0.20

-10-5

05

10-10-5

05

10-1-0.8-0.6-0.4-0.20

-10-5

05

10-10-5

05

10-1.4-1.2-1-0.8-0.6-0.4-0.20



ZadaniaPrzeliczenia


Niepoprawne odzyskiwanie — za dużo wzorców lub wzorceskorelowane

-10-5

05

10-10-5

05

10-1-0.8-0.6-0.4-0.20

-10-5

05

10-10-5

05

10-1-0.8-0.6-0.4-0.20

-10-5

05

10-10-5

05

10-1-0.8-0.6-0.4-0.20

-10-5

05

10-10-5

05

10-1-0.8-0.6-0.4-0.20

-10-5

05

10-10-5

05

10-1-0.8-0.6-0.4-0.20

-10-5

05

10-10-5

05

10-2

-1.5-1

-0.50



ZadaniaPrzeliczenia

Zadania

Zapoznaj się z mechanizmem symulowanego wyżarzania.Dlaczego jest on często wprowadzany do dynamiki sieciHopfielda?

Oszacuj wymagania pamięciowe naiwnej implementacji sieciHopfielda dla obrazów o rozdzielczości 256× 256. Jak możnazredukować zapotrzebowanie pamięciowe?

(*) Jak można zmusić sieć Hopfielda do uczenia się zrozróżnieniem obrazu od negatywu?



ZadaniaPrzeliczenia

Zadania

Zaimplementuj autoasocjator graficzny Hopfielda.

Zaimplementuj autoasocjator lingwistyczny (dla par / trójekliter) bazujący na sieci Hopfielda.

Jak sieć będzie działać dla problemy rozpoznawania małych literna matrycy dużej rozdzielczości?



ZadaniaPrzeliczenia

Pojemność sieciPoprawne odzyskiwanie

Przeliczenia

Poniższy fragment zawiera szkice oszacowań pojemności sieci,przy której można stabilnie odzyskać obraz,

Nie obowiązuje na egzaminie.



ZadaniaPrzeliczenia


Stabilność wzorca

Załóżmy, że

wzorce Iµ są niezależne, tj.

P(ξµi = +1) = P(ξµi = −1) =12

Pytamy:

kiedy Iµ jest punktem stałym dynamiki sieci?



ZadaniaPrzeliczenia


Stabilność wzorca

Policzmy:

Mi (σ̄) =∑j

wijσi =

∑j

(1N

∑µ

ξµi ξµj

)σj =

∑µ

Mµ(σ̄)ξµi

Podstawmy za konfigurację wzorzec σ̄ := Iµ0 .

Mi (Iµ0) = ξµ0i +∑

µ6=µ0Mµ(Iµ0)ξµi︸︷︷︸︸︷︷︸

sygnał szum



ZadaniaPrzeliczenia


Stabilność wzorca

Policzmy:

Mi (σ̄) =∑j

wijσi =∑j

(1N

∑µ

ξµi ξµj

)σj

=∑µ

Mµ(σ̄)ξµi


Mi (Iµ0) = ξµ0i +∑

µ6=µ0Mµ(Iµ0)ξµi︸︷︷︸︸︷︷︸

sygnał szum



ZadaniaPrzeliczenia


Stabilność wzorca

Policzmy:

Mi (σ̄) =∑j

wijσi =∑j

(1N

∑µ

ξµi ξµj

)σj =

∑µ

Mµ(σ̄)ξµi


Mi (Iµ0) = ξµ0i +∑

µ6=µ0Mµ(Iµ0)ξµi︸︷︷︸︸︷︷︸

sygnał szum



ZadaniaPrzeliczenia


Stabilność wzorca

Policzmy:

Mi (σ̄) =∑j

wijσi =∑j

(1N

∑µ

ξµi ξµj

)σj =

∑µ

Mµ(σ̄)ξµi


Mi (Iµ0) = ξµ0i +∑

µ6=µ0Mµ(Iµ0)ξµi

︸︷︷︸︸︷︷︸sygnał szum



ZadaniaPrzeliczenia


Stabilność wzorca

Policzmy:

Mi (σ̄) =∑j

wijσi =∑j

(1N

∑µ

ξµi ξµj

)σj =

∑µ

Mµ(σ̄)ξµi


Mi (Iµ0) = ξµ0i +∑

µ6=µ0Mµ(Iµ0)ξµi︸︷︷︸︸︷︷︸

sygnał szum



ZadaniaPrzeliczenia


Stabilność wzorca

Założyliśmy, że:

P(ξµi ξµj = +1) = P(ξµi ξ

µj = −1) =

12

Zdefiniujmy zmienną losową Ξ:

Ξ = ξµi ξµj

Wartość oczekiwana wynosi EΞ = 0, wariancja D2Ξ = 1:Z centralnego twierdzenia granicznego.

Mµ(Iµ0) =1N

∑j

ξµi ξµj =

∑i Ξi − N · 0√N√N · 1

→D1√NN(0, 1) ∼ N(0,

1N

)

I dalej: ∑µ 6=µ0

Mµ(Iµ0)ξµi ∼ N(0,P − 1N

)



ZadaniaPrzeliczenia


Stabilność wzorca



µj = −1) =

12


Ξ = ξµi ξµj

Wartość oczekiwana wynosi EΞ = 0, wariancja D2Ξ = 1:

Z centralnego twierdzenia granicznego.

Mµ(Iµ0) =1N

∑j

ξµi ξµj =

∑i Ξi − N · 0√N√N · 1

→D1√NN(0, 1) ∼ N(0,

1N

)



)



ZadaniaPrzeliczenia


Stabilność wzorca



µj = −1) =

12


Ξ = ξµi ξµj


Mµ(Iµ0) =

1N

∑j

ξµi ξµj =

∑i Ξi − N · 0√N√N · 1

→D1√NN(0, 1) ∼ N(0,

1N

)



)



ZadaniaPrzeliczenia


Stabilność wzorca



µj = −1) =

12


Ξ = ξµi ξµj


Mµ(Iµ0) =1N

∑j

ξµi ξµj =

∑i Ξi − N · 0√N√N · 1

→D1√NN(0, 1) ∼ N(0,

1N

)



)



ZadaniaPrzeliczenia


Stabilność wzorca



µj = −1) =

12


Ξ = ξµi ξµj


Mµ(Iµ0) =1N

∑j

ξµi ξµj =

∑i Ξi − N · 0√N√N · 1

→D1√NN(0, 1)

∼ N(0,1N

)



)



ZadaniaPrzeliczenia


Stabilność wzorca



µj = −1) =

12


Ξ = ξµi ξµj


Mµ(Iµ0) =1N

∑j

ξµi ξµj =

∑i Ξi − N · 0√N√N · 1

→D1√NN(0, 1) ∼ N(0,

1N

)



)



ZadaniaPrzeliczenia


Stabilność wzorca

Aby nie zepsuć wzorca musi zachodzić

|∑µ6=µ0

Mµ(Iµ0)ξµi | ∼ |N(0,P − 1N

)| < 1

Wariancja musi być bardzo mała

P − 1N

� 1

czyliP � N



ZadaniaPrzeliczenia


Poprawne odzyskiwanie

Wzorzec Iµ0 zaburzamy w R punktach.Szum nadal wynosi N(0, PN ).Sygnał (1− RN )ξµ0i .

Szukamy bezpiecznego α = PN , aby wciąż dało się odzyskać obraz.



ZadaniaPrzeliczenia



Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi:

P(N(0, α) < 1− 2RN

) =

Φ(1− 2R/N√

α) = 1− Φ̄(

1− 2R/N√α

)

Chcemy odtworzyć wszystkie piksele (a nie jeden), więcprawdopodobieństwo wyniesie

'(

1− Φ̄(1− 2R/N√

α)

)N' 1− N · Φ̄(

1− 2R/N√α

)



ZadaniaPrzeliczenia




P(N(0, α) < 1− 2RN

) = Φ(1− 2R/N√

α) =

1− Φ̄(1− 2R/N√

α)


'(

1− Φ̄(1− 2R/N√

α)

)N' 1− N · Φ̄(

1− 2R/N√α

)



ZadaniaPrzeliczenia




P(N(0, α) < 1− 2RN

) = Φ(1− 2R/N√

α) = 1− Φ̄(

1− 2R/N√α

)


'(

1− Φ̄(1− 2R/N√

α)

)N' 1− N · Φ̄(

1− 2R/N√α

)



ZadaniaPrzeliczenia




P(N(0, α) < 1− 2RN

) = Φ(1− 2R/N√

α) = 1− Φ̄(

1− 2R/N√α

)


'(

1− Φ̄(1− 2R/N√

α)

)N'

1− N · Φ̄(1− 2R/N√

α)



ZadaniaPrzeliczenia




P(N(0, α) < 1− 2RN

) = Φ(1− 2R/N√

α) = 1− Φ̄(

1− 2R/N√α

)


'(

1− Φ̄(1− 2R/N√

α)

)N' 1− N · Φ̄(

1− 2R/N√α

)



ZadaniaPrzeliczenia



Skorzystamy z przybliżenia Φ̄ ' 1x√2π

exp(−x2

2 ).

Jeżeli ograniczymy dopuszczalny błąd przez δ, to

δ > NΦ̄(1− 2R/N√

α) ' N

√α

(1− 2R/N)√

2πexp(−(1− 2R/N)2

2α) '

'N√α exp(−(1−2R/N)2

2α )√

2π

Po zlogarytmowaniu:

(1− 2RN

)2 ' 2α(− ln δ + lnN +

lnα2

)



ZadaniaPrzeliczenia




exp(−x2

2 ).


δ > NΦ̄(1− 2R/N√

α) '

N√α

(1− 2R/N)√

2πexp(−(1− 2R/N)2

2α) '

'N√α exp(−(1−2R/N)2

2α )√

2π

Po zlogarytmowaniu:

(1− 2RN

)2 ' 2α(− ln δ + lnN +

lnα2

)



ZadaniaPrzeliczenia




exp(−x2

2 ).


δ > NΦ̄(1− 2R/N√

α) ' N

√α

(1− 2R/N)√

2πexp(−(1− 2R/N)2

2α) '

'N√α exp(−(1−2R/N)2

2α )√

2π

Po zlogarytmowaniu:

(1− 2RN

)2 ' 2α(− ln δ + lnN +

lnα2

)



ZadaniaPrzeliczenia



α '(1− 2RN )2

2 lnN' 1

2 lnN

Wniosek

W sieci o N wierzchołkach można przechować maksymalnie N4 logN

wzorców.


Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne...

Documents

Transcript of Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne...