Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne...

Sieci rekurencyjneAutoasocjator Hopfielda

ZadaniaPrzeliczenia

Wstęp do sieci neuronowych, wykład 10Sieci rekurencyjne. Autoasocjator Hopfielda

Maja Czoków, Jarosław Piersa

Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika

2012-12-19

Projekt pn. „Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych”realizowany w ramach Poddziałania 4.1.1 Programu Operacyjnego Kapitał Ludzki

M. Czoków, J. Piersa WSN 2011/2012 Wykład 10

ZadaniaPrzeliczenia

1 Sieci rekurencyjneSieci rekurencyjneModele sieci rekurencyjnejEnergia sieci

2 Autoasocjator HopfieldaKonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci

3 Zadania

4 PrzeliczeniaPojemność sieciPoprawne odzyskiwanie

ZadaniaPrzeliczenia

Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci

3 Zadania

ZadaniaPrzeliczenia

Sieci skierowane — przypomnienie

Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli

wierzchołki dają się posortować topologicznie,

dynamika odbywa się synchronicznie zgodnie z kolejnościązadaną przez otrzymaną kolejność,

ZadaniaPrzeliczenia

Sieci rekurencyjne

Graf sieci dopuszcza istnienie cykli skierowanych,

sortowanie topologiczne nie jest możliwe,

Czynnik czasowy w dynamice: sieć rozwijamy w szereg podsiecipowiązanych ze sobą zależnościami czasowymi.

ZadaniaPrzeliczenia

Motywacja

Chcemy stworzyć rekurencyjną sieć neuronową, zdolną kodować irozwiązywać (dyskretne) problemy optymalizacyjne

Rozważania w poniższym rozdziale będą dotyczyły konstrukcjiautoasocjatora graficznego,

W dalszych wykładach pokażemy jak dostosować sieć do innychproblemów.

ZadaniaPrzeliczenia

Sieci rekurencyjne typu Hopfielda

każda jednostka ma przypisany swójspin σi ∈ {−1,+1} — zmienny wtrakcie dynamiki,

połączenia synaptyczne mająprzypisane wagi wij = wji ∈ R —stałe w trakcie dynamiki, zmienne wtrakcie uczenia,

wii = 0,

jeżeli krawędzi nie ma w grafie, towij = 0,

neurony otrzymują swoje polezewnętrzne hi ∈ R — stałe.

ZadaniaPrzeliczenia

Ogólna koncepcja dynamiki w sieciach rekurencyjnych

neuron zmienia swój spin i wysyła informację do sąsiadów,

po zmianie jest nieaktywny przez pewien okres czasu τr czasrefrakcji,

po upływie τr neuron może przyjmować i wysyłać impulsy,

przesył impulsu po krawędzi zajmuje pewien okres czasu τp(czas przesyłu, może zależeć od rodzaju lub długości krawędzi),

ZadaniaPrzeliczenia

Dynamika Glaudera

Jeżeli τp � τr , to sieć jest niewielka i można stosować następującądynamikę:

wylosuj neuron σi ,

przypisz

σi = sign(∑j

wijσj + hi )

powtarzaj 1 i 2 aż do ustabilizowania się sytuacji.

Oznaczmy Mi =∑j wijσj + hi — lokalne pole wypadkowe dla

jednostki i .

ZadaniaPrzeliczenia

Dynamika Little’a

Jeżeli τp ' τr , to działanie przybliżamy dynamiką synchroniczną:

wszystkie neurony jednocześnie ustawiają się zgodnie z lokalnympolem wypadkowym, tj, przypisujemy:

σi = sign(Mi )

przy wykorzystaniu zestawu spinów z poprzedniej iteracji.

ZadaniaPrzeliczenia

Dynamika Little’a

Alternatywne sformułowanie:

Rozpocznij z losowego σ̄0

Powtarzaj wielokrotnie:Przypisz

σ̄t+1 := sign(W · σ̄t + H)

gdzie:W = [wij ]i ,j=1..N jest macierzą wag,H — wektor pól zewnętrznychσ̄t — wektor spinów w t-tym kroku.

ZadaniaPrzeliczenia

Dynamika Hybrydowa

Jeżeli τp � τr , to dynamika staje się skomplikowana ze względu naznaczne opóźnienia w przesyle.

małe fragmenty sieci (tj. bliskie jednostki) przybliżamy dynamikąasynchroniczną (Glaudera),

w dużej skali stosujemy dynamikę synchroniczną uwzględniającąróżnice czasowe.

ZadaniaPrzeliczenia

Energia sieci

Określmy energię sieci (Hammiltonian) zależny od bieżącejkonfiguracji spinów neuronów:

Energia

E (σ̄) = −12

∑i 6=jwijσiσj −

Wagi wij oraz pola zewnętrzne hi są ustalone, więc energia zależytylko od spinów.

ZadaniaPrzeliczenia

Twierdzenie

W trakcie dynamiki Glaudera energia sieci nie ulega wzrostowi.

Dowód na tablicy

ZadaniaPrzeliczenia

Twierdzenie

W trakcie dynamiki Glaudera energia sieci nie ulega wzrostowi.

Dowód na tablicy

ZadaniaPrzeliczenia

Dowód

Załóżmy, że z konfiguracji σ̄ przeszliśmy do σ̄′. Niech σi będzieneuronem, który zmieniliśmy, tj σi = −σ′i = −sign(Mi ).

Zauważmy, że

E (σ̄) = −12

∑j 6=i ,k 6=i

wjkσjσk −12

2 ·∑j

wijσiσj −∑j 6=ihjσj − hiσi

Zmieniliśmy tylko spin σi więc∑j 6=i ,k 6=i wjkσjσk oraz

∑j 6=i hjσj nie

wpływają na zmianę energii.Obliczmy E (σ̄′)− E (σ̄) =

= −∑j

wijσ′iσj − hiσ′i −

−∑j

wijσiσj − hiσi

ZadaniaPrzeliczenia

Dowód

Załóżmy, że z konfiguracji σ̄ przeszliśmy do σ̄′. Niech σi będzieneuronem, który zmieniliśmy, tj σi = −σ′i = −sign(Mi ).Zauważmy, że

E (σ̄) = −12

∑j 6=i ,k 6=i

wjkσjσk −12

2 ·∑j

∑j 6=i hjσj nie

= −∑j

−∑j

wijσiσj − hiσi

ZadaniaPrzeliczenia

Dowód

E (σ̄) = −12

∑j 6=i ,k 6=i

wjkσjσk −12

2 ·∑j

∑j 6=i hjσj nie

wpływają na zmianę energii.

Obliczmy E (σ̄′)− E (σ̄) =

= −∑j

−∑j

wijσiσj − hiσi

ZadaniaPrzeliczenia

Dowód

E (σ̄) = −12

∑j 6=i ,k 6=i

wjkσjσk −12

2 ·∑j

∑j 6=i hjσj nie

= −∑j

−∑j

wijσiσj − hiσi

ZadaniaPrzeliczenia

Dowód cd.

E (σ̄′)− E (σ̄) = −∑j

wijσ′iσj − hiσ′i +∑j

wijσiσj + hiσi =

−∑j

wij(σ′i − σi )σj − hi (σ′i − σi ) =

(σ′i − σi )

−∑j

wijσj − hi

= (σ′i − σi )(−Mi )

Przypomnijmy, że podstawialiśmy σ′i := sign(Mi ).

E (σ̄′)− E (σ̄) = −(sign(Mi )− (−sign(Mi ))Mi = −2|Mi | ≤ 0

ZadaniaPrzeliczenia

Dowód cd.

E (σ̄′)− E (σ̄) = −∑j

wijσiσj + hiσi =

−∑j

(σ′i − σi )

−∑j

wijσj − hi

= (σ′i − σi )(−Mi )

ZadaniaPrzeliczenia

Dowód cd.

E (σ̄′)− E (σ̄) = −∑j

wijσiσj + hiσi =

−∑j

(σ′i − σi )

−∑j

wijσj − hi

= (σ′i − σi )(−Mi )

ZadaniaPrzeliczenia

Dowód cd.

E (σ̄′)− E (σ̄) = −∑j

wijσiσj + hiσi =

−∑j

(σ′i − σi )

−∑j

wijσj − hi

= (σ′i − σi )(−Mi )

ZadaniaPrzeliczenia

Ewolucja sieci Hopfielda, dynamika Little’a

ZadaniaPrzeliczenia

Wniosek

Jeżeli ilość neuronów w sieci n jest skończona, to ilośćmożliwych konfiguracji σ̄ również,

podczas dynamiki osiągane jest minimum (być może lokalne!)funkcji energetycznej w skończonym czasie.

Wykorzystamy dynamikę asynchroniczną sieci do znajdowaniarozwiązania problemów optymalizacyjnych.

Wystarczy do tego sprecyzować wagi wij i pola lokalne hj ,

Dostosowanie wag i pól zewnętrznych jest zagadnieniem uczeniasieci.

ZadaniaPrzeliczenia

Wniosek

Jeżeli ilość neuronów w sieci n jest skończona, to ilośćmożliwych konfiguracji σ̄ również,

podczas dynamiki osiągane jest minimum (być może lokalne!)funkcji energetycznej w skończonym czasie.

Wykorzystamy dynamikę asynchroniczną sieci do znajdowaniarozwiązania problemów optymalizacyjnych.

Wystarczy do tego sprecyzować wagi wij i pola lokalne hj ,

Dostosowanie wag i pól zewnętrznych jest zagadnieniem uczeniasieci.

ZadaniaPrzeliczenia

KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci

3 Zadania

ZadaniaPrzeliczenia

Chcemy stworzyć pamięć adresowaną zawartością, tj mając danyfragment obrazu będziemy w stanie go odtworzyć.

Oznaczmy:

Iµ = {ξµi } — obraz wzorcowy,

i = 1..N — indeks piksela, N — ilość pikseli,

µ = 1..P — indeks wzorca, P — ilość wzorców,

σi — neurony sieci, po jednym neuronie na każdy piksel obrazu,

wij — wagi między neuronami,

hi — pola zewnętrzne.

ZadaniaPrzeliczenia

Chcemy stworzyć pamięć adresowaną zawartością, tj mając danyfragment obrazu będziemy w stanie go odtworzyć.

Oznaczmy:

Iµ = {ξµi } — obraz wzorcowy,

i = 1..N — indeks piksela, N — ilość pikseli,

µ = 1..P — indeks wzorca, P — ilość wzorców,

σi — neurony sieci, po jednym neuronie na każdy piksel obrazu,

wij — wagi między neuronami,

hi — pola zewnętrzne.

ZadaniaPrzeliczenia

Konstrukcja

ZadaniaPrzeliczenia

Konstrukcja

Oznaczmy stopień zgodności stanu sieci σ̄ ze wzorcem Iµ

Mµ(σ̄) =1N

N∑i=1

σiξµi =

1N〈σ̄, Iµ〉

Mµ(σ̄) = 1 oznacza pełną zgodność, Mµ(σ̄) = −1 całkowitąniezgodność, ale przy naszych oznaczeniach należy pamiętać, że jestto idealny negatyw.

ZadaniaPrzeliczenia

Konstrukcja

Oznaczmy stopień zgodności stanu sieci σ̄ ze wzorcem Iµ

Mµ(σ̄) =1N

N∑i=1

σiξµi =

1N〈σ̄, Iµ〉

Mµ(σ̄) = 1 oznacza pełną zgodność, Mµ(σ̄) = −1 całkowitąniezgodność, ale przy naszych oznaczeniach należy pamiętać, że jestto idealny negatyw.

ZadaniaPrzeliczenia

Energia

Zdefiniujmy energię

E (σ̄) = −N2

P∑µ=1

(Mµ(σ̄))2 =

= −N2

P∑µ=1

N∑i=1

σiξµi

P∑µ=1

N∑i=1

N∑j=1,j 6=i

σiσjξµi ξ

N∑i=1

σ2i ξµi2

ZadaniaPrzeliczenia

Energia

E (σ̄) = −N2

P∑µ=1

(Mµ(σ̄))2 =

= −N2

P∑µ=1

N∑i=1

σiξµi

P∑µ=1

N∑i=1

N∑j=1,j 6=i

σiσjξµi ξ

N∑i=1

σ2i ξµi2

ZadaniaPrzeliczenia

Energia

E (σ̄) = −N2

P∑µ=1

(Mµ(σ̄))2 =

= −N2

P∑µ=1

N∑i=1

σiξµi

P∑µ=1

N∑i=1

N∑j=1,j 6=i

σiσjξµi ξ

N∑i=1

σ2i ξµi2

ZadaniaPrzeliczenia

Energia

E (σ̄) = −N2

P∑µ=1

(Mµ(σ̄))2 =

= −N2

P∑µ=1

N∑i=1

σiξµi

P∑µ=1

N∑i=1

N∑j=1,j 6=i

σiσjξµi ξ

N∑i=1

σ2i ξµi2

ZadaniaPrzeliczenia

Energia

E (σ̄) = − 12N

P∑µ=1

∑i 6=j

σiσjξµi ξ

= − 12N

N∑i 6=j

P∑µ=1

σiσjξµi ξ

= −12

N∑i 6=j

σiσj

P∑µ=1

ξµi ξµj

ZadaniaPrzeliczenia

Energia

E (σ̄) = − 12N

P∑µ=1

∑i 6=j

σiσjξµi ξ

= − 1

N∑i 6=j

P∑µ=1

σiσjξµi ξ

= −12

N∑i 6=j

σiσj

P∑µ=1

ξµi ξµj

ZadaniaPrzeliczenia

Energia

E (σ̄) = − 12N

P∑µ=1

∑i 6=j

σiσjξµi ξ

= − 1

N∑i 6=j

P∑µ=1

σiσjξµi ξ

= −12

N∑i 6=j

σiσj

P∑µ=1

ξµi ξµj

ZadaniaPrzeliczenia

Otrzymujemy zależności na wagi:

wij =1N

P∑µ=1

ξµi ξµj

oraz na pola zewnętrzne

Pola zewnętrzne

hi = 0

Zerowe pola zewnętrzne sprawiają, że sieć nie ma preferencji odnośniekolorów. Negatywy są rozpoznawane tak samo jak obrazy oryginalne.

ZadaniaPrzeliczenia

Przestrzeń stanów

ZadaniaPrzeliczenia

Rekonstrukcja obrazu — dynamika Glaudera

Gdy sieć jest już nauczona możemy odzyskać wejściowy zaszumionyobraz:

1 Obraz wejściowy konwertujemy na konfigurację spinów σ̄,2 Poddajemy bieżącą konfigurację ewolucji Glaudera:

1 Losujemy jednostkę i ,2 Ustawiamy spin σi := sign(

∑j wijσj),

3 Powtarzamy 2.1 i 2.2 aż stan sieci się ustabilizuje,

3 Wyjściowy obraz odzyskujemy dekodując wyjściową konfiguracjęspinów σ̄.

ZadaniaPrzeliczenia

Rekonstrukcja obrazu — dynamika Little’a

Ustaloną mamy macierz wag W = (wij)Ni ,j=11 Obraz wejściowy konwertujemy na konfigurację początkową

(t = 0) spinów σ̄0,2 Poddajemy konfigurację ewolucji:

1 Przypisujemyσ̄t+1 :=W · σ̄t

σ̄t+1i := sign(σ̄t+1i )

2 Powtarzamy 2.1 aż stan sieci się ustabilizuje,

3 Wyjściowy obraz odzyskujemy dekodując wyjściową konfiguracjęspinów σ̄T .

ZadaniaPrzeliczenia

Trajektoria odzyskiwania obrazu

Rysunek uproszczony, przestrzeń to {−1,+1}d a nie R2.

10 -10

10-2.5

ZadaniaPrzeliczenia

Trajektoria odzyskiwania obrazu

ZadaniaPrzeliczenia

Ograniczenia

Jakie wymagania sieć musi spełniać aby poprawnie odtwarzaćwzorce?

Ile maksymalnie wzorców P =? może się pomieścić w sieci o Nneuronach?

ZadaniaPrzeliczenia

Jakie wymagania sieć musi spełniać aby poprawnie odtwarzaćwzorce?

Ile maksymalnie wzorców może się pomieścić w sieci o Nneuronach?

ZadaniaPrzeliczenia

Pojemność sieci

W sieci o N wierzchołkach można przechować maksymalnie N4 logN

nieskorelowanych wzorców.

ZadaniaPrzeliczenia

Pojemność sieci

W poprawnym działaniu ważną rolę odgrywa brak korelacjimiędzy wzorcami uczącymi.

ZadaniaPrzeliczenia

Co to są wzorce skorelowane?

ZadaniaPrzeliczenia

Co to są wzorce skorelowane?

ZadaniaPrzeliczenia

Korelacja a poprawne odzyskiwanie

10-10-5

10-1-0.8-0.6-0.4-0.20

10-10-5

10-1-0.8-0.6-0.4-0.20

10-10-5

10-1-0.8-0.6-0.4-0.20

10-10-5

10-1-0.8-0.6-0.4-0.20

10-10-5

10-1-0.8-0.6-0.4-0.20

10-10-5

10-1.4-1.2-1-0.8-0.6-0.4-0.20

ZadaniaPrzeliczenia

Niepoprawne odzyskiwanie — za dużo wzorców lub wzorceskorelowane

10-10-5

10-1-0.8-0.6-0.4-0.20

10-10-5

10-1-0.8-0.6-0.4-0.20

10-10-5

10-1-0.8-0.6-0.4-0.20

10-10-5

10-1-0.8-0.6-0.4-0.20

10-10-5

10-1-0.8-0.6-0.4-0.20

10-10-5

-1.5-1

ZadaniaPrzeliczenia

Zadania

Zapoznaj się z mechanizmem symulowanego wyżarzania.Dlaczego jest on często wprowadzany do dynamiki sieciHopfielda?

Oszacuj wymagania pamięciowe naiwnej implementacji sieciHopfielda dla obrazów o rozdzielczości 256× 256. Jak możnazredukować zapotrzebowanie pamięciowe?

(*) Jak można zmusić sieć Hopfielda do uczenia się zrozróżnieniem obrazu od negatywu?

ZadaniaPrzeliczenia

Zadania

Zaimplementuj autoasocjator graficzny Hopfielda.

Zaimplementuj autoasocjator lingwistyczny (dla par / trójekliter) bazujący na sieci Hopfielda.

Jak sieć będzie działać dla problemy rozpoznawania małych literna matrycy dużej rozdzielczości?

ZadaniaPrzeliczenia

Pojemność sieciPoprawne odzyskiwanie

Przeliczenia

Poniższy fragment zawiera szkice oszacowań pojemności sieci,przy której można stabilnie odzyskać obraz,

Nie obowiązuje na egzaminie.

ZadaniaPrzeliczenia

Stabilność wzorca

Załóżmy, że

wzorce Iµ są niezależne, tj.

P(ξµi = +1) = P(ξµi = −1) =12

Pytamy:

kiedy Iµ jest punktem stałym dynamiki sieci?

ZadaniaPrzeliczenia

Stabilność wzorca

Policzmy:

Mi (σ̄) =∑j

wijσi =

ξµi ξµj

)σj =

Mµ(σ̄)ξµi

Podstawmy za konfigurację wzorzec σ̄ := Iµ0 .

Mi (Iµ0) = ξµ0i +∑

µ6=µ0Mµ(Iµ0)ξµi︸︷︷︸︸︷︷︸

sygnał szum

ZadaniaPrzeliczenia

Stabilność wzorca

Policzmy:

Mi (σ̄) =∑j

wijσi =∑j

ξµi ξµj

=∑µ

Mµ(σ̄)ξµi

Mi (Iµ0) = ξµ0i +∑

µ6=µ0Mµ(Iµ0)ξµi︸︷︷︸︸︷︷︸

sygnał szum

ZadaniaPrzeliczenia

Stabilność wzorca

Policzmy:

Mi (σ̄) =∑j

wijσi =∑j

ξµi ξµj

)σj =

Mµ(σ̄)ξµi

Mi (Iµ0) = ξµ0i +∑

µ6=µ0Mµ(Iµ0)ξµi︸︷︷︸︸︷︷︸

sygnał szum

ZadaniaPrzeliczenia

Stabilność wzorca

Policzmy:

Mi (σ̄) =∑j

wijσi =∑j

ξµi ξµj

)σj =

Mµ(σ̄)ξµi

Mi (Iµ0) = ξµ0i +∑

µ6=µ0Mµ(Iµ0)ξµi︸︷︷︸︸︷︷︸

sygnał szum

ZadaniaPrzeliczenia

Stabilność wzorca

Policzmy:

Mi (σ̄) =∑j

wijσi =∑j

ξµi ξµj

)σj =

Mµ(σ̄)ξµi

Mi (Iµ0) = ξµ0i +∑

µ6=µ0Mµ(Iµ0)ξµi

︸︷︷︸︸︷︷︸sygnał szum

ZadaniaPrzeliczenia

Stabilność wzorca

Policzmy:

Mi (σ̄) =∑j

wijσi =∑j

ξµi ξµj

)σj =

Mµ(σ̄)ξµi

Mi (Iµ0) = ξµ0i +∑

µ6=µ0Mµ(Iµ0)ξµi︸︷︷︸︸︷︷︸

sygnał szum

ZadaniaPrzeliczenia

Stabilność wzorca

Założyliśmy, że:

P(ξµi ξµj = +1) = P(ξµi ξ

µj = −1) =

Zdefiniujmy zmienną losową Ξ:

Ξ = ξµi ξµj

Wartość oczekiwana wynosi EΞ = 0, wariancja D2Ξ = 1:Z centralnego twierdzenia granicznego.

Mµ(Iµ0) =1N

ξµi ξµj =

∑i Ξi − N · 0√N√N · 1

→D1√NN(0, 1) ∼ N(0,

I dalej: ∑µ 6=µ0

Mµ(Iµ0)ξµi ∼ N(0,P − 1N

ZadaniaPrzeliczenia

Stabilność wzorca

µj = −1) =

Ξ = ξµi ξµj

Mµ(Iµ0) =1N

ξµi ξµj =

∑i Ξi − N · 0√N√N · 1

→D1√NN(0, 1) ∼ N(0,

ZadaniaPrzeliczenia

Stabilność wzorca

µj = −1) =

Ξ = ξµi ξµj

Wartość oczekiwana wynosi EΞ = 0, wariancja D2Ξ = 1:

Z centralnego twierdzenia granicznego.

Mµ(Iµ0) =1N

ξµi ξµj =

∑i Ξi − N · 0√N√N · 1

→D1√NN(0, 1) ∼ N(0,

ZadaniaPrzeliczenia

Stabilność wzorca

µj = −1) =

Ξ = ξµi ξµj

Mµ(Iµ0) =

ξµi ξµj =

∑i Ξi − N · 0√N√N · 1

→D1√NN(0, 1) ∼ N(0,

ZadaniaPrzeliczenia

Stabilność wzorca

µj = −1) =

Ξ = ξµi ξµj

Mµ(Iµ0) =1N

ξµi ξµj =

∑i Ξi − N · 0√N√N · 1

→D1√NN(0, 1) ∼ N(0,

ZadaniaPrzeliczenia

Stabilność wzorca

µj = −1) =

Ξ = ξµi ξµj

Mµ(Iµ0) =1N

ξµi ξµj =

∑i Ξi − N · 0√N√N · 1

→D1√NN(0, 1) ∼ N(0,

ZadaniaPrzeliczenia

Stabilność wzorca

µj = −1) =

Ξ = ξµi ξµj

Mµ(Iµ0) =1N

ξµi ξµj =

∑i Ξi − N · 0√N√N · 1

→D1√NN(0, 1)

∼ N(0,1N

ZadaniaPrzeliczenia

Stabilność wzorca

µj = −1) =

Ξ = ξµi ξµj

Mµ(Iµ0) =1N

ξµi ξµj =

∑i Ξi − N · 0√N√N · 1

→D1√NN(0, 1) ∼ N(0,

ZadaniaPrzeliczenia

Stabilność wzorca

µj = −1) =

Ξ = ξµi ξµj

Mµ(Iµ0) =1N

ξµi ξµj =

∑i Ξi − N · 0√N√N · 1

→D1√NN(0, 1) ∼ N(0,

ZadaniaPrzeliczenia

Stabilność wzorca

Aby nie zepsuć wzorca musi zachodzić

|∑µ6=µ0

Mµ(Iµ0)ξµi | ∼ |N(0,P − 1N

)| < 1

Wariancja musi być bardzo mała

P − 1N

czyliP � N

ZadaniaPrzeliczenia

Stabilność wzorca

|∑µ6=µ0

Mµ(Iµ0)ξµi | ∼ |N(0,P − 1N

)| < 1

P − 1N

czyliP � N

ZadaniaPrzeliczenia

Stabilność wzorca

|∑µ6=µ0

Mµ(Iµ0)ξµi | ∼ |N(0,P − 1N

)| < 1

P − 1N

czyliP � N

ZadaniaPrzeliczenia

Poprawne odzyskiwanie

Wzorzec Iµ0 zaburzamy w R punktach.Szum nadal wynosi N(0, PN ).Sygnał (1− RN )ξµ0i .

Szukamy bezpiecznego α = PN , aby wciąż dało się odzyskać obraz.

ZadaniaPrzeliczenia

Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi:

P(N(0, α) < 1− 2RN

Φ(1− 2R/N√

α) = 1− Φ̄(

1− 2R/N√α

Chcemy odtworzyć wszystkie piksele (a nie jeden), więcprawdopodobieństwo wyniesie

1− Φ̄(1− 2R/N√

)N' 1− N · Φ̄(

1− 2R/N√α

ZadaniaPrzeliczenia

P(N(0, α) < 1− 2RN

) = Φ(1− 2R/N√

1− Φ̄(1− 2R/N√

)N' 1− N · Φ̄(

1− 2R/N√α

ZadaniaPrzeliczenia

P(N(0, α) < 1− 2RN

) = Φ(1− 2R/N√

α) = 1− Φ̄(

1− 2R/N√α

1− Φ̄(1− 2R/N√

)N' 1− N · Φ̄(

1− 2R/N√α

ZadaniaPrzeliczenia

P(N(0, α) < 1− 2RN

) = Φ(1− 2R/N√

α) = 1− Φ̄(

1− 2R/N√α

1− Φ̄(1− 2R/N√

1− N · Φ̄(1− 2R/N√

ZadaniaPrzeliczenia

P(N(0, α) < 1− 2RN

) = Φ(1− 2R/N√

α) = 1− Φ̄(

1− 2R/N√α

1− Φ̄(1− 2R/N√

)N' 1− N · Φ̄(

1− 2R/N√α

ZadaniaPrzeliczenia

Skorzystamy z przybliżenia Φ̄ ' 1x√2π

exp(−x2

Jeżeli ograniczymy dopuszczalny błąd przez δ, to

δ > NΦ̄(1− 2R/N√

α) ' N

(1− 2R/N)√

2πexp(−(1− 2R/N)2

2α) '

'N√α exp(−(1−2R/N)2

2α )√

Po zlogarytmowaniu:

(1− 2RN

)2 ' 2α(− ln δ + lnN +

ZadaniaPrzeliczenia

exp(−x2

δ > NΦ̄(1− 2R/N√

N√α

(1− 2R/N)√

2πexp(−(1− 2R/N)2

2α) '

'N√α exp(−(1−2R/N)2

2α )√

Po zlogarytmowaniu:

(1− 2RN

)2 ' 2α(− ln δ + lnN +

ZadaniaPrzeliczenia

exp(−x2

δ > NΦ̄(1− 2R/N√

α) ' N

(1− 2R/N)√

2πexp(−(1− 2R/N)2

2α) '

'N√α exp(−(1−2R/N)2

2α )√

Po zlogarytmowaniu:

(1− 2RN

)2 ' 2α(− ln δ + lnN +

ZadaniaPrzeliczenia

exp(−x2

δ > NΦ̄(1− 2R/N√

α) ' N

(1− 2R/N)√

2πexp(−(1− 2R/N)2

2α) '

'N√α exp(−(1−2R/N)2

2α )√

Po zlogarytmowaniu:

(1− 2RN

)2 ' 2α(− ln δ + lnN +

ZadaniaPrzeliczenia

exp(−x2

δ > NΦ̄(1− 2R/N√

α) ' N

(1− 2R/N)√

2πexp(−(1− 2R/N)2

2α) '

'N√α exp(−(1−2R/N)2

2α )√

Po zlogarytmowaniu:

(1− 2RN

)2 ' 2α(− ln δ + lnN +

ZadaniaPrzeliczenia

α '(1− 2RN )2

2 lnN' 1

Wniosek

W sieci o N wierzchołkach można przechować maksymalnie N4 logN

wzorców.

Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne...

Documents

Transcript of Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne...

Wstep do sieci neuronowych, wyk ad 01 Neuron biologiczny ...rudy/wsn/wyk/wsn-wyklad-01-Perc.pdf · S. I. Gallant Neural Network Learning and Expert Systems, The MIT Press, 1993, L.

MOUŁ Technologia montażu sieci ciepłowniczych · 2020. 4. 24. · 2 Kurs: Sieci i węzły ciepłownicze 5 Technologia montażu sieci ciepłowniczych 5.1 lementy uzbrojenia sieci

Procenty – klasa 5 · 2020. 9. 18. · klasa 5 Powtórzenie- cz.1 . Trójkąt to taki wielokąt, który ma 3 kąty, 3 boki i 3 wierzchołki, czyli... trójkąt to wielokąt o najmniejszej

XXVII awarie budowlane 2015 Konferencja … stalowe 551 rozpi ęto ści gał ęzi). Wierzchołki gał ęzi poł ączono z trzonem słupa rozporami o przekroju skrzynkowym. Trzony słupów

Inteligentne sieci energetyczne w Europiedlaklimatu.pl/.../2014/08/3-Inteligentne-sieci-energetyczne-w-Europie.pdf · INTELIGENTNE SIECI CZY LICZNIKI Inteligentne sieci są bardzo

Teoria Grafów Lista zadań › cichon › 2019_20_b › Grafy › GraphsZa...* Zadanie 10 Załóżmy, że spójny graf prosty ma dokładnie dwa nierozcinające wierzchołki. Pokaż,

Topologie sieci. Zakresy sieci: LAN, MAN, WAN.

Wstep do sieci neuronowych, Laboratorium 11 OpenGLpiersaj/www/contents/teaching/wsn2010/w… · [piersaj()yavarel ~]$ sudo yum install kmod-nvidia* Jarosław Piersa WSN 2010/2011

Sieci Sensorowe - pja.mykhi.org sieci... · 4 Bezprzewodowe sieci sensorowe Bezprzewodowe sieci sensorowe sązbiorem setek tysięcy małych, jednorazowych węzłów sensorowych o

Bezpieczeństwo sieci informatycznych –Środki techniczneeletel.p.lodz.pl/tele/pl/download/3-Bezpieczeństwo-sieci... · Bezpieczeństwo sieci informatycznych –Środki techniczne

sieci komputerowesieci komputerowe - wykład 4 - współdziałanie sieci 3 mostki i rozszerzone sieci lokalne • połączenie dwóch sieci Ethernet: wzmacniakiem (maks. 2 wzmacniaki

1. Sieci Petriego - jedrzej.ulasiewicz.staff.iiar.pwr.wroc.pljedrzej.ulasiewicz.staff.iiar.pwr.wroc.pl/.../Sieci-Petriego15.pdf · Rys. 1-6 Przykład znakowanej sieci Petriego (Przyklad1)

Numeryczny Model Terenu i jego pochodne · model TIN. Model ten składa się z nieregularnych trójkątów, których wierzchołki znajdują się w punktach pomierzonych. Jest to jeden

Wstep do sieci neuronowych, wyklad 09, Walidacja jakosci ...piersaj/www/contents/teaching/wsn2013/wsn... · 2013-12-03 Projekt pn. ... M. Czoków, J. Piersa WSN 2013/2014 Wykład

Sieci bezprzewodowe informacje ogólne - zelota.netshock.plzelota.netshock.pl/pdf/ElementySieciowe/WIFI.pdf · Użycie sieci bezprzewodowych • Sieci bezprzewodowe mają bardzo szerokie

Wstep do sieci neuronowych, wyklad 12 Wykorzystanie sieci … · 2013. 12. 17. · Title: Wstep do sieci neuronowych, wyklad 12 Wykorzystanie sieci rekurencyjnych w optymalizacji

sieci pion

A smart wireless sensor network node for fire detectionjournals.tubitak.gov.tr/elektrik/issues/elk-19-27... · The wireless sensor network (WSN) has attracted a lot of interest from

Proces budowy sieci teleinformatycznej - witrynawiejska.org.plwitrynawiejska.org.pl/data/mevita/content/Budowa sieci... · Budowa sieci teleinformatycznej w Stoszowicach Zdj ... Urządzenie

Sieci komputerowe - macos.ukw.edu.plmacos.ukw.edu.pl/sieci/sieci/sieci_06_transportowa.pdf · Sieci komputerowe Warstwa transportowa dr inż. Maciej Piechowiak 1 – a Wprowadzenie