Rozproszone reprezentacje

Janusz A. Starzyk Wyzsza Szkola Informatyki i Zarzadzania w Rzeszowie

W oparciu o wykład Prof. Geoffrey HintonUniversity of Toronto

Inteligentne Systemy Autonomiczne

Lokalne reprezentacje

• Najprostszą drogą reprezentacji rzeczy w sieciach neuronowych jest dedykowanie jednego neuronu dla każdej rzeczy. – Łatwe do zrozumienia. – Łatwe do ręcznego kodowania.

• Często wykorzystywane do reprezentacji danych wejściowych sieci.

– Łatwe do nauki.• To jest to co robią mieszane modele.• Każdy klaster odpowiada jednemu neuronowi.

– Łatwe do łączenia z innymi reprezentacjami. • Ale lokalne modele są bardzo nieskuteczne gdy dane

mają strukturę składnikową.

Przykłady struktur składnikowych.

• Duży, Żółty, Volkswagen– Czy mamy neuron dla takiej kombinacji ?

• Czy jest z góry ustalony neuron DŻV ?• Czy jest on tworzony w trakcie uczenia?• Jak jest on związany z neuronami Duży i Żółty i

Volkswagen?

• Rozważ obserwowany obraz– Zawiera wiele różnych obiektów– Każdy objekt ma wiele własności np. kolor, wielkość,

kształt, ruch– Obiekty mają przestrzenne relacje z innymi obiektami

Wykorzystanie równoczesności do łączenia rzeczy razem

Reprezentują połączenia przez aktywowanie wszystkich elementów w tym samym czasie.– To nie wymaga połączeń

między elementami– Ale co gdy rownoczesnie

chcemy reprezentować żółty trójkąt i niebieskie koło?

Może to tłumaczy seryjną naturę świadomości.– A może nie!

kolo

row

e n

euro

ny

kształtne neurony

Wykorzystanie przestrzeni do łączenia rzeczy razem.

• Typowe komputery potrafią łączyć rzeczy razem przez umieszczenie ich w sąsiednich komórkach pamięci.– Najlepiej prezentuje się to na wizji. Powierzchnie

są generalnie nieprzezroczyste, więc widzimy tylko jedną rzecz w każdym miejscu pola wizyjnego.

• Jeśli używamy map topograficznych dla różnych cech, to możemy założyć, że cechy w tej samej lokalizacji należą do tej samej rzeczy.

Definicja „rozproszonej reprezentacji”.

• Każdy neuron musi reprezentować coś, więc musi to być lokalna reprezentacja.

• “Reprezentacja rozproszona” oznacza relacje wiele-do-wielu między dwoma typami reprezentacji (takimi jak koncepcje i neurony).– Każda koncepcja jest reprezentowana przez

wiele neuronów .– Każdy neuron uczestniczy w reprezentacji

wielu koncepcji.

Kodowanie przybliżone

• Wykorzystanie jednego neuronu dla kazdej rzeczy jest nieefektywne. – Wydajny kod miałby każdy neuron aktywny przez

połowę czasu• To mogłoby być mało wydajne dla innych celów (jak

łączenie odpowiedzi z odwzorowaniami).

• Czy możemy uzyskać dokładne reprezentacje przez wykorzystanie wielu niedokladnych neuronów?– Jeśli tak to byłoby to bardzo odporne na awarie

sprzętu komputerowego.

Kodowanie przybliżone

Użyj trzech nakładających się tabel o dużych komórkach aby uzyskać tabele wielu drobnych komórek– Jeśli punkt jest w drobnej

komórce, koduj go przez aktywacje 3 dużych komórek

• Jest to skuteczniejsze od używania neuronu dla każdej drobnej komórki.– Koszt - 3 tablele– Zysk - 3x3 w rozdzielczosci– Ogólnie 3-krotna oszczednosc

Jak skuteczne jest kodowanie przybliżone?

• Efektywność zależy od wymiarowości– W przestrzeni jedno-wymiarowej kodowanie przybliżone

nie pomaga.– W 2D oszczędność w neuronach jest proporcjonalna do

stosunku drobnego rozmiaru do zgrubnego rozmiaru. – W przestrzeni k – wymiarowej, powiększając rozmiar r

krotnie możemy utrzymać tę samą dokładność jak z drobnymi polami i zaoszczędzić :

1

#

# krneuronyzgrubne

neuronydokladnecioszczednos

Limity kodowania przybliżonego

• Osiąga dokładność ale kosztem rozdzielczosci– Dokładność jest zdefiniowana jako wielkość

przesunięcia punktu do momentu zmiany reprezentacji– Rozdzielczosc jest zdefiniowana jako ta odległość przy

której punkty mogą być nadal rozróżnialne w reprezentacji.

• Reprezentacje mogą zachodzić na siebie i wciąż być dekodowane jeśli pozwolimy na aktywność powyżej 1

• To sprawia trudności w kojarzeniu bardzo różnych odpowiedzi z podobnymi punktami, ponieważ ich reprezentacje nakładają się.– Jest to użyteczne do generalizacji.

• Efekty graniczne dominują gdy pola są bardzo duże.

Kodowanie przybliżone w systemie wizyjnym

• Idąc dalej od siatkówki oka obszary wejsciowe neuronów stają się coraz większe i wymagają bardziej skomplikowanych cech. – Większość neurologów interpretuje to jako dowód

niezmienniczości neuronów– Jest to również potrzebne w przypadku gdy neurony

chciałyby osiągnąć wysoką dokładność– Dla właściwości takich jak pozycja, orientacja i rozmiar

• Wysoka dokładność jest potrzebna, by zdecydować czy części obiektu są we właściwej przestrzennej relacji ze soba

Reprezentacja struktury relacyjnej

• “George kocha Pokój”– Jak twierdzenie może być przedstawione jako

rozproszony model działania?– Jak neurony przedstawiające różne

twierdzenia sa powiązane ze soba i ze skladowymi tych twierdzen?

• Potrzebujemy reprezentowac rolę dla każdego skladnika w twierdzeniu.

Droga do reprezentacji struktur

Ge

org

e

To

ny

Wo

jna

Po

kój

Ryb

a

Ch

ipsy

Ro

bak

i

Miło

ść

Wst

ręt

Jed

zen

ie

Da

wa

nie

agent

objekt

beneficjant

akcja

Problem rekurencji

• Jacques był rozgniewany tym iż Tony pomógł Georgowi– Jedno twierdzenie może być częścią innego

twierdzenia. Jak możemy to pokazać w neuronach?• Jedną z możliwości jest użycie „skróconych opisów”.

Oprocz pełnej reprezentacji przez model rozlozony na dużą liczbę neuronów, jednostka może mieć znacznie bardziej zwarta reprezentacje, która moze być częścią większej jednostki.– Jest to trochę jak wskazniki (pointers).– Mamy pełną reprezentację wybranego przedmiotu i

zredukowane reprezentacje jego części składowych. – Ta teoria wymaga mechanizmów kompresji pełnych

reprezentacji do reprezentacji zredukowanych i rozszerzania skróconych opisów do opisow pełnych.