Algorytm kaskadowej korelacji

Marta Wilczak

O czym mowa.

• Nowa architektura, a zarazem algorytm uczenia z nadzorem dla sieci neuronowych

• Stworzona przez Scott’a E. Fahlman’a• Zamiast dostosowywać wagi w sieciach o ustalonej

topologii, zaczyna z minimalną siecią, dodaje ukryte neurony jeden po drugim

• Przewaga nad innymi algorytmami:– szybko się uczy– sieć sama ustala swój rozmiar i topologię– nie wymaga wstecznej propagacji sygnałów błędów (back-

propagation)

Dlaczego powstał.

• W celu rozwiązania pewnych problemów i ograniczeń, które występują w popularnym backprop’ie– „wolny krok” z jakim backprop uczy się z próbek– nawet przy prostych problemach (benchmark), może wymagać

wielu tysięcy epok, aby wyuczyć się poządanego zachowania.

• Step-size problem

• Moving target problem

Problemy spowolniające backprop – STEP-SIZE

• Co to jest i dlaczego występuje:

– Backprop oblicza dla każdej wagi, jedynie pierwszą częściową pochodną całej funkcji błędu

– Mając te pochodne, możemy wykonywać zejście według gradientu w przestrzeni wag, zmniejszając błąd z każdym krokiem

– Można łatwo dowieść, że biorąc maleńkie kroczki, w końcu dojdziemy do lokalnego minimum funkcji błędu

Problemy spowolniające backprop – STEP-SIZE

• Aby szybko uczyć sieć, nie chcemy brać malutkich kroczków, tylko największe jakie możemy

• Niestety, jeśli weźmiemy za duży krok, sieć może nie zbiec się do dobrego rozwiązania

• Żeby wybrać rozsądny krok, musimy znać nie tylko nachylenie funkcji błędu, ale również jej krzywiznę w pobliżu bierzącego punktu w przestrzeni wag

• Takich informacji mogą dostarczyć pochodne wyższych rzędów

• Takie informacje nie są dostępne w standardowym backprop’ie

Problemy spowolniające backprop – STEP-SIZE

• Algorytm Fahlman’a, quickprop, jest jednym z proponowanych i odnoszących duże sukcesy sposobem w radzeniu sobie z problemem STEP-SIZE

• Jak działa quickprop:– oblicza pochodne jak backprop– zamiast prostego (gradient descent), korzysta z metody

Newtona przy aktualizacji wag.

Problemy spowolniające backprop – MOVING TARGET

• Co to jest i kiedy występuje:– każdy neuron próbuje ewaluować w detektor cechy,

odgrywający użyteczną rolę w obliczeniach– ale to zadanie jest niezwykle skomplikowane, bo

wszystkie neurony zmieniają się w tym samym czasie– ukryte neurony w poszczególnych warstwach sieci nie

mogą komunikować się bezpośrednio– dostają jedynie wejście i sygnał błędu propagowany

spowrotem z wyjść– sygnał błędu opisuje jakoś problem, który dany

neuron próbuje rozwiązać, ale ten problem nieustannie się zmienia

Problemy spowolniające backprop – MOVING TARGET

• Zamiast szybko i prosto zmierzać do przybrania jakiejś użytecznej roli – złożony „taniec” pomiędzy neuronami

• Zwiększanie liczby neuronów warstw ukrytych = spowalnianie procesu uczenia (backprop)

• Częściowo odpowiedzialny za to jest MOVING-TARGET

• Efekt stada

Problemy spowolniające backprop – MOVING TARGET

• Jak rozwiązać?– Pozwolić jedynie niektórym wagom lub neuronom

zmieniać się naraz– Kaskadowa korelacja wykorzystuje ekstremalną

wersję tej zasady– Może się zdawać, że trzymając większość sieci w

zamrożeniu przez większość czasu spowolni uczenie – testy dowodzą, że nie

– Każdy neuron nie zamrożony, może szybko wybrać użyteczną rolę w całościowym rozwiązaniu i dostosować się do jej wypełniania

Kaskadowa korelacja - opis

• Kaskadowa architektura

• Algorytm uczenia– tworzenie i instalowanie nowych neuronów– próbujemy zmaksymalizować wielkość korelacji

pomiędzy wyjściem nowego neuronu a sygnałem błędu na wyjściach sieci

Kaskadowa korelacja - architektura

• Rozpoczynamy od jakichś wejść i jednego lub więcej wyjść

• Liczba wejść lub wyjść narzucona jest przez rodzaj problemu i reprezentację IO jaką wybrał eksperymentator

• Każde wejście połączone jest z każdym wyjściowym neuronem poprzez połączenia o dostrajalnych wagach

• Neurony wyjściowe mogą produkować na wyjścia liniową sumę ważonych wejść lub stosować jakąś nieliniową funkcję aktywacji

• Autor używał zawsze sigmoidalnej f.a. (tangens hiperboliczny)

Kaskadowa korelacja - architektura

• Każdy nowy neuron dostaje połączenia z wszystkimi oryginalnymi wejściami oraz od każdego istniejącego już neuronu

• Jak tylko zainstalujemy – zamrażamy wagi wejściowe

• Każdy nowo dodany neuron = nowa jednoneuronowa warstwa

• Potężne, wysoce wyspecjalizowane neurony, możliwe głębokie sieci

Kaskadowa korelacja - architektura

Kaskadowa korelacja - architektura

Kaskadowa korelacja - uczenie

• na początku trenujemy połączenia wejście-wyjście na całym zestawie uczącym

• dowolny uczący algorytm dla jednowarstwowej sieci (np. dla perceptronu)

• autor używa Quickprop• jeśli po ustalonej liczbie cykli uczących nie nastąpiła widoczna

redukcja błędu, uruchamiamy sieć jeszcze raz, żeby zmierzyć błąd• jeśli jesteśmy zadowoleni z działania sieci, przerywamy szkolenie• jeśli nie, dodajemy nowy ukryty neuron korzystając z algorytmu

„tworzenia neurona”• nowy neuron jest instalowany, jego wagi wejściowe są zamrażane,

a wagi wszystkich wyjść sieci są ponownie trenowane (używając np. Quickpropa)

Kaskadowa korelacja – algorytm „tworzenia neurona”

• aby utworzyć nowy neuron ukryty zaczynamy z neuronem KANDYDUJĄCYM, który otrzymuje TESTOWE połączenie wejściowe

• wyjście nie jest jeszcze podłączone do sieci !

• zapuszczamy wiele przejść zestawów uczących dostosowując wagi wejściowe neuronu KANDYDUJĄCEGO po każdym przejściu

Kaskadowa korelacja – algorytm „tworzenia neurona”

• celem dostosowania wag jest: zmaksymalizować S

• S – suma (po wszystkich wyjściach) wielkości korelacji pomiędzy wyjściem neuronu KANDYDUJĄCEGO (V) a błędem na danym wyjściu

• o – neuron wyjściowy

• p – osobnik uczący

Kaskadowa korelacja – algorytm „tworzenia neurona”

• ulepszenie – pula neuronów KANDYDUJĄCYCH

• każdy o innych losowych początkowych wagach

• każdy może mieć inną funkcję aktywacji

• Korzyści:– zmniejsza szansę na zamontowanie do sieci „bezużytecznego”

neurony (który „utknie” podczas trenowania)– możliwość obliczeń równoległych podczas szkolenia neuronów

kandydujących (neurony te nie wymieniają między sobą informacji, ani nie mają wpływu na całą sieć)

Problem „dwóch spiral”

• zaproponowany przez Alexis’a Wieland’a (MITRE Corp.)• 198 XY, spirala oplatająca środek 3 razy• Wieland, zmodyfikowana wersja backprop’a: 150,000 –

200,000 epok• Lang i Witbrock,

– 2-5-5-5-1, dodatkowe połączenia między różnymi warstwami (nie tylko od tej bezpośrednio poprzedzającej): zwykły backprop – 20,000 epok, backprop ze zmodyfikowaną funkcją błędu – 12,000 epok, quickprop – 8000 epok

– 2-5-5-1, quickprop – 60,000 epok

• Kaskadowa Korelacja (sigmoidalna funkcja aktywacji), 12-19 neuronów ukrytych – średnio 1700 epok

Problem „dwóch spiral”

Problem „dwóch spiral”

Problem „dwóch spiral”

Bibliografia

• ‘The Cascade-Correlation Learning Architecture’ Scott E. Fahlman and Christian Lebiere, 29.07.1991, CMU-CS-90-100

• ‘The Cascade-Correlation Neural Network Growing Algorithm using the Matlab Enviroment’ Jose Demisio Simoes da Silva

• ‘En Evolving Cascade Neural Network Technique for Cleaning Sleep Electroencephalograms’, Computer Science Department, University of Exeter