Janusz A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

20
EE141 1 Janusz A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie Percepcja i uwaga Percepcja i uwaga W oparciu o wykład Prof. Randall O'Reilly University of Colorado oraz Prof. Włodzisława Ducha Uniwersytet Mikołaja Kopernika

description

Percepcja i uwaga. W oparciu o wykład Prof. Randall O'Reilly University of Colorado oraz Prof. Włodzisława Ducha Uniwersytet Mikołaja Kopernika. Janusz A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie. - PowerPoint PPT Presentation

Transcript of Janusz A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

Page 1: Janusz A. Starzyk  Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE1411

Janusz A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

Percepcja i uwagaPercepcja i uwaga

W oparciu o wykład Prof. Randall O'Reilly University of Colorado oraz Prof. Włodzisława DuchaUniwersytet Mikołaja Kopernika

Page 2: Janusz A. Starzyk  Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE1412

MotywacjeMotywacjePercepcja jest stosunkowo najłatwiejsza do zrozumienia chociaż na wiele szczegółowych pytań nie ma jasnych odpowiedzi.

Pytania ogólne:

Dlaczego pierwotna kora wzrokowa reaguje na zorientowane krawędzie?

Dlaczego układ wzrokowy rozdziela informacje na szlak grzbietowy związany z działaniem i określaniem miejsca, i szlak brzuszny, związany z rozpoznawaniem obiektów?

Dlaczego uszkodzenia kory ciemieniowej prowadzą do zaburzeń orientacji przestrzennej i uwagi?

W jaki sposób rozpoznajemy obiekty w różnych miejscach, orientacji, odległości, przy różnych rzutach obrazu na siatkówkę?

Page 3: Janusz A. Starzyk  Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE1413

System wzrokowySystem wzrokowy

Organizacja hierarchiczna zaczyna się w siatkówce, przechodzi przez ciało kolankowate boczne (część wzgórza), docierając do pierwotnej kory wzrokowej V1, skąd rozsyłana jest dalej.

Wzrok u zwierząt różnego gatunku realizowany jest na wiele sposobów: ślimak ma komórki światłoczułe bez soczewek, owady złożone oko i 10-30.000 heksagonalnych fasetek, ssaki mają oko z siatkówką i soczewką, człowiek ok 120M receptorów.

Page 4: Janusz A. Starzyk  Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE1414

Szlaki wzrokoweSzlaki wzrokoweSzlaki wzrokowe: siatkówka => ciało kolankowate boczne wzgórza (LGN) => promienistość wzrokowa => obszar pierwotnej kory V1 => wyższe piętra układu wzrokowego => obszary kojarzeniowe i wielomodalne.

Kora obszaru V1, zwana jest również korą prążkowaną (białe paski na szarym tle, aksony promienistości wzrokowej kończące się w warstwie 4).

Komórki V1 zorganizowane są w kolumny dominacji dwuocznej i kolumny orientacyjne, retinotopicznie. Proste komórki warstwy 4 reagują na paski o określonym nachyleniu, kontrastowe krawędzie, pobudzenia z jednego oka. Znaczna część środkowego obszaru V1 reaguje na sygnały z okolic plamki żółtej (dołka środkowego) oka, gdzie gęstość receptorów jest największa.

Page 5: Janusz A. Starzyk  Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE1415

WzrokWzrok

Z siatkówki przez ciało kolankowate boczne (część wzgórza) informacja trafia do pierwotnej kory wzrokowej V1 i stamtąd wędruje

dwiema drogami.

Page 6: Janusz A. Starzyk  Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE1416

SiatkówkaSiatkówka Siatkówka nie jest pasywną kamera rejestrującą obrazy. Kluczowa zasada: wzmacnianie kontrastów podkreślających zmiany

w przestrzeni i czasie, wzmacnianie krawędzi, jednolicie oświetlone obszary są mniej istotne.

Fotoreceptory w czopkach i pręcikach, 3-warstwowa sieć, komórki zwojowe =>LGN.

Pole recepcyjne: obszar, który pobudza daną komórkę. Kombinacja sygnałów w siatkówce daje pola recepcyjne typu centrum-otoczka (on-center) i odwrotnie, wykrywa krawędzie. Każde z pól indywidualnych komórek można modelować Gaussem, więc takie pola otrzymuje się jako różnicę (DOG).

Page 7: Janusz A. Starzyk  Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE1417

Ciało kolankowate boczneCiało kolankowate boczne Kompresja sygnału – częściowo już w siatkówce. Informacje różnego typu trafiają do różnych warstw LGN. Stacja pośrednia – wszystkie sygnały zmysłowe (oprócz węchowych)

przechodzą przez różne jądra wzgórza. Dynamiczne przetwarzanie informacji: sterowanie uwagą i szybki

wielkokomórkowy szlak reagujący na ruch. Wsteczne projekcje V1=>LGN są o rząd wielkości bardziej liczne niż

LGN=>V1 (rola - przewidywanie).

Konkurencyjna dynamika wybiera sygnały z pola wzrokowego, zwłaszcza dotyczące ruchu.

Steruje ruchem gałki ocznej przez połączenia z wzgórkami czworaczymi.

Page 8: Janusz A. Starzyk  Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE1418

Detektory krawędzi Detektory krawędzi Sygnały punktowo kontrastowe z LGN kora V1 organizuje w zorientowane pod określonym kątem detektory krawędzi.

Proste komórki V1 łączą się w detektory krawędzi, pozwalając określić kształty, inne komórki reagują na kolor i rodzaj powierzchni (teksturę).

Własności detektorów krawędzi: różna orientacja; wysoka częstość = szybkie zmiany, drobne paski;

niska częstość = łagodne zmiany, szerokie paski;

polaryzacja = ciemne-jasne lub vv, ciemne-jasne-ciemne lub vv.

Page 9: Janusz A. Starzyk  Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE1419

Reprezentacja w korze V1Reprezentacja w korze V1

Zorientowane detektory krawędzi mogą się utworzyć przez korelacyjne

uczenie się za pomocą Hebbowskich w oparciu o naturalne sceny.

Co dzieje się z informacją o kolorze, teksturach, ruchu?

Page 10: Janusz A. Starzyk  Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE14110

Problem Rozpoznawania ObrazówProblem Rozpoznawania Obrazów•W jaki sposób tworzą się pola

recepcyjne? •Dlaczego kora mózgowa koduje

zorientowane paski światła?Uczenie poprzez korelacje w

oparciu o naturalne sceny

•Jak rozpoznajemy obiekty? W rożnych lokalizacjach,

rozmiarach, obrotach, i

obrazach na siatkówce

•Dlaczego system wizyjny rozdziela

się na strumienie gdzie/co?

Niezmienniczość przestrzenna (spatial invariance) jest trudna, bo różne znaki zajmują częściowo te same pola recepcyjne, a te same znaki w różnych miejscach siatkówki obrócone lub innej wielkości wcale się nie pokrywają.

Page 11: Janusz A. Starzyk  Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE14111

Rozpoznawanie Rozpoznawanie Skąd niezmienniczość?

Szkic 3D na podstawie rzutów 2D,

pamiętana jest tylko jedna

reprezentacja 3D (Marr 1982).

Podejście syntaktyczne: składaj

całość z kawałków modelu.

Wariant (Hinton 1981): szukaj transformacji (przesunięcia, skalowania,

obrotu), dopasuj do kanonicznej reprezentacji w pamięci.

Problem: wiele obiektów 2D może dać różne obiekty 3D; trudno jest

dopasować obiekty bo przestrzeń szukania fragmentów i łączenia ich

w całość jest zbyt wielka – czy naprawdę pamiętamy obiekty 3D?

Page 12: Janusz A. Starzyk  Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE14112

Stopniowe transformacjeStopniowe transformacjeW mózgu niezmienniczość względem obrotów jest mocno ograniczona – np. rozpoznawanie obróconych twarzy.

Ograniczoną niezmienniczość rozpoznawania obiektów można uzyskać dzięki stopniowym hierarchicznym równoległym transformacjom, zwiększającym niezmienniczość i tworzącym coraz bardziej złożone cechy rozproszonych reprezentacji.

Cel: nie 3D, ale zachować wystarczająco dużo szczegółów by dało się rozpoznać obiekty w niezmienniczy sposób po transformacjach.

•Map seeking circuits in visual cognition (D. W. Arathorn, 2002 )

Page 13: Janusz A. Starzyk  Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE14113

“Gdzie to jest" = szlak wielkokomórkowy, zmierzający do płata ciemieniowego.

„Co widzimy" = szlak drobnokomórkowy zmierzający do płata skroniowego (IT).

Dwa strumienieDwa strumienie gdziegdzie?/co??/co?

Page 14: Janusz A. Starzyk  Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE14114

Szlak grzbietowySzlak grzbietowy

Szlak wielkokomórkowy: przez płat potyliczny szlakiem grzebietowym do kory ciemieniowej. Dochodzi do warstwy 4B w V1, stąd do grubych ciemnych pasków obszaru V2, analizuje informację o ruchu obiektu.

W V1, warstwa 4B => V5, lokalizacja w polu widzenia, ruch.

V5 pobudza płat ciemieniowy, PPC (tylna kora ciemieniowa), obszar 7 i 5; umożliwia to orientację przestrzenną, postrzeganie głębi i ruchu, połączenie z wzgórkami czworaczymi (orientacja oczu).

Page 15: Janusz A. Starzyk  Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE14115

Szlak brzusznySzlak brzuszny

Szlak drobnokomórkowy: szlak brzuszny, do kory dolnoskroniowej.

V1 => V2 obszar międzyplamkowy, reaguje na orientację linii, daje dużą ostrość widzenia, bez koloru. V1 => V3 obszar plamkowy, reaguje na kształty, reakcja na kolor w neuronach w ciemnych prążkach V3. V2 => V4, główny obszar analizy koloru, informacja dochodzi do kory dolnoskroniowej (IT). Obszar IT w płacie dolnoskroniowym ma neurony reagujące na złożone obiekty.

Page 16: Janusz A. Starzyk  Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE14116

Lezje szlaku grzbietowegoLezje szlaku grzbietowegoLezje kory ciemieniowej wpływają silnie na mechanizmy uwagi i orientacji przestrzennej, rozległe lezje w jednej półkuli prowadzą do jednostronnego zaniedbania, niezdolności wyobrażenia (skupienia uwagi) na przeciwległej do lezji części przestrzeni.

Dla niewielkich lezji jednostronnych widać wyraźne spowolnienie przeniesienia uwagi do miejsca po przeciwległej stronie. Dla rozległych przeniesienie uwagi nie jest możliwe.

Lezje dwustronne prowadzą do zespołu Balinta, trudności w precyzyjnym kierowaniu ręką za pomocą wzroku, symultanagnozji; różnice pomiędzy czasami przeniesienia uwagi w eksperymencie Posnera są niewielkie.

Posner twierdził, że to wynik przykucia uwagi, niezdolności do oderwania ale nie podał mechanizmu odrywania, następuje ono po skupieniu uwagi gdzie indziej – lepszy model zakłada zwykłą konkurencję.

Page 17: Janusz A. Starzyk  Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE14117

Uwaga Przestrzenna: Uwaga Przestrzenna: Jednostronne ZaniechanieJednostronne Zaniechanie

Autoportret

Pacjenci z uszkodzeniami rozpoznania przestrzenno- czasowego zapominają o polowie przestrzeni mimo ze ja widza

Page 18: Janusz A. Starzyk  Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE14118

Uwaga Przestrzenna: Uwaga Przestrzenna: Jednostronne ZaniechanieJednostronne Zaniechanie

Zadanie przekreslania linii poziomych

Kopiowanie rysunkow

Page 19: Janusz A. Starzyk  Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE14119

PodsumowaniePodsumowanieEfekty uwagi pojawiają się naturalnie w modelu jako wynik konkurencji

przez hamowanie, wzajemnych połączeń, konieczności kompromisów.

Podobne efekty widać w różnych mechanizmach korowych.

Niektóre mechanizmy psychologiczne (zwalnianie uwagi) okazują się

niepotrzebne.

Efekty związane z uwagą dostarczają szczegółowych informacji

pozwalających na dostrojenie modeli do wyników eksperymentów i

użycie tych modeli do innych przewidywań; jest też sporo

neurofizjologicznych danych dotyczących uwagi.

Ograniczenia tego modelu:

brak efektów związanych ze wzgórzem (praca Wager, O’Reilly),

zbyt prosta reprezentacja obiektów (jedna cecha).

Page 20: Janusz A. Starzyk  Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE14120

Parę odpowiedziParę odpowiedzi Dlaczego pierwotna kora wzrokowa reaguje na zorientowane

krawędzie? Bo uczenie korelacyjne w naturalnym środowisku prowadzi do tego typu detektorów.

Dlaczego układ wzrokowy rozdziela informacje na szlak grzbietowy i szlak brzuszny? Bo transformacje sygnału wydobywają jakościowo różne informacje, wzmacniając jedne kontrasty a zmniejszając inne.

Dlaczego uszkodzenia kory ciemieniowej prowadzą do zaburzeń orientacji przestrzennej i uwagi (zaniedbanie)? Bo uwaga jest emergentną własnością systemów z konkurencją.

W jaki sposób rozpoznajemy obiekty w różnych miejscach, orientacji, odległości, przy różnych rzutach obrazu na siatkówkę? Dzięki transformacjom, które tworzą rozproszone reprezentacje w oparciu o cechy o coraz większej złożoności i niezmienniczości przestrzennej.