Elektroniczne systemy percepcji Elektroniczne systemy percepcji otoczenia dla niewidomychotoczenia dla niewidomych

Paweł Strumiłło, Paweł Pełczy�skiPaweł Strumiłło, Paweł Pełczy�ski

Instytut ElektronikiInstytut ElektronikiPolitechniki ŁódzkiejPolitechniki Łódzkiej

22

Zmysły człowiekaZmysły człowieka

�� wzrok (wzrok (8080--90% informacji o otoczeniu)90% informacji o otoczeniu)�� słuchsłuch�� dotykdotyk�� w�chw�ch�� smaksmak

Muzeum Cluny, Pary�Muzeum Cluny, Pary�

33

�� wzrok (80wzrok (80--90% informacji o otoczeniu)90% informacji o otoczeniu)

Zmysły człowiekaZmysły człowieka

44

�� wzrokwzrok�� słuchsłuch�� dotykdotyk�� w�chw�ch�� smaksmak

Kora słuchowa

Kora wzrokowa

� W. Duch

Zmysły człowiekaZmysły człowieka

55

�� wzrok (80wzrok (80--90% informacji o otoczeniu)90% informacji o otoczeniu)�� słuchsłuch�� dotykdotyk�� w�chw�ch�� smaksmak

Zmysły człowiekaZmysły człowieka

66

Muzeum Cluny, Pary�Muzeum Cluny, Pary�

�� wzrok (80wzrok (80--90% informacji o otoczeniu)90% informacji o otoczeniu)�� słuchsłuch�� dotykdotyk�� w�chw�ch�� smaksmak

Zmysły człowiekaZmysły człowieka

77

Muzeum Cluny, Pary�Muzeum Cluny, Pary�

6 zmysł płci pi�knej6 zmysł płci pi�knej

The Lady and the Unicorn Tapestry: The Lady and the Unicorn Tapestry: ""To My Only DesireTo My Only Desire" "

88

Zmysł wzrokuZmysł wzroku

W korze wzrokowej s� rozpoznawane:

kkss�������� aałł��������yy, , kkoolloorryy,oraz

ruchruch, , poło�eniepoło�enie ii odległo��odległo��siatkówka

125××××106 receptorów

99

Widzenie stereoskopoweWidzenie stereoskopowepostrzeganie odległo�cipostrzeganie odległo�ci

K�t zbie�no�ci gałek ocznychK�t zbie�no�ci gałek ocznych DysparycjaDysparycja w widzeniu obuocznym w widzeniu obuocznym

~10 m

1010

Postrzeganie odległo�ciPostrzeganie odległo�ciruchruch

1111

Postrzeganie odległo�ciPostrzeganie odległo�ciruchruch

1212

Postrzeganie odległo�ciPostrzeganie odległo�cizłudzenia optycznezłudzenia optyczne

Znaczenie kolorów w Znaczenie kolorów w postrzeganiu odległo�cipostrzeganiu odległo�ci

A A B B

Znaczenie perspektywy Znaczenie perspektywy w postrzeganiu odległo�ciw postrzeganiu odległo�ci

1313

Postrzeganie odległo�ciPostrzeganie odległo�cizłudzenia optycznezłudzenia optyczne

� Denis Meredith

1414

Wady, choroby i uszkodzenia wzrokuWady, choroby i uszkodzenia wzroku

Wady:Wady:

krótkowzroczno��nadwzroczno�� astygmatyzm Daltonizm zez

Choroby:Choroby:

za�majaskrazapalenie (zanik) nerwu wzrokowego zwyrodnienia siatkówki

1515

Choroby wzrokuChoroby wzroku((choroba zwyrodnieniowa plamki �ółtej)choroba zwyrodnieniowa plamki �ółtej)

��OpticaldiagnosticsOpticaldiagnostics

�������� � � ��� � � � �� � � �� � � � � � � � � � � ��� � ���� ��

1616

Niewidomi i Niewidomi i słabowidz�cysłabowidz�cy w liczbachw liczbach

W Polsce według publikacji Głównego Urz�du Statystycznego z 1995 r. - 507 tys. osób ma znacznie osłabiony wzrok.

Szacuje si�, �e w USA liczba osób niepełnosprawnych wzrokowo wzro�nie do 5 milinów!

Narastaj�cy problem społeczny

Narastaj�cy Narastaj�cy problem społecznyproblem społeczny

1717

Nowe metody leczenia (inwazyjne)Nowe metody leczenia (inwazyjne)

�� Terapia genowaTerapia genowa ––wcze�niejsza diagnozawcze�niejsza diagnozai terapia dziedzicznych chorób i terapia dziedzicznych chorób oczu (np. zwyrodnienie oczu (np. zwyrodnienie plamki �ółtej)plamki �ółtej)

�� Protezy elektroniczneProtezy elektronicznesiatkówkisiatkówki

�� Stymulacja kory wzrokowejStymulacja kory wzrokowej

���� � �� � ��� � �� � � � � �� � ��! � � �� � "�� � # � � �$ % ����� � � � �

2mm

1818

Stymulacja kory wzrokowejStymulacja kory wzrokowej

1919

Systemy wspomagaj�ce niewidomych Systemy wspomagaj�ce niewidomych w percepcji otoczeniaw percepcji otoczenia

�� wzrok (80wzrok (80--90% informacji o otoczeniu)90% informacji o otoczeniu)�� słuchsłuch�� dotykdotyk�� w�chw�ch�� smaksmak

Pismo Braille

����Natural History Museum

2020

Systemy wspomagaj�ce niewidomych Systemy wspomagaj�ce niewidomych w samodzielnym poruszaniu si�w samodzielnym poruszaniu si�

28000 POI w Polsce(ang. Points of Interest)

Nawigacja w Nawigacja w terenie (GPS)terenie (GPS)

55--10 m10 m

PercepcjaPercepcjaotoczeniaotoczenia

100 m!100 m!

Dokładno��: decymetry

33--5 m5 m

Detekcja przeszkódi rozpoznawanie sceny

2121

Systemy wspomagaj�ce niewidomych Systemy wspomagaj�ce niewidomych w samodzielnym poruszaniu si�w samodzielnym poruszaniu si�

System elektronicznych znaczników reprezentuj�cych obiektySystem elektronicznych znaczników reprezentuj�cych obiekty(RFID, (RFID, BerkeleyBerkeley motesmotes) )

RF

2222

Systemy wspomagaj�ce niewidomych Systemy wspomagaj�ce niewidomych w samodzielnym poruszaniu si�w samodzielnym poruszaniu si�

Laska ultrad�wi�kowa(UltracaneTM)

LasercaneTM

2323

Systemy wspomagaj�ce niewidomych Systemy wspomagaj�ce niewidomych w samodzielnym poruszaniu si�w samodzielnym poruszaniu si�

Kod d�wi�kowy:Kod d�wi�kowy:

•• wysoko�� tonu wysoko�� tonu –– poło�enie obiektupoło�enie obiektu

•• gło�no�� gło�no�� –– jasno�� obiektujasno�� obiektuw obrazie w obrazie

słuchsłuch

2424

Systemy wspomagaj�ce niewidomych Systemy wspomagaj�ce niewidomych w samodzielnym poruszaniu si�w samodzielnym poruszaniu si�

Punkty emituj�wirtualne �ródła d�wi�ku

2525

Idea prezentacji d�wi�kowej otoczeniaIdea prezentacji d�wi�kowej otoczenia

Postrzeganie wirtualnych �ródeł d�wi�ku, Postrzeganie wirtualnych �ródeł d�wi�ku, poł�czonych rzeczywistymi obiektamipoł�czonych rzeczywistymi obiektami

2626

Przestrzennaprezentacjad�wi�kowa

Ud�wi�kowienie obiektów

z otoczenia

Wytworzenie obrazu

trójwymiarowego

System d�wi�kowej prezentacji System d�wi�kowej prezentacji otoczenia dla osób niewidomychotoczenia dla osób niewidomych

2727

( )Zx

X −= λλ

1

( )Zy

Y −= λλ

1

12 xxB

Z−

−= λλ

Idea rekonstrukcji sceny z Idea rekonstrukcji sceny z zastosowaniem stereoskopiizastosowaniem stereoskopii

��������

����

� ����������

xy

�������

y

�������

(x2,y2)

x

(x1,y1)

2828

Poszukiwanie odpowiadaj�cych sobie punktów Poszukiwanie odpowiadaj�cych sobie punktów w obrazach stereoskopowychw obrazach stereoskopowych

ddysparycjadysparycja

2929

Przetwarzanie obrazów Przetwarzanie obrazów stereowizyjnychstereowizyjnych

Wytworzenie obrazu

trójwymiarowego

Obraz lewyObraz lewy Obraz prawyObraz prawy

Obraz dysparycjiObraz dysparycjiw w pseudokolorachpseudokolorach

Wydzielone Wydzielone najbli�sze obiektynajbli�sze obiekty

3030

Przetworzenie obrazu dysparycji na Przetworzenie obrazu dysparycji na system d�wi�kówsystem d�wi�ków

Wej�ciowy obraz dysparycji po filtracji

Segmentacja wydzielaj�ca z obrazu najbli�sze obiekty

Przypisanie sygnałów d�wi�kowych do otrzymanych segmentów

3131

Hipotezy badawczeHipotezy badawcze

� Obiekty przestrzenne mo�na kodowa� strumieniami d�wi�kowymi

� Cechy pojedynczego obiektu mo�na kodowa� cechami wielocz�stotliwo�ciowego strumienia d�wi�kowego (podobnie jak w mowie ludzkiej)

� Obiekty d�wi�kowe (ich ruch) mo�na lokalizowa� w przestrzeni wykorzystuj�c charakterystyki HRTF (ang. Head Related Transfer Functions), efekt 3D audio

3232

Hipotezy badawczeHipotezy badawcze

P. Pełczy�ski

3333

System System stereowizyjnystereowizyjny

Kamery cyfrowe doł�czone do komputera poprzez interfejs IEEE-1394

Głowica do kalibracji kamer

3434

Realizatorzy projektuRealizatorzy projektu

Zakład Elektroniki MedycznejZakład Elektroniki MedycznejZakład Układów Elektronicznych i TermografiiZakład Układów Elektronicznych i Termografii

we współpracy z:we współpracy z:

łódzkim odziałem Polskiego Zwi�zku Niewidomychłódzkim odziałem Polskiego Zwi�zku Niewidomych

orazoraz

O�rodkiem SzkolnoO�rodkiem Szkolno--Wychowawczym Wychowawczym dla Dzieci Słabo Widz�cych w Łodzidla Dzieci Słabo Widz�cych w Łodzi

3535

Podzi�kowaniaPodzi�kowania

Prezentowane prace s� realizowane w ramach Prezentowane prace s� realizowane w ramach projektu badawczego Ministerstwa Nauki projektu badawczego Ministerstwa Nauki i Informatyzacji pt.:i Informatyzacji pt.:

„„Zintegrowany system wspomagaj�cy Zintegrowany system wspomagaj�cy osob� niewidom�, z d�wi�kowym osob� niewidom�, z d�wi�kowym

interfejsem u�ytkownikainterfejsem u�ytkownika””