vOICe – to see… …with your ears…

vOICe – to see… …with your ears…

Łukasz Trzciał[email protected]

2007-10-30

Łukasz Trzciałkowski 2

Zmysł słuchu…

• …to zmysł umożliwiający odbieranie (percepcję) fal dźwiękowych.

• Jest on wykorzystywany przez organizmy żywe do komunikacji oraz rozpoznawania otoczenia.

• Narządami słuchu u człowieka są uszy:– Narządy odbierające fale dźwiękowe

i przekształcające je w drgania mechaniczne,a następnie w impulsy nerwowe.


Ucho - budowa• 1 - czaszka • 2 - przewód słuchowy zewnętrzny • 3 - małżowina uszna • 4 - błona bębenkowa • 5 - okienko owalne • 6 - młoteczek • 7 - kowadełko • 8 - strzemiączko • 9 - kanał półkolisty • 10 - ślimak • 11 - nerw słuchowy • 12 - trąbka Eustachiusza


Na czym polega słyszenie ?

• Ucho zewnętrzne – małżowina, przewód słuchowy i błona bębenkowa – gromadzi fale dźwiękowe z otoczenia (powietrze).

• Ucho środkowe – młoteczek, kowadełko strzemiączko – błona powodują przeniesienie drgań przez ucho środkowe aż do ucha wewnętrznego (powietrze).

• Ucho wewnętrzne - błona podstawna, komórki słuchowe – reagują na różne tony i przetwarzają je na impulsy elektryczne (ciecz)


Zmysł wzroku…

• …–zmysł umożliwiający odbieranie bodźców świetlnych ze środowiska oraz ogół czynności związanych z analizą tych bodźców.

• Narządem wyspecjalizowanym do rejestrowania obrazu jest oko. – rozpoznawanie kształtów, – ocena odległości obiektów od oka, – rozróżnianie barw.


Oko - budowa


Na czym polega widzenie ?

• Ludzkie oko można z grubsza przyrównać do aparatu fotograficznego, którego obiektyw tworzą dwie soczewki plusowe – rogówka i soczewka. Jako system czuciowy, oko jest głównym narzędziem, dzięki któremu odnosimy się do otaczającego nas świata.

• To, co tak naprawdę widzimy to nie są obrazy odbite w siatkówce, lecz wynik ich kompleksowego przetwarzania przez ośrodkowy układ nerwowy.

• Obraz, który powstaje na siatkówce jest obrazem rzeczywistym, odwróconym i pomniejszonym.


Synestezja

• …zdolność, w której doświadczenia jednej modalności zmysłowej wywołują również doświadczenia, charakterystyczne dla innych modalnośći zmysłowych. – np. odbieranie niskich dźwięków wywołuje

wrażenie miękkości,– barwa niebieska odczuwana jest jako chłodna

• Niektóre osoby charakteryzują się szczególnym nasileniem tej zdolności. John Lennon.


Synestezja

• Istnieją dwie teorie tłumaczące owe zjawisko:– Jedna mówi, że istnieje więcej połączeń

synaptycznych pomiędzy neuronami przenoszacymi "zmysłowe informacje",

– a druga - że ilość połączeń synaptycznych jest taka sama, a mieszanie się odbieranych doswiadczeń wynika z tego iż zachwiana jest równowaga pomiędzy hamowaniem i wyciszaniem docierajacych impulsów w mózgu.


Co z niewidomymi ?

• • Jak „dźwięki” otaczającego świata mogą informować niewidomego ?

• Co pomaga niewidomym walczyć z kalectwem i „unormalniać” codzienne życie ?

• Czy istnieje rozwiązanie ?• Może implanty odbierające

bodźce wzrokowe ?


Implant oka

• Naukowcy z Uniwersytetu Stanford w Kaliforni przedstawili projekt implantu oka, który ma zająć miejsce światłoczułych komórek znajdujących się w siatkówce chorego oka. Inne implanty wykorzystują moduł, który przekształca światło w elektroniczne impulsy, które dochodzą do mózgu przez włókna nerwowe. Ten zaś działa inaczej. Będzie umieszczony w siatkówce i będzie zmieniał światło w substancje, stymulujące komórki nerwowe. Wykorzysta do tego elektrody. Implant będzie wykonany z polimerowego materiału, który jest przyjazny dla oka. Wciąż trwają prace badawcze nad implantem.


Czy każdy niewidomy jestsynestetą ?

• Odpowiedź brzmi NIE – raczej rzadko się to zdarza. Możnaby powiedzieć: „Wszyscy jesteśmy synestetami ale nieliczni z nas sobie to uświadamiają”

• Jednak wiele przypadków wskazuje na to iż słuch osoby niewidomej jest bardzo wyostrzony.

http://serwisy.gazeta.pl/kraj/1,34314,573764.html

– INTERNET i NIEWIDOMI

http://serwisy.gazeta.pl/kraj/1,34314,573764.html


The vOICe

• System wykorzystujący kamerę wideo do przetwarzanie zbieranych w czasie rzeczywistym obrazów generować dźwięki.

• Działanie systemu ma na celu umożliwienie osobom niewidomym powrót do „normalnego” życia. (oczywiście nadal w ograniczonym znaczeniu)


The vOICe


The vOICe

• Projekt ten stanowi również pewnego rodzaju ścieżkę do poznania właściwości ludzkiego mózgu – w kontekście uczenia się z wykorzystaniem zmysłu słuchu jako zmysłu bazowego.

• Istnieje przekonanie, że zmysł słuchu oraz pozostałe zmysły u osób niewidomych „wyostrzają się” i jest to proces naturalny – dlatego projekt vOICe – budzi tak wiele emocji i jest pozytywnie traktowany przez wiele organizacji z całego świata.


The vOICe – Learning Edition• The vOICe Learning Edition tłumaczy obrazy

pochodzące z kamery video na dźwięki. Co umożliwia widzenie za pomocą uszu, gdziekolwiek się znajdujemy. Używając notebooka albo PDA system stał się mobilny.

• W jakim stopniu osoba niewidoma może się nauczyć widzieć dzięki the Voice zależy tylko od niej, a przekonać się o sposobie działania może dzięki The vOICe Learning Edition dostępnej za darmo!

• Widzenie za pomocą dźwięku ma wiele praktycznych zastosowań ale nie tylko, prowadzi ono do „doświadczeń wizualnych” – mamy wrażenie że widzimy to co przedstawia kamera.


The vOICe

• Wykonane samodzielnie lub gotowe okulary do systemy The vOICe


The vOICe• Niektórzy niewidomi używają vOICe codziennie, pod

postacią specjalnych okularów by „widzieć” środowisko w jakim żyli zanim stracili wzrok, podczas gdy niewidomi od urodzenia maja możliwość po raz pierwszy doświadczyć czym może być widzenie.

• Niektórzy używają vOICe do odświeżenia wspomnień i doświadczeń dotyczących rzeczy które mogli obserwować dawniej.

• Inni stosują go do odczytywania wykresów, rysunków i grafów

• Niewidomi mogą przyłączyć się do grupy dyskusyjnej, oraz wysłuchać kilkunasto minutowych głosowych pokazów możliwości the vOICe prowadzonych przez niewidomego Jonathana Mosena, Pata Fletchera i innych.


Jak działa vOICe ?• Istnieją trzy metody skanowania obrazu• Left and Right – Obraz jest udźwiękawiany od lewej do

prawej, domyślnie 1 obraz na sekundę. Dźwięk jest stereofoniczny i przechodzi od lewego do prawego ucha by uwydatnić przestrzenność.

• Up and Down – Podczas każdego skanowania, pitch oznacza wznoszenie: wyższy pitch określa wysokość wzorca.

• Dark and Light – Głośność określa jaskrawość, im głośniejszy dźwięk tym jaśniejszy – cisza oznacza czerń.

• Innymi słowy, The vOICe skanuje każdą klatkę od lewej do prawej, dodatkowo uwydatniając obraz różnymi tonami oraz różną głośnością.


Referencje

1. http://gaia.oticon.pl/eprise/main/Oticon/PL_pl/SEC_AboutHearing/LearnAboutHearing/Products/SEC_Gaia/AboutHearing/HearingAndHearingLoss/REUSE02_HowTheEarWorks – Jak działa ucho ?

2. http://www.widzimisie.pl/index/section/233/0/0/jak+dzia+a+wzrok.html?Finlife=9b468ab51519e475bcec5d8f8f53e3cc– Jak działa wzrok ?

3. http://www.oko.info.pl/index.php?body=4301– Oko człowieka

4. http://www.seeingwithsound.com/- vOICe

5. http://pl.wikipedia.org/– Ogólne informacje

vOICe – to see… …with your ears…

Documents

Transcript of vOICe – to see… …with your ears…