1

Synteza Widoków Wirtualnych w

systemach Telewizji 3D

Seminarium Doktoranckie, czerwiec 2010

Krzysztof Wegner

Katedra Telekomunikacji Multimedialnej i Mikroelektroniki

Politechnika Poznańska

Tradycyjna Telewizja – pojedyńcza kamera Jedno miejsce obserwacji

Telewizja 3D – system wielu kamer Wiele miejsc obserwacji

2

Telewizja 3D

System wielo kamerowy System kamer – Politechnika Poznańska

3

4

Sekwencje wielowidokowe

Sekwencja składa się z wielu widoków zarejestrowanych z wielu miejsc w przestrzeni

5

Sekwencje wielowidokowe Standardowe wielowidokowe sekwencje testowe ISO/IEC MPEG 3DV – zbiór 14 sekwencji testowych 4 sekwencje nakręcone na Poliechnice Pozańskiej

Widok 3Widok 1 Widok 5

Poznań Street

6

Telewizja swobodnego punktu widzenia

Widz może wybrać z którego miejsca chce oglądać scenę.

Nie tylko z miejsca z którego fizycznie rejestrowaliśmy scenę

7

Mapy głębi Informacja o strukturze przestrzennej sceny

Im jaśniejszy kolor tym bliższy obiekt

8

Poznań Street

9

Poznań Street

10

Synteza widoku wirtualnego

Ma na celu stworzenie obrazu z wirtualnej kamery Na podstawie obrazów referencyjnych Renderowanie

11

Synteza widoku wirtualnego

1. Rekonstrukcja modelu w przestrzeni 3D obrazy referencyjne mapy głebi

12

Synteza widoku wirtualnego

2. Model w przestrzeni 3D poprawki modelu

13

Synteza widoku wirtualnego

3. Renderowanie nowego widoku rzutowanie modelu do nowego widoku

14

Synteza widoku wirtualnego

Problemy Nie dokładności w mapie głębi Różnice w oświetleniu Półprzeźroczystości Nawigowanie Czas syntezy

15

Czas Renderowanie – złożone obliczeniowo

Obliczenie pozycji w przestrzeni Każdy punkt opisany 7 liczbami

3 współrzędne 4 składowe koloru

Obliczenie położenia wymaga rozwiązania równania z macierzami 4x4

16

11

Z

Y

X

RAy

x

d

Czas - rozwiązanie Renderowanie

17

Renderowanie – Homografia

Czas - rozwiązanie Renderowanie – Homografia

Przesuwanie punktów Obliczenie położenia wymaga rozwiązania

równania z macierzami 3x3 (256 szczególnych przypadków)

18

11

Y

X

Hy

x

d

Czas - rozwiązanie Renderowanie – Homografia

Implementacja na karcie graficznej GPGPU Ogromne zrównoleglenie – specjalny

algorytm

19

Schemat zaproponowanego rozwiązania

20

Poznań Street - Rotacja

21

Poznań Street - Zoom

22

WynikiGPU – ATI Radeon Procek - Core

i7VSRS - Ref

Czas przetwarzania

25 fps – 40 ms 0.5 fps – 2s 0.25 fps – 4 s

23

Wyniki jakości subiektywnej – praca w toku

Dziękuje za uwagę Pytania?

24