Krynica 2001

Przetwarzanie informacji wizyjnejPrzetwarzanie informacji wizyjnejw komputerowym systemiew komputerowym systemiez mobilną głowicą stereowizyjnąz mobilną głowicą stereowizyjną

Krzysztof Skabek, Przemysław KowalskiKrzysztof Skabek, Przemysław Kowalski

Instytut Informatyki Teoretycznej i Stosowanej PAN,Instytut Informatyki Teoretycznej i Stosowanej PAN,ul. Bałtycka 5, 44-100 Gliwiceul. Bałtycka 5, 44-100 Gliwicee-mail: e-mail: krzysiek@iitis.gliwice.plkrzysiek@iitis.gliwice.pl

Plan wystąpieniaPlan wystąpienia

1. Platforma badawcza

2. Sterowanie platformą wizyjną

3. Zagadnienia stereowidzenia

4. Etapy rekonstrukcji sceny 3D

5. Reprezentacja grafowa sceny przestrzennej

6. Podsumowanie

Platforma badawczaPlatforma badawcza

Pięć stopni swobody platformy

Obserwowana scena 3D

Głowica stereowizyjna osadzona wysięgniku

pojazdu gąsiennicowego

Cel:Cel:

Pozyskanie kompletnej reprezentacji przestrzennej obserwowanej sceny na postawie obrazów

stereowizyjnych z różnych punktów widokowych.

Brak informacji a priori o obiektach sceny.

Nieznajomość dokładnego położenia obserwatora względem sceny.

Ramka BNETRamka BNET

......

Nr ramki(2 bity)

Kod polecenia(6 bitów)

Adres(1 bajt)

Dane Suma kontrolna(2 bajty)

Polecenie Ilość danych

SetExt 4 bajty

BasRun 33 bajty

BasErr 1 bajt

BasStat 3 bajty

Model perspektywiczny kameryModel perspektywiczny kamery – płaszczyzna obrazu

O – środek rzutowania

f – długość ogniskowej

P = [X,Y,Z]T – punkt w

przestrzeni

p = [x,y,z]T – punkt na

płaszczyźnie obrazu

Przekształcenie perspektywiczne

fzZ

Yfy

Z

Xfx ;;

Układy odniesieniaUkłady odniesienia

Globalny układ odniesienia

Układ odniesienia kamery

Układ odniesienia obrazu

Parametry kameryParametry kamery

Parametry zewnętrznedefiniują położenie i orientację ukł. odniesienia kamery w stosunku do globalnego ukł. odniesienia

Parametry wewnętrznekonieczne do powiązania pikselowych współrzędnych punktu obrazu ze współrzędnymi w układzie odniesienia kamery

Zewnętrzne parametry kameryZewnętrzne parametry kamery T – wektor translacji 3D opisująca względne

położenie środków dwóch układów współrzędnych R – macierz obrotu 3×3, ortogonalna, powoduje

nałożenie odpowiadających sobie osi układów współrzędnych

Relacja pomiędzy współrzędnymi punktu P w układzie globalnym Pw i w układzie kamery Pk

Pk = R(Pw –T)

Rekonstrukcja stereoRekonstrukcja stereo T – odległość pomiędzy

środkami rzutowania Ol i Or; linia bazowa

xl, xr – współrzędne na

obrazie punktów pl i pr względem punktów osi cl i cr

f – wspólna długość ogniskowej

Z – odległość pomiędzy punktem P a linią bazową

Położenie punktu P w systemie stereo:

, gdzie d = xr – xld

TfZ

Parametry systemu stereoParametry systemu stereo Parametry zewnętrzne

opisują względną pozycję i orientację dwóch kamer

T – odległość między środkami rzutowania

R – macierz rotacji pomiędzy układami odniesienia kamer

f – wspólna długość ogniskowej

Parametry wewnętrzneTakie same jak w przypadku pojedynczej kamery

Kalibracja systemu stereo to proces wyznaczania jego parametrów wewnętrznych i zewnętrznych

Etapy rekonstrukcji sceny 3DEtapy rekonstrukcji sceny 3D

G łow icas te reoskopow a

Pobranie w idoku sceny

Stereopara obrazów rastrowych

Segm entacja,Tworzenie m apy głębi

Stereogramsceny

Graf ścian z powią-zaniam i regułowym i Pozyskanie relacji

pom iędzy ścianam i,Analiza w łasności ścian

Kom pletny grafścian

TAK

Scalanie grafów ścian na podstawie reguł i param etrów przesunięcia

Czyuzyskano kom pletną

reprezentację 3D

NIE

Graf konturowystereogram u

Tworzenie grafu konturu,Ekstrakcja regionów

Grafowa reprezentacja sceny 3DGrafowa reprezentacja sceny 3DGraf konturuGraf konturu: :

Graf ścianGraf ścian::

CCCCC EVG ,,,

FFFFF EVG ,,,

CV

CCC VVE

CC VVCC LLV ,:

CECC LV :

- zbiór wierzchołków w sceniezbiór wierzchołków w scenie- zbiór krawędzi pomiędzy wierzchołkamizbiór krawędzi pomiędzy wierzchołkami- współrzędne współrzędne (x,y,z)(x,y,z) wierzchołków wierzchołków

- zbiór ścian w sceniezbiór ścian w scenie- zbiór połączeń pomiędzy ścianamizbiór połączeń pomiędzy ścianami- parametry opisu ścianyparametry opisu ściany- parametry połączeń pomiędzy ścianamiparametry połączeń pomiędzy ścianami

FV

FFF VVE

FF VVFF LLV ,:

FF EEFF LLV ,:

Tworzenie grafu konturu i grafu ścianTworzenie grafu konturu i grafu ścian

0 . 03 3

0 . 0

0 . 0 0 . 0

4 4

4

Graf konturuGraf konturu

Graf ścianGraf ścian

1

2

3

4

1

2

3

4

5

6

7

Przetwarzanie informacji wizyjnejPrzetwarzanie informacji wizyjnej

Algorytmy segmentacji,wyodrębniania krawędzi, wierzchołków: metoda Susan

Pasowanie stereo-par obrazów, wyznaczanie mapy głebii: metoda konturów aktywnych

Scalanie grafów struktury:Scalanie grafów struktury:wyszukiwanie subizomorfizmów w grafach

Wyznaczanie następnego punktu widokowego: Wyznaczanie następnego punktu widokowego: pprzyjęcie strategii nawigacji