Przetwarzanie informacji wizyjnej w komputerowym systemie z mobilną głowicą stereowizyjną
description
Transcript of Przetwarzanie informacji wizyjnej w komputerowym systemie z mobilną głowicą stereowizyjną
Krynica 2001
Przetwarzanie informacji wizyjnejPrzetwarzanie informacji wizyjnejw komputerowym systemiew komputerowym systemiez mobilną głowicą stereowizyjnąz mobilną głowicą stereowizyjną
Krzysztof Skabek, Przemysław KowalskiKrzysztof Skabek, Przemysław Kowalski
Instytut Informatyki Teoretycznej i Stosowanej PAN,Instytut Informatyki Teoretycznej i Stosowanej PAN,ul. Bałtycka 5, 44-100 Gliwiceul. Bałtycka 5, 44-100 Gliwicee-mail: e-mail: [email protected]@iitis.gliwice.pl
Plan wystąpieniaPlan wystąpienia
1. Platforma badawcza
2. Sterowanie platformą wizyjną
3. Zagadnienia stereowidzenia
4. Etapy rekonstrukcji sceny 3D
5. Reprezentacja grafowa sceny przestrzennej
6. Podsumowanie
Platforma badawczaPlatforma badawcza
Pięć stopni swobody platformy
Obserwowana scena 3D
Głowica stereowizyjna osadzona wysięgniku
pojazdu gąsiennicowego
Cel:Cel:
Pozyskanie kompletnej reprezentacji przestrzennej obserwowanej sceny na postawie obrazów
stereowizyjnych z różnych punktów widokowych.
Brak informacji a priori o obiektach sceny.
Nieznajomość dokładnego położenia obserwatora względem sceny.
Ramka BNETRamka BNET
......
Nr ramki(2 bity)
Kod polecenia(6 bitów)
Adres(1 bajt)
Dane Suma kontrolna(2 bajty)
Polecenie Ilość danych
SetExt 4 bajty
BasRun 33 bajty
BasErr 1 bajt
BasStat 3 bajty
Model perspektywiczny kameryModel perspektywiczny kamery – płaszczyzna obrazu
O – środek rzutowania
f – długość ogniskowej
P = [X,Y,Z]T – punkt w
przestrzeni
p = [x,y,z]T – punkt na
płaszczyźnie obrazu
Przekształcenie perspektywiczne
fzZ
Yfy
Z
Xfx ;;
Układy odniesieniaUkłady odniesienia
Globalny układ odniesienia
Układ odniesienia kamery
Układ odniesienia obrazu
Parametry kameryParametry kamery
Parametry zewnętrznedefiniują położenie i orientację ukł. odniesienia kamery w stosunku do globalnego ukł. odniesienia
Parametry wewnętrznekonieczne do powiązania pikselowych współrzędnych punktu obrazu ze współrzędnymi w układzie odniesienia kamery
Zewnętrzne parametry kameryZewnętrzne parametry kamery T – wektor translacji 3D opisująca względne
położenie środków dwóch układów współrzędnych R – macierz obrotu 3×3, ortogonalna, powoduje
nałożenie odpowiadających sobie osi układów współrzędnych
Relacja pomiędzy współrzędnymi punktu P w układzie globalnym Pw i w układzie kamery Pk
Pk = R(Pw –T)
Rekonstrukcja stereoRekonstrukcja stereo T – odległość pomiędzy
środkami rzutowania Ol i Or; linia bazowa
xl, xr – współrzędne na
obrazie punktów pl i pr względem punktów osi cl i cr
f – wspólna długość ogniskowej
Z – odległość pomiędzy punktem P a linią bazową
Położenie punktu P w systemie stereo:
, gdzie d = xr – xld
TfZ
Parametry systemu stereoParametry systemu stereo Parametry zewnętrzne
opisują względną pozycję i orientację dwóch kamer
T – odległość między środkami rzutowania
R – macierz rotacji pomiędzy układami odniesienia kamer
f – wspólna długość ogniskowej
Parametry wewnętrzneTakie same jak w przypadku pojedynczej kamery
Kalibracja systemu stereo to proces wyznaczania jego parametrów wewnętrznych i zewnętrznych
Etapy rekonstrukcji sceny 3DEtapy rekonstrukcji sceny 3D
G łow icas te reoskopow a
Pobranie w idoku sceny
Stereopara obrazów rastrowych
Segm entacja,Tworzenie m apy głębi
Stereogramsceny
Graf ścian z powią-zaniam i regułowym i Pozyskanie relacji
pom iędzy ścianam i,Analiza w łasności ścian
Kom pletny grafścian
TAK
Scalanie grafów ścian na podstawie reguł i param etrów przesunięcia
Czyuzyskano kom pletną
reprezentację 3D
NIE
Graf konturowystereogram u
Tworzenie grafu konturu,Ekstrakcja regionów
Grafowa reprezentacja sceny 3DGrafowa reprezentacja sceny 3DGraf konturuGraf konturu: :
Graf ścianGraf ścian::
CCCCC EVG ,,,
FFFFF EVG ,,,
CV
CCC VVE
CC VVCC LLV ,:
CECC LV :
- zbiór wierzchołków w sceniezbiór wierzchołków w scenie- zbiór krawędzi pomiędzy wierzchołkamizbiór krawędzi pomiędzy wierzchołkami- współrzędne współrzędne (x,y,z)(x,y,z) wierzchołków wierzchołków
- zbiór ścian w sceniezbiór ścian w scenie- zbiór połączeń pomiędzy ścianamizbiór połączeń pomiędzy ścianami- parametry opisu ścianyparametry opisu ściany- parametry połączeń pomiędzy ścianamiparametry połączeń pomiędzy ścianami
FV
FFF VVE
FF VVFF LLV ,:
FF EEFF LLV ,:
Tworzenie grafu konturu i grafu ścianTworzenie grafu konturu i grafu ścian
0 . 03 3
0 . 0
0 . 0 0 . 0
4 4
4
Graf konturuGraf konturu
Graf ścianGraf ścian
1
2
3
4
1
2
3
4
5
6
7
Przetwarzanie informacji wizyjnejPrzetwarzanie informacji wizyjnej
Algorytmy segmentacji,wyodrębniania krawędzi, wierzchołków: metoda Susan
Pasowanie stereo-par obrazów, wyznaczanie mapy głebii: metoda konturów aktywnych
Scalanie grafów struktury:Scalanie grafów struktury:wyszukiwanie subizomorfizmów w grafach
Wyznaczanie następnego punktu widokowego: Wyznaczanie następnego punktu widokowego: pprzyjęcie strategii nawigacji