Bezparametryczna metoda wyznaczania narożników przy

porównywaniu zdjęć stereograficznych

Marcin Luckner

Wydział Matematyki i Nauk InformacyjnychPolitechnika Warszawska

Geometria epipolarna

Cyganek 2009

Przykład zdjęcia stereo

Dopasowanie obrazów

• Identyfikacja punktów obrazów dla pomiarów w przestrzeni 3D

• Identyfikacja zgodnych cech obrazów dla rekonstrukcji powierzchni 3D

• Śledzenie ruchu w sekwencji obrazów

Strategia dopasowania obrazów

za Luhmann 2006

Obraz wejściowy

Obróbka wstępna

Ekstrakcja cech

Dopasowanie bazujące na cechach

Parametry orientacji

Progi

Wiedza, reguły

Kalibracja, orientacja

Piramida obrazów

Operatory detekcji

Relaksacja,programowanie dynamiczne, sieci neuronowe

Ekstrakcja obiektów

• Punkty (narożniki)• Krawędzie• Symbole

Założenia przy ekstrakcji obiektów

• Założenia dla sceny– Wspólne spektrum intensywności dla wszystkich

obrazów – Jednorodne oświetlenie

• Założenia dla powierzchni obiektów– Gładka– Niezmienna– Nieprzezroczysta

• Znany przybliżony opis obiektów i przestrzeni

Detekcja krawędzi

• Filtr Sobela• Binaryzacja

Detekcja punktów

Operatory detekcji

• Moravec (1977)• Harris / Plessey (1988)• SUSAN (1997)• Trajkovic and Hedley (1998)

Problemy dopasowywania

Dopasowanie punktu i na obrazie j do punktu na obrazie k

• Wykluczenie– Punkt Pij nie ma odpowiednika Pik

• Wieloznaczność– Wielu kandydatów Pik na odpowiednika punktu Pij

• Zakłócenia

Dopasowanie dla pary obrazów

Luhmann 2006

Dopasowanie dla wielu obrazów

Dopasowywanie jako zadanie klasyfikacyjne

• Dwie klasy – Para– Nie para

• Różnice cech z obu obrazów| FR-FL|– Położenie– Intensywność– Wartości operatorów detekcji

Operator MoravecDla każdego punktu obrazu wyznacza się wariancję dla

przesunięcia (u, v) jako:

Gdzie I jest funkcją intensywności, a i b są współrzędnymi rozpatrywanego okna, a rozpatrywane przesunięcia poziome u i pionowe v przyjmują wartości ze zbioru {-1, 0, 1}.

Wyznaczona wartość przez operatora - miara C(x,y) – określa czy dany punkt jest narożnikiem

Operator HarrisDla każdego piksela (x, y) oryginalnego obrazu wyliczana jest

macierz autokorelacji postaci:

gdzie:

I jest funkcją intensywności, jest operatorem splotu, w jest oknem Gaussowskim

Wyznaczona wartość przez operator - miara C(x,y)

Różnica między wyznacznikiem macierzy M, a kwadratem jej śladu, przemnożonym przez stałą k.

Porównanie parametrów

Operator Moravec• Rozmiar okna

• Próg• Rozmiar sąsiedztwa

Operator Harris• Rozmiar okna• Odchylenie standardowe• Stała k

• Próg• Rozmiar sąsiedztwa

Strategia ekstrakcji cech

Kalibracja operatorów

Harris Moravec

Test wykrywania narożników fasada

Harris Moravec

Test wykrywania narożników kamienie

Harris Moravec

Test wykrywania narożników pomnik

Harris Moravec

Testowe obrazy stereo

Porównanie dla obrazów stereo fasada

Porównanie dla obrazów stereo pomnik

Budowa wektora cechfasada

Budowa wektora cechpomnik

Budowa wektora cechkamienie

Dopasowanie na podstawie odległości

Dopasowanie na podstawie odległości - wyniki

Wnioski

• Praca na obrazie binarnym pozwala – Rozwiązać problem kalibracji danych– Zredukować liczbę wykrytych narożników– Zwiększyć liczbę wykrytych narożników– Wiedzie do zbieżności różnych metod względem

położenia punktów– Zbudować treściwy wektor cech dla dalszych prac

Bibliography• Luhmann, Robson, Kyle, Harley

– Close Range Photogrametry. Principles, Methods and Applications, Wiley 2006

• Goshtasby, Ardeshir– 2-D and 3-D image registration for medical, remote sensing, and

industrial applications , Wiley 2005• Hartley, Richard & Zisserman, Andrew

– Multiple view geometry in computer vision, Cambridge 2003• Cyganek, Boguslaw & Siebert, J. Paul

– An Introduction to 3D Computer Vision Techniques and Algorithms , Wiley 2009