1. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Detekcja, deskrypcja i dopasowanie cech punktowych na obrazach Politechnika Poznaska Instytut Automatyki i Inynierii Informatycznej 29 listopada 2013 Detekcja, deskrypcja i dopasowanie cech punktowych...

2. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Plan prezentacji Cel i motywacja 1 Wstp Plan prezentacji Cel i motywacja 2 Detektory cech Detektor cech Harrisa i Shi-Tomasi Detektor cech FAST Detektor cech SIFT Detektor cech SURF Detektor cech STAR Detektory cech BRISK i ORB 3 Deskryptory cech Deskryptor cech SIFT Rodzina deskryptorw SURF Deskryptor cech BRIEF Deskryptor cech ORB Deskryptor cech BRISK Deskryptor cech FREAK 4 Opis eksperymentu 5 Wyniki 6 Wnioski Detekcja, deskrypcja i dopasowanie cech punktowych... 3. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Plan prezentacji Cel i motywacja Cel wielokryterialna ocena detektorw i deskryptorw obrazowych cech punktowych na potrzeby nawigacji robotycznej Motywacja detekcja i dopasowanie cech punktowych jest istotnym etapem wielu algorytmw wizji maszynowej najnowsze osignicia w dziedzinie wizji maszynowej obejmuj m. in. opracowanie szybkich i dokadnych algorytmw detekcji i dopasowania cech nowo opracowane algorytmy testowane s gwnie na wzorcowych sekwencjach obrazw testowych, natomiast opracowania zawierajce analiz waciwoci par detektor-deskryptor w konkretnych aplikacjach s rzadkoci Detekcja, deskrypcja i dopasowanie cech punktowych... 4. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Detektor cech Harrisa i Shi-Tomasi Detektor cech FAST Detektor cech SIFT Detektor cech SURF Detektor cech STAR Detektory cech BRISK i ORB Detektor cech Harrisa i Shi-Tomasi detekcja cech na podstawie analizy lokalnej funkcji autokorelacji sygnau wykorzystuje tzw. tensor strukturalny A A = u v w(p, q) I2 x Ix Iy Ix Iy I2 y (1) McH = det(A) (trace(A)2 ) (2) McST = min(|1|, |2|) (3) Detekcja, deskrypcja i dopasowanie cech punktowych... 5. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Detektor cech Harrisa i Shi-Tomasi Detektor cech FAST Detektor cech SIFT Detektor cech SURF Detektor cech STAR Detektory cech BRISK i ORB Detektor cech FAST jesli n pikseli tworzcych cigy uk jest janiejszych ni piksel rodkowy p o przynajmniej t lub ciemniejszych o przynajmniej t, to piksel p spenia tzw. test segmentu kolejno wykonaywania testu na poszczeglnych pikselach jest optymalizowana algorytmem ID3 do dokadnego ustalenia lokalizacji cechy konieczne jest przeprowadzenie tumienia niemaksymalnego p 1 2 3 4 5 6 7 8910 11 12 13 14 15 16 Detekcja, deskrypcja i dopasowanie cech punktowych... 6. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Detektor cech Harrisa i Shi-Tomasi Detektor cech FAST Detektor cech SIFT Detektor cech SURF Detektor cech STAR Detektory cech BRISK i ORB Detektor cech SIFT jako cechy oznaczane s lokalne minima i maksima w dyskretnej przestrzeni powstajcej przez zastosowanie funkcji DoG w przestrzeni skali, na wygadzonych i przeskalowanych obrazach cechy zbyt sabe i lece wzdu krawdzi sa odrzucane w celu dokadnego zlokalizowania cech trzeba wykona interpolacj Detekcja, deskrypcja i dopasowanie cech punktowych... 7. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Detektor cech Harrisa i Shi-Tomasi Detektor cech FAST Detektor cech SIFT Detektor cech SURF Detektor cech STAR Detektory cech BRISK i ORB Detektor cech SURF detektor wieloskalowy wykorzystujcy aproksymacj detektora jednolitych obszarw (blob) opartego o Hesjan za pomoc falek Haara aproksymacje oparte o falki Haara mona wyznacza bardzo szybko niezalenie od skali wykorzystujc obrazy cakowe przestrze skali konstruowana jest przez skalowanie maski ltru w celu dokadnego zlokalizowania cech trzeba wykona interpolacj Detekcja, deskrypcja i dopasowanie cech punktowych... 8. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Detektor cech Harrisa i Shi-Tomasi Detektor cech FAST Detektor cech SIFT Detektor cech SURF Detektor cech STAR Detektory cech BRISK i ORB Detektor cech STAR detektor wieloskalowy wykrozystywany w algorytmie CenSurE dwupoziomowa aproksymacja ltru LoG umoliwia osignicie penej rozdzielczoci przestrzennej w detektorze wieloskalowym wyznaczanie odpowiedzi ltrw na podstawie obrazu cakowego przestrze skali jest tworzona przez stosowanie ltrw o rznych rozmiarach Detekcja, deskrypcja i dopasowanie cech punktowych... 9. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Detektor cech Harrisa i Shi-Tomasi Detektor cech FAST Detektor cech SIFT Detektor cech SURF Detektor cech STAR Detektory cech BRISK i ORB Detektory cech BRISK i ORB BRISK i ORB do detekcji cech wykorzystuj wieloskalowy wariant detektora FAST ORB dla wykonania tumienia niemaksymalnego oblicza dodatkowo funkcj punktujc z algorytmu Harrisa poniewa przestrze skali konstruowana jest przez skalowanie obrazw w celu dokadnego zlokalizowania cech trzeba wykona interpolacj przestrze skali jest tworzona przez stosowanie ltrw o rznych rozmiarach Detekcja, deskrypcja i dopasowanie cech punktowych... 10. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Deskryptor cech SIFT Rodzina deskryptorw SURF Deskryptor cech BRIEF Deskryptor cech ORB Deskryptor cech BRISK Deskryptor cech FREAK Deskryptor cech SIFT opisywane otoczenie dzieli si na podobszary, w ktrych wyznacza si gradienty deskryptor tworz histogramy gradientw z 16 podobszarw cechom przyporzdkowana jest dominujca orientacja (36-kubekowy histogram gradientw) Detekcja, deskrypcja i dopasowanie cech punktowych... 11. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Deskryptor cech SIFT Rodzina deskryptorw SURF Deskryptor cech BRIEF Deskryptor cech ORB Deskryptor cech BRISK Deskryptor cech FREAK Rodzina deskryptorw SURF deskryptory zawieraj informacj o rozkadzie jasnoci pikseli w otoczeniu wykrytej cechy w odpowiadajcej jej skali wykorzystanie aproksymacji falek Haara i obrazw cakowych umoliwia szybkie wyznaczanie deskryptora odporno na rotacj w osi kamery uzyskiwana przez przypisanie dominujcej orientacji Detekcja, deskrypcja i dopasowanie cech punktowych... 12. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Deskryptor cech SIFT Rodzina deskryptorw SURF Deskryptor cech BRIEF Deskryptor cech ORB Deskryptor cech BRISK Deskryptor cech FREAK Deskryptor cech BRIEF deskryptor ma posta wektora binarnego, wic miara dopasowania jest odlego Hamminga skadowe deskryptora tworzone s na podstawie wynikw porwna jasnoci pikseli w ssiedztwie cechy jedno porwnanie dla kadej ze skadowych 512-bitowego wektora pary punktw do porwnania losowane s zgodnie z rozkadem Gaussa Detekcja, deskrypcja i dopasowanie cech punktowych... 13. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Deskryptor cech SIFT Rodzina deskryptorw SURF Deskryptor cech BRIEF Deskryptor cech ORB Deskryptor cech BRISK Deskryptor cech FREAK Deskryptor cech BRIEF deskryptor ma posta wektora binarnego, wic miara dopasowania jest odlego Hamminga skadowe deskryptora tworzone s na podstawie wynikw porwna jasnoci pikseli w ssiedztwie cechy jedno porwnanie dla kadej ze skadowych 512-bitowego wektora pary punktw do porwnania losowane s zgodnie z rozkadem Gaussa Detekcja, deskrypcja i dopasowanie cech punktowych... 14. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Deskryptor cech SIFT Rodzina deskryptorw SURF Deskryptor cech BRIEF Deskryptor cech ORB Deskryptor cech BRISK Deskryptor cech FREAK Deskryptor cech BRIEF deskryptor ma posta wektora binarnego, wic miara dopasowania jest odlego Hamminga skadowe deskryptora tworzone s na podstawie wynikw porwna jasnoci pikseli w ssiedztwie cechy jedno porwnanie dla kadej ze skadowych 512-bitowego wektora pary punktw do porwnania losowane s zgodnie z rozkadem Gaussa Detekcja, deskrypcja i dopasowanie cech punktowych... 15. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Deskryptor cech SIFT Rodzina deskryptorw SURF Deskryptor cech BRIEF Deskryptor cech ORB Deskryptor cech BRISK Deskryptor cech FREAK Deskryptor cech ORB rozszerzenie podstawowej koncepcji deksryptora BRIEF odporno na rotacj dziki obracaniu caego zestawu testw binarnych zgodnie z orientacj cechy prbkowanie losowe zastpiono prbkowaniem wypracowanym przez algorytm uczenia maszynowego, co umoliwio polepszenie rozrnialnoci cech przez eliminacj testw majcych najmniejszy wpyw na proces dopasowania dominujca orientacja przyporzdkowana jest przez wyznaczenie kierunku do rodka cikoci obliczanego z funkcji obrazowej w otoczeniu cechy Detekcja, deskrypcja i dopasowanie cech punktowych... 16. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Deskryptor cech SIFT Rodzina deskryptorw SURF Deskryptor cech BRIEF Deskryptor cech ORB Deskryptor cech BRISK Deskryptor cech FREAK Deskryptor cech BRISK kolejne rozszerzenie koncepcji deskryptora BRIEF orientacja cechy okrelana jest przez sumowanie gradientw w dla naprzeciwlegych par punktw peryferyjnych i wybr gradientu dominujcego prbkowanie losowe zastpiono prbkowaniem wedug okrelonego, regularnego wzorca Detekcja, deskrypcja i dopasowanie cech punktowych... 17. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Deskryptor cech SIFT Rodzina deskryptorw SURF Deskryptor cech BRIEF Deskryptor cech ORB Deskryptor cech BRISK Deskryptor cech FREAK Deskryptor cech FREAK kolejne rozszerzenie koncepcji deskryptora BRIEF orientacja cechy okrelana jest przez sumowanie gradientw w dla wybranych par punktw i wybr gradientu dominujcego prbkowanie losowe zastpiono prbkowaniem wzorowanym na rozwizaniach biologicznych najistotniejsze testy binarne wykonywane s jako pierwsze szybsze odrzucanie cech podczas dopasowania Detekcja, deskrypcja i dopasowanie cech punktowych... 18. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Dane testowe Zbir obrazw testowych The Robot Data Set zawiera 60 scen kada sekwencja obejmuje rejestracj obrazu ze 119 rnych pozycji za pomoca kamery umocowanej do manipulatora robota przemysowego 119 pozycji skada si na 4 trajektorie: 3 ktowe ze sta odlegoci od sceny i 1 liniowej, w ktrej kierunek przemieszczania si kamery jest stay dostpne dane kalibracyjne kamery Detekcja, deskrypcja i dopasowanie cech punktowych... 19. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Przykadowe obrazy Detekcja, deskrypcja i dopasowanie cech punktowych... 20. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Trajektorie kamery Detekcja, deskrypcja i dopasowanie cech punktowych... 21. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski (wczytuj plik video...) Detekcja, deskrypcja i dopasowanie cech punktowych... 22. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Informacje oglne wsprzdne cech poddane zostay korekcji usunito znieksztacenia oraz uwzgldniono kalibracj kamery przy dopasowaniu cech wykonywano pene, krzyowe dopasowanie cech z dwch obrazw przetestowano wszystkie pary detektor-deskryptor wykorzystano implementacje algorytmw zawarte w bibliotece OpenCV 2.6.4 ze standardowymi nastawami Detekcja, deskrypcja i dopasowanie cech punktowych... 23. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Eksperyment 1 wpyw przemieszczenia kamery na dziaanie par detektor-deskryptor dla kadej z testowanych par obrazw obliczano ze znanych parametrw przeksztacenia (wzgldnej rotacji i translacji) macierz zasadnicz dla kadej ze sprawdzanych par punktw obliczano symetryczny bd reprojekcji jeli warto bdu miecia si ponie zaoonego progu, dopasowanie pary cech uznawane byo za prawidowe stosunek liczby prawidowych dopasowa do liczby wszystkich dopasowa a take jego zmiany pod wpywem przemieszczenia kamery jest wskanikiem jakoci dopasowa Detekcja, deskrypcja i dopasowanie cech punktowych... 24. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Eksperyment 2 wpyw przemieszczenia kamery na dokadno rekonstrukcji wzgldnej orientacji na podstawie zbioru dopasowa uznanych za prawidowe wyznaczana bya macierz zasadnicza z dekopozycji macierzy zasadniczej obliczano macierz wzgldnej rotacji wskanikiem jakoci dopasowa jest rnica midzy orientacj rzeczywist, a okrelon na podstawie zbioru dopasowa Detekcja, deskrypcja i dopasowanie cech punktowych... 25. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Eksperyment 1 uk 1 Detekcja, deskrypcja i dopasowanie cech punktowych... 26. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Eksperyment 1 uk 2 Detekcja, deskrypcja i dopasowanie cech punktowych... 27. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Eksperyment 1 uk 3 Detekcja, deskrypcja i dopasowanie cech punktowych... 28. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Eksperyment 1 najazd Detekcja, deskrypcja i dopasowanie cech punktowych... 29. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Eksperyment 2 uk 1 Detekcja, deskrypcja i dopasowanie cech punktowych... 30. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Eksperyment 2 uk 2 Detekcja, deskrypcja i dopasowanie cech punktowych... 31. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Eksperyment 2 uk 3 Detekcja, deskrypcja i dopasowanie cech punktowych... 32. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Wnioski zabiegi majce na celu osignicie odpornoci na zmian skali i obrt cech nie zawsze usprawiedliwiaj dodatkowy koszt obliczeniowy z tym zwizany nie mona do koca polega na wynikach uzyskanych na typowych danych testowych wyniki uzyskiwane w docelowej aplikacji mog znaczco si od nich rni Detekcja, deskrypcja i dopasowanie cech punktowych... 33. Wstp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski DZIKUJ ZA UWAG Detekcja, deskrypcja i dopasowanie cech punktowych...