Post on 21-Mar-2017
*Nowoczesne techniki wyznaczania map gbi
mgr in. Krzysztof WegnerKatedra Telekomunikacji Multimedialnej i MikroelektronikiPolitechnika Poznaska
Seminarium Przetwarzanie obrazw i multimedia, listopad 2008
*
Plan prezentacjiOcena jakoci (Middlebury+, MPEG)Poprzednie podejciaOglna ideaMiary podobiestwaAlgorytmy optymalizacjiPrzysze prace
Baza danych MiddleburyStrona powicona algorytmom wyznaczania map gbiDostpne wielowidokowe statyczne zestawy testowe z mapami Ground-TruthRanking dokadnoci wyznaczania map gbi dla 4 zestaww testowych: Tsukuba, Venus, Teddy, ConesOkoo 50 algorytmw z caego wiataKryterium bad-pixelshttp://vision.middlebury.edu/
Obrazy testowe MiddleburyTsukubaVenusTeddyConesObrazGbia
Kryterium bad-pixelsKlasyfikacja punktu jako bdny:Przekroczenie progu przez warto bezwzgldn bdu rozbienociProgi: 0.5, 0.75, 2.0Wzgldna liczba bdnych punktwSpaszczenie charakteru bdw!Wyniki najlepszych algorytmw: 0,1% - 3%
Uzupenione kryteria ocenyNBP-SAD (Normalized Bad Pixel SAD)
NBP-SSD (Normalized Bad Pixel SSD)
MPEG - sekwencje10 sekwencji testowych:Pantomime, Champagne_tower, Dog, Book_arrival, Leaving_laptop, Doorflowers,Alt-Moabit, Lovebird1&2, NewspaperRozdzielczo:1024x768 1280x960 Ilo klatek/s:16,67 30 FPSDugo:100 600 ramekRozstaw kamer:3,5 cm 6,5 cmIlo kamer:12 80 kamer
MPEG - sekwencjeDoorflowersAlt MoabitLovebird 1Lovebird 2PantomimeChampagne towerDogNewspaper
MPEG - jakoPorwnanie poziomu PSNR syntezy widoku z oryginalnym widokiemSynteza widokw SL, SR w pozycjach widokw OL, ORna podstawie widokw NL+D, NR+DWynik syntezy (SL, SR) porwnywany z oryginaami (OL, OR)
Poprzednie podejciaBezporednie pasowania blokwAlgorytm Viterbiego (1D)Przepyw optycznyInteligentna dekwantyzacja (Mid-level hypothesis)
Poprzednie podejciaBad-pixel vs PSNR syntesy*
Oglna ideaWikszo algorytmwwyznaczania gbi dziaa w oparciu o nastpujcy schematWyznaczenie kosztu pasowaniaelementw scenypasowanie blokwpasowanie segmentwpasowanie elementw strukturyOptymalizacja Nic - WTA (Winner Takes All)Algorytm ViterbegoPropagacja wierze - Belief PropagationCiecie grafu - Graph CutPrzetwarzanie kocoweZwikszanie precyzji mapy gbiWykrywanie nie cigoci mapy gbi
Miary podobiestwa obrazuStosowane miary podobiestwa obrazwMiara SSDMiara SAD Miara GRADMiara RANKMiara CENTUSPodobiestwo segmentw (ksztat)
*
Miara RANKNon-parametric Local Transforms for Computing Visual Correspondence - Ramin Zabih and John WoodfillMiara oparta o nieparametryczn transformacj obrazu RANK Transformacja RANK przypisuje kademu punktowi P obrazu liczb okrelajc ilo punktw w jego ssiedztwie N(P) ktre maj mniejsz od niego jasno I.
*Przykadowy punkt P wraz z otoczeniem. Punkty o jasnoci mniejszej od I(P) wytuszczono
127127129126128129127131127
Miara RANKMiar podobiestwa dwch punktw jest rnica pomidzy wartociami transformaty RANK .Zastosowanie transformacji RANK na obrazie Cones
*Obraz oryginalnyTransformacja RANK obrazu oryginalnego z otoczeniem 5x5
Miara CENTUSNon-parametric Local Transforms for Computing Visual Correspondence - Ramin Zabih and John WoodfillMiara oparta o nieparametryczn transformacj obrazu CENTUSTransformacja CENTUS przypisuje kademu punktowi P obrazu cig bitw reprezentujcy ktre z punktw w jego ssiedztwie N(P) maj mniejsz od niego jasno I.
*Przykadowy punkt P wraz z otoczeniem. Punkty o jasnoci mniejszej od I(P) wytuszczono
127127129126128129127131127
110100101
Miara CENTUSMiar podobiestwa dwch punktw jest odlego hamminga pomidzy wartociami transformaty CENTUSZastosowanie transformacji CENTUS na obrazie Tsukuba
*Obraz orginalnyTransformacja CENTUS obrazu oryginalnego z otoczeniem 5x5
Miary podobiestwa obrazw Mapy gbi wyznaczone na postawie rnych miar podobiestwa obrazw dla obrazka cones
*
SADGRADRANKCENTUS59,180444%55,754074%77,143111%61,539556%
Agregacja kosztuAgregacja kosztu bazuje na obserwacji i pasowanie pojedynczych punktw jest nie efektywneAgregacja w bokach powoduje pojawienie si artefaktw pasowania elementw spowodowanie nieregularnymi ksztatami elementw obrazuRozwizanie: Pasowanie elementw w mikko po segmentowanym obrazie
*
Mikka segmentacjaObraz dzielony jest na wiele nakadajcych si segmentw. Kady punktu naley do danego segmentu z pewn wag bazujc na podobiestwie analizowanych punktw.
*
Miary podobiestwa obrazw *
SADGRADRANKCENTUS33,612444%12,795259%41,185778%25,473185%
SADGRADRANKCENTUS59,180444%55,754074%77,143111%61,539556%
czne miary podobiestwa obrazwAby zwikszy jako wyznaczania map gbi zaproponowano czne miary podobiestwa obrazwMax(SAD,GRAD,RANK)SAD+RANK
*
SADGRADRANKMAX(SAD,GRAD,RANK)33,612444%12,795259%41,185778%6,135704%
Miary podobiestwa obrazwd
*
GRADSADRANKSAD+RANKMax(SAD,RANK,GRAD)WTA13,9538,0547,0912,916,93BP3,74,132,942,852,98
*
Belief PropagationOglna metoda rozwizywania problemw optymalizacyjnychUywana jest najczciej doWyznaczania map gbiUzupeniania obrazwGenerowania nowej tekstury na podstawie prbki Segmentacji obrazw
*
Belief propagationNa elementach strukturalnych (punkty, segmenty) obrazu (np. lewego) rozcigana jest siatka wzw algorytmu BP.Jeli dwa elementy ssiaduj ze sob w obrazie odpowiadajce im wzy take zostaj poczone.
*
Belief propagationW kadym wle przechowywana jest informacja o koszcie pasowania danego elementu z obrazu lewego w pewne potencjalne miejsce w obrazie prawymKoszt ten jest miar wierzenia wza i element ktry reprezentuje faktycznie pasuje w dane miejsce w drugim obrazie
*
Belief propagationPropagacja wierze pomidzy wzami za porednictwem dedykowanych wiadomoci
Schemat bez widoku
*
Belief propagationWiadomoci wyznaczane s na podstawie:Modelu zmiany wierzenia
Wasnych obserwacji
Wiadomoci otrzymanych z innych wzw
*
Modele zmiany wierzenia - modele gadkoci Potts Model
Model liniowy
Belief propagation
Belief propagationZaproponowany przez nas model zmiany wierze:oparty o model liniowyuwzgldnia podobiestwo punktw pomidzy ktrymi przesyana jest wiadomozbudowany na liniowej funkcji g(x) z nasyceniem
*gdzie:Ip Jasnoc punktu p, Iq Jasno punktu q
Jeli wystpuje krawdz w obrazie miedzy punktem p i q punkty te mnie oddziauj ze sob.*
Hierarchiczny BPPrzypieszenia dziaaniaGeneralizacji wynikuPrzetwarzanie od warstwy o najmniejszej liczbie wzw do warstwy o najwikszej liczbie wzw
*
Wyjcie z algorytmuPod koniec dziaania algorytmu, wyznacza si wierzenia wasne kadego wza.
Rozbieno fp o najmniejszej wartoci wierzenia jest wybierana, jako wynik
*Mapa gbi dla obrazu Cones 2.313481%
Inne modyfikacje8 punktowe otoczenie
Przetwarzanie co 2 drugiej wiadomoci w schemacie szachownicy
Estymacja podpunktowa
*Otoczenie 4 punktoweOtoczenie 8 punktoweSiatka algorytmu BP
*
Graph CutsOglna technikaUywana w oprogramowaniu referencyjnym MPEGaNa elementach strukturalnych (punkty, segmenty) obrazu (np. lewego) rozcigany jest grafJeli dwa elementy ssiaduj ze sob w obrazie, odpowiadajce im wzy take zostaj poczone krawdzi o wadze odpowiadajcej podobiestwu tych dwch elementw
Graph CutsDo grafu wstawia si pewn ilo wzw rdowych reprezentujcych moliwe wartoci rozbienociWzy rdowe czone s z kadym wzem w grafie za pomoc krawdzi o wadze odpowiadajcej kosztowi pasowania tego elementu w dane miejsce w drugim obrazie
*
Graph CutsGraf dzieli si na rozczne fragmenty za pomoc cicia grafu w taki sposb aby kady fragment poczony by tylko z jednym wzem rdowymWze rdowy poczony z danym fragmentem, reprezentuje szukan wartoci rozbienoci
*
Jako map gbi - wyniki*
Przysze praceSpjno czasowaOptymalne odlego midzy kameramiSegmentacja
Odlego miedzy kameramiJak odlego miedzy kamerami wpywa na jako wyznaczonych map gbi?
*
Wyniki dokadno punktowa*
Wyniki dokadno ppunktowa*
Dzikuj za uwagPytania?
Technika wyznaczania Ground-TruthWymaga nawietlania tekstur o regularnym wzorzeKody Graya w poziomie i pionie
Inteligentna dekwantyzacjaZaoenie: na granicy poziomw kwantyzacji wystpuje poziom poredniWeryfikacja zaoenia na podstawie resyntezyRozrost analizowanego obszaruWykonywanie wielokrotne pozwala na wielokrotne zagszczenie liczby poziomw
1. Detekcja krawdzi jednostkowych
2. Warto porednia
3. Weryfikacja przez reysteze
4. Rozprzestrzenianie hipotezy
5. Koniec przetwarzania
Inteligentna dekwantyzacja
Chart3
1111
1.140089380.98345572420.98020812840.9889925406
0.922399730.8456139310.89297589910.9629787011
0.92728658120.82835153220.87133865630.9500623584
Iteracja
Procent bdnych punktw
Procent bdnych punktw wzgldem skwantowanej may gbi
Sheet1
VenusGround TruthBad pixelnsad
"1/2""1/4""1/8""1/16""1/32""1/2""1/4""1/8""1/16""1/32"
Ground Truthdddd11.00.51.00.50.250.1250.06250.03125
dddd142.4692dddd10.000.000.000.000.000.000037.61121562.89657688.17635688.176356000.4168820.3497930.2853460.285346
dddd242.22239.0269dddd20.000.000.001.281.403.3201.48803133.58485258.66622986.00879286.00879200.6651040.4265390.3510640.2791970.279197
dddd443.577239.9641dddd40.010.070.201.321.523.890.0644811.67775520.03447345.37129581.61920181.6191011.1766830.6993020.4363220.3322740.2402220.240222
dddd843.573439.8533dddd80.020.090.261.181.464.160.0880421.58475220.11817444.97138679.50671879.5067181.2244720.7114140.4295910.3303410.2411470.241147
Bad pixelnsad
VenusDoubleBP2"1""1/2""1/4""1/8""1/16""1/32""1""1/2""1/4""1/8""1/16""1/32"
GTDddd11.00.51.00.50.250.1250.06250.03125
dddd138.5572100dddd10.130.451.877.828.2211.30.3763488.84448241.08886662.13798488.29849988.2984993.8609970.8248420.5100020.4168230.3366470.336647
dddd237.242838.7338.73dddd22.122.465.8216.316.624.12.58793317.17187444.33029364.95997888.11559588.1155951.6037970.8815980.6010380.4895570.3937560.393756
dddd437.843139.879739.8797dddd41.231.635.4713.113.520.41.71301514.29005436.27880757.41938385.39621985.3962191.8255670.8752280.6013220.4719730.35830.3583
dddd837.832939.792339.7923dddd81.251.645.3713.013.420.01.73789614.19891235.77535756.310884.11155384.1115531.8223780.8796010.6039710.4748850.359240.35924
Bad pixelnsad
VenusSubPixelDoubleBP"1""1/2""1/4""1/8""1/16""1/32""1""1/2""1/4""1/8""1/16""1/32"
GTDddd11.00.51.00.50.250.1250.06250.03125
dddd138.619343.3539dddd10.110.431.537.457.8312.60.3645688.49231540.83156163.79683488.27679988.276799
dddd237.247140.167238.8896dddd22.192.535.5316.416.824.62.67659517.21093545.1338365.81125688.45288288.452882
dddd437.849441.470840.0059dddd41.201.564.3513.814.322.91.68209514.91502738.19526759.17277985.98895185.988951
dddd837.83441.405339.9172dddd81.211.574.3713.514.021.51.69077514.5845637.72343758.40582384.99879184.998791
Bad pixel
VenusRegionTreeBP"1""1/2""1/4""1/8""1/16""1/32"
GTDddd11.00.51.00.50.250.1250.06250.03125
dddd138.5926100dddd10.220.571.939.089.7413.80.74649510.41125442.04740664.41250788.457222288.457222
dddd238.004438.967538.9675dddd21.972.385.2011.512.123.82.62079412.25331240.88240263.26982387.63942587.639425
dddd438.604239.926939.9269dddd41.191.675.429.9310.723.01.83833811.04614831.43402853.62862583.9887983.98879
dddd838.580639.78439.784dddd81.251.775.469.4610.221.61.951810.57865831.19594352.87840982.87090782.870907
Bad pixel
VenusGenModel"1""1/2""1/4""1/8""1/16""1/32"
GTDddd11.00.51.00.50.250.1250.06250.03125
dddd128.521941.7991dddd12.463.7620.514.816.027.74.947702100.00%100.00%100.00%100.00%
dddd228.538938.391538.8234dddd23.514.8219.417.818.829.66.108986114.01%98.35%98.02%98.90%
dddd428.598239.481439.7235dddd42.663.9818.713.815.027.25.22174892.24%84.56%89.30%96.30%
dddd828.592139.493739.6516dddd82.734.0618.913.814.926.55.3190992.73%82.84%87.13%95.01%
17.88922945.75818366.19318488.996013
20.3953245.00114764.88309788.016393
16.5010238.69375759.10891885.701265
16.58844237.90386157.6766884.551762
Sheet1
Iteracja
Procent bdnych punktw
Procent bdnych punktw wzgldem skwantowanej may gbi
Sheet2
Sheet3
Inteligentna dekwantyzacja
Mapy gbiMPEG dokument : pojcie gbiaObrazek - krtko
*
*
*Jeli wystpuje krawdz w obrazie miedzy punktem p i q punkty te mnie oddziauj ze sob.*
*