*Nowoczesne techniki wyznaczania map gbi

mgr in. Krzysztof WegnerKatedra Telekomunikacji Multimedialnej i MikroelektronikiPolitechnika Poznaska

Seminarium Przetwarzanie obrazw i multimedia, listopad 2008

*

Plan prezentacjiOcena jakoci (Middlebury+, MPEG)Poprzednie podejciaOglna ideaMiary podobiestwaAlgorytmy optymalizacjiPrzysze prace

Baza danych MiddleburyStrona powicona algorytmom wyznaczania map gbiDostpne wielowidokowe statyczne zestawy testowe z mapami Ground-TruthRanking dokadnoci wyznaczania map gbi dla 4 zestaww testowych: Tsukuba, Venus, Teddy, ConesOkoo 50 algorytmw z caego wiataKryterium bad-pixelshttp://vision.middlebury.edu/

Obrazy testowe MiddleburyTsukubaVenusTeddyConesObrazGbia

Kryterium bad-pixelsKlasyfikacja punktu jako bdny:Przekroczenie progu przez warto bezwzgldn bdu rozbienociProgi: 0.5, 0.75, 2.0Wzgldna liczba bdnych punktwSpaszczenie charakteru bdw!Wyniki najlepszych algorytmw: 0,1% - 3%

Uzupenione kryteria ocenyNBP-SAD (Normalized Bad Pixel SAD)

NBP-SSD (Normalized Bad Pixel SSD)

MPEG - sekwencje10 sekwencji testowych:Pantomime, Champagne_tower, Dog, Book_arrival, Leaving_laptop, Doorflowers,Alt-Moabit, Lovebird1&2, NewspaperRozdzielczo:1024x768 1280x960 Ilo klatek/s:16,67 30 FPSDugo:100 600 ramekRozstaw kamer:3,5 cm 6,5 cmIlo kamer:12 80 kamer

MPEG - sekwencjeDoorflowersAlt MoabitLovebird 1Lovebird 2PantomimeChampagne towerDogNewspaper

MPEG - jakoPorwnanie poziomu PSNR syntezy widoku z oryginalnym widokiemSynteza widokw SL, SR w pozycjach widokw OL, ORna podstawie widokw NL+D, NR+DWynik syntezy (SL, SR) porwnywany z oryginaami (OL, OR)

Poprzednie podejciaBezporednie pasowania blokwAlgorytm Viterbiego (1D)Przepyw optycznyInteligentna dekwantyzacja (Mid-level hypothesis)

Poprzednie podejciaBad-pixel vs PSNR syntesy*

Oglna ideaWikszo algorytmwwyznaczania gbi dziaa w oparciu o nastpujcy schematWyznaczenie kosztu pasowaniaelementw scenypasowanie blokwpasowanie segmentwpasowanie elementw strukturyOptymalizacja Nic - WTA (Winner Takes All)Algorytm ViterbegoPropagacja wierze - Belief PropagationCiecie grafu - Graph CutPrzetwarzanie kocoweZwikszanie precyzji mapy gbiWykrywanie nie cigoci mapy gbi

Miary podobiestwa obrazuStosowane miary podobiestwa obrazwMiara SSDMiara SAD Miara GRADMiara RANKMiara CENTUSPodobiestwo segmentw (ksztat)

*

Miara RANKNon-parametric Local Transforms for Computing Visual Correspondence - Ramin Zabih and John WoodfillMiara oparta o nieparametryczn transformacj obrazu RANK Transformacja RANK przypisuje kademu punktowi P obrazu liczb okrelajc ilo punktw w jego ssiedztwie N(P) ktre maj mniejsz od niego jasno I.

*Przykadowy punkt P wraz z otoczeniem. Punkty o jasnoci mniejszej od I(P) wytuszczono

127127129126128129127131127

Miara RANKMiar podobiestwa dwch punktw jest rnica pomidzy wartociami transformaty RANK .Zastosowanie transformacji RANK na obrazie Cones

*Obraz oryginalnyTransformacja RANK obrazu oryginalnego z otoczeniem 5x5

Miara CENTUSNon-parametric Local Transforms for Computing Visual Correspondence - Ramin Zabih and John WoodfillMiara oparta o nieparametryczn transformacj obrazu CENTUSTransformacja CENTUS przypisuje kademu punktowi P obrazu cig bitw reprezentujcy ktre z punktw w jego ssiedztwie N(P) maj mniejsz od niego jasno I.

*Przykadowy punkt P wraz z otoczeniem. Punkty o jasnoci mniejszej od I(P) wytuszczono

127127129126128129127131127

110100101

Miara CENTUSMiar podobiestwa dwch punktw jest odlego hamminga pomidzy wartociami transformaty CENTUSZastosowanie transformacji CENTUS na obrazie Tsukuba

*Obraz orginalnyTransformacja CENTUS obrazu oryginalnego z otoczeniem 5x5

Miary podobiestwa obrazw Mapy gbi wyznaczone na postawie rnych miar podobiestwa obrazw dla obrazka cones

*

SADGRADRANKCENTUS59,180444%55,754074%77,143111%61,539556%

Agregacja kosztuAgregacja kosztu bazuje na obserwacji i pasowanie pojedynczych punktw jest nie efektywneAgregacja w bokach powoduje pojawienie si artefaktw pasowania elementw spowodowanie nieregularnymi ksztatami elementw obrazuRozwizanie: Pasowanie elementw w mikko po segmentowanym obrazie

*

Mikka segmentacjaObraz dzielony jest na wiele nakadajcych si segmentw. Kady punktu naley do danego segmentu z pewn wag bazujc na podobiestwie analizowanych punktw.

*

Miary podobiestwa obrazw *

SADGRADRANKCENTUS33,612444%12,795259%41,185778%25,473185%

SADGRADRANKCENTUS59,180444%55,754074%77,143111%61,539556%

czne miary podobiestwa obrazwAby zwikszy jako wyznaczania map gbi zaproponowano czne miary podobiestwa obrazwMax(SAD,GRAD,RANK)SAD+RANK

*

SADGRADRANKMAX(SAD,GRAD,RANK)33,612444%12,795259%41,185778%6,135704%

Miary podobiestwa obrazwd

*

GRADSADRANKSAD+RANKMax(SAD,RANK,GRAD)WTA13,9538,0547,0912,916,93BP3,74,132,942,852,98

*

Belief PropagationOglna metoda rozwizywania problemw optymalizacyjnychUywana jest najczciej doWyznaczania map gbiUzupeniania obrazwGenerowania nowej tekstury na podstawie prbki Segmentacji obrazw

*

Belief propagationNa elementach strukturalnych (punkty, segmenty) obrazu (np. lewego) rozcigana jest siatka wzw algorytmu BP.Jeli dwa elementy ssiaduj ze sob w obrazie odpowiadajce im wzy take zostaj poczone.

*

Belief propagationW kadym wle przechowywana jest informacja o koszcie pasowania danego elementu z obrazu lewego w pewne potencjalne miejsce w obrazie prawymKoszt ten jest miar wierzenia wza i element ktry reprezentuje faktycznie pasuje w dane miejsce w drugim obrazie

*

Belief propagationPropagacja wierze pomidzy wzami za porednictwem dedykowanych wiadomoci

Schemat bez widoku

*

Belief propagationWiadomoci wyznaczane s na podstawie:Modelu zmiany wierzenia

Wasnych obserwacji

Wiadomoci otrzymanych z innych wzw

*

Modele zmiany wierzenia - modele gadkoci Potts Model

Model liniowy

Belief propagation

Belief propagationZaproponowany przez nas model zmiany wierze:oparty o model liniowyuwzgldnia podobiestwo punktw pomidzy ktrymi przesyana jest wiadomozbudowany na liniowej funkcji g(x) z nasyceniem

*gdzie:Ip Jasnoc punktu p, Iq Jasno punktu q

Jeli wystpuje krawdz w obrazie miedzy punktem p i q punkty te mnie oddziauj ze sob.*

Hierarchiczny BPPrzypieszenia dziaaniaGeneralizacji wynikuPrzetwarzanie od warstwy o najmniejszej liczbie wzw do warstwy o najwikszej liczbie wzw

*

Wyjcie z algorytmuPod koniec dziaania algorytmu, wyznacza si wierzenia wasne kadego wza.

Rozbieno fp o najmniejszej wartoci wierzenia jest wybierana, jako wynik

*Mapa gbi dla obrazu Cones 2.313481%

Inne modyfikacje8 punktowe otoczenie

Przetwarzanie co 2 drugiej wiadomoci w schemacie szachownicy

Estymacja podpunktowa

*Otoczenie 4 punktoweOtoczenie 8 punktoweSiatka algorytmu BP

*

Graph CutsOglna technikaUywana w oprogramowaniu referencyjnym MPEGaNa elementach strukturalnych (punkty, segmenty) obrazu (np. lewego) rozcigany jest grafJeli dwa elementy ssiaduj ze sob w obrazie, odpowiadajce im wzy take zostaj poczone krawdzi o wadze odpowiadajcej podobiestwu tych dwch elementw

Graph CutsDo grafu wstawia si pewn ilo wzw rdowych reprezentujcych moliwe wartoci rozbienociWzy rdowe czone s z kadym wzem w grafie za pomoc krawdzi o wadze odpowiadajcej kosztowi pasowania tego elementu w dane miejsce w drugim obrazie

*

Graph CutsGraf dzieli si na rozczne fragmenty za pomoc cicia grafu w taki sposb aby kady fragment poczony by tylko z jednym wzem rdowymWze rdowy poczony z danym fragmentem, reprezentuje szukan wartoci rozbienoci

*

Jako map gbi - wyniki*

Przysze praceSpjno czasowaOptymalne odlego midzy kameramiSegmentacja

Odlego miedzy kameramiJak odlego miedzy kamerami wpywa na jako wyznaczonych map gbi?

*

Wyniki dokadno punktowa*

Wyniki dokadno ppunktowa*

Dzikuj za uwagPytania?

Technika wyznaczania Ground-TruthWymaga nawietlania tekstur o regularnym wzorzeKody Graya w poziomie i pionie

Inteligentna dekwantyzacjaZaoenie: na granicy poziomw kwantyzacji wystpuje poziom poredniWeryfikacja zaoenia na podstawie resyntezyRozrost analizowanego obszaruWykonywanie wielokrotne pozwala na wielokrotne zagszczenie liczby poziomw

1. Detekcja krawdzi jednostkowych

2. Warto porednia

3. Weryfikacja przez reysteze

4. Rozprzestrzenianie hipotezy

5. Koniec przetwarzania

Inteligentna dekwantyzacja

Chart3

1111

1.140089380.98345572420.98020812840.9889925406

0.922399730.8456139310.89297589910.9629787011

0.92728658120.82835153220.87133865630.9500623584

Iteracja

Procent bdnych punktw

Procent bdnych punktw wzgldem skwantowanej may gbi

Sheet1

VenusGround TruthBad pixelnsad

"1/2""1/4""1/8""1/16""1/32""1/2""1/4""1/8""1/16""1/32"

Ground Truthdddd11.00.51.00.50.250.1250.06250.03125

dddd142.4692dddd10.000.000.000.000.000.000037.61121562.89657688.17635688.176356000.4168820.3497930.2853460.285346

dddd242.22239.0269dddd20.000.000.001.281.403.3201.48803133.58485258.66622986.00879286.00879200.6651040.4265390.3510640.2791970.279197

dddd443.577239.9641dddd40.010.070.201.321.523.890.0644811.67775520.03447345.37129581.61920181.6191011.1766830.6993020.4363220.3322740.2402220.240222

dddd843.573439.8533dddd80.020.090.261.181.464.160.0880421.58475220.11817444.97138679.50671879.5067181.2244720.7114140.4295910.3303410.2411470.241147

Bad pixelnsad

VenusDoubleBP2"1""1/2""1/4""1/8""1/16""1/32""1""1/2""1/4""1/8""1/16""1/32"

GTDddd11.00.51.00.50.250.1250.06250.03125

dddd138.5572100dddd10.130.451.877.828.2211.30.3763488.84448241.08886662.13798488.29849988.2984993.8609970.8248420.5100020.4168230.3366470.336647

dddd237.242838.7338.73dddd22.122.465.8216.316.624.12.58793317.17187444.33029364.95997888.11559588.1155951.6037970.8815980.6010380.4895570.3937560.393756

dddd437.843139.879739.8797dddd41.231.635.4713.113.520.41.71301514.29005436.27880757.41938385.39621985.3962191.8255670.8752280.6013220.4719730.35830.3583

dddd837.832939.792339.7923dddd81.251.645.3713.013.420.01.73789614.19891235.77535756.310884.11155384.1115531.8223780.8796010.6039710.4748850.359240.35924

Bad pixelnsad

VenusSubPixelDoubleBP"1""1/2""1/4""1/8""1/16""1/32""1""1/2""1/4""1/8""1/16""1/32"

GTDddd11.00.51.00.50.250.1250.06250.03125

dddd138.619343.3539dddd10.110.431.537.457.8312.60.3645688.49231540.83156163.79683488.27679988.276799

dddd237.247140.167238.8896dddd22.192.535.5316.416.824.62.67659517.21093545.1338365.81125688.45288288.452882

dddd437.849441.470840.0059dddd41.201.564.3513.814.322.91.68209514.91502738.19526759.17277985.98895185.988951

dddd837.83441.405339.9172dddd81.211.574.3713.514.021.51.69077514.5845637.72343758.40582384.99879184.998791

Bad pixel

VenusRegionTreeBP"1""1/2""1/4""1/8""1/16""1/32"

GTDddd11.00.51.00.50.250.1250.06250.03125

dddd138.5926100dddd10.220.571.939.089.7413.80.74649510.41125442.04740664.41250788.457222288.457222

dddd238.004438.967538.9675dddd21.972.385.2011.512.123.82.62079412.25331240.88240263.26982387.63942587.639425

dddd438.604239.926939.9269dddd41.191.675.429.9310.723.01.83833811.04614831.43402853.62862583.9887983.98879

dddd838.580639.78439.784dddd81.251.775.469.4610.221.61.951810.57865831.19594352.87840982.87090782.870907

Bad pixel

VenusGenModel"1""1/2""1/4""1/8""1/16""1/32"

GTDddd11.00.51.00.50.250.1250.06250.03125

dddd128.521941.7991dddd12.463.7620.514.816.027.74.947702100.00%100.00%100.00%100.00%

dddd228.538938.391538.8234dddd23.514.8219.417.818.829.66.108986114.01%98.35%98.02%98.90%

dddd428.598239.481439.7235dddd42.663.9818.713.815.027.25.22174892.24%84.56%89.30%96.30%

dddd828.592139.493739.6516dddd82.734.0618.913.814.926.55.3190992.73%82.84%87.13%95.01%

17.88922945.75818366.19318488.996013

20.3953245.00114764.88309788.016393

16.5010238.69375759.10891885.701265

16.58844237.90386157.6766884.551762

Sheet1

Iteracja

Procent bdnych punktw

Procent bdnych punktw wzgldem skwantowanej may gbi

Sheet2

Sheet3

Inteligentna dekwantyzacja

Mapy gbiMPEG dokument : pojcie gbiaObrazek - krtko

*

*

*Jeli wystpuje krawdz w obrazie miedzy punktem p i q punkty te mnie oddziauj ze sob.*

*