Filip Piękniewski 3 maja 2008filip.piekniewski.info/stuff/sem_dok2008.pdfwielomiany są zadane...

Spis treściWstęp

Sygnał jednowymiarowySygnał dwuwymiarowy

Obraz kolorowy

Algorytmy przetwarzania sygnałów i obrazów

Filip Piękniewski

Wydział Matematyki i InformatykiUMK

Prezentacja dostępna nahttp://www.mat.uni.torun.pl/~philip/

3 maja 2008

Filip Piękniewski Algorytmy przetwarzania sygnałów i obrazów

http://www.mat.uni.torun.pl/~philip/

Spis treściWstęp


Obraz kolorowy

1 Wstęp

2 Sygnał jednowymiarowyPodstawowe cechy sygnału i próbkowaniaFFT jako ewaluacja wielomianuTwierdzenie o próbkowaniuPodstawowe filtry splotowe - idea

3 Sygnał dwuwymiarowyFFT w dwóch wymiarachSploty dwuwymiaroweRozplatanie (deconvolution)Transformata Radona i tomografiaEliminacja szumu punktowegoAliasing w 2d

4 Obraz kolorowyKolory i percepcjaReprezentacje kolorówZastosowania


Spis treściWstęp


Obraz kolorowy

Przetwarzanie sygnałów to ważny kawałek szeroko pojętejinformatyki. Specyfika tej dziedziny wymaga pewnegoprzygotowania fizycznego i jest czasem trudno zrozumiała dla ludzizajmujących się bardziej ćzystą informatyką”. Podstawowympojęciem tej dziedziny jest transformata Fouriera, która jest obecnaw programie praktycznie każdych studiów informatycznych, jednakjej elegancja rzadko bywa doceniona przez studentów. W dalszejczęści prezentacji zawartych jest sporo przykładów z życia wziętych,także w przypadku obrazów (sygnałów dwuwymiarowych). Nakoniec jest trochę na temat reprezentacji kolorów.


Spis treściWstęp


Obraz kolorowy

Podstawowe cechy sygnału i próbkowaniaFFT jako ewaluacja wielomianuTwierdzenie o próbkowaniuPodstawowe filtry splotowe - idea

Definicja

Sygnałem jednowymiarowym będziemy nazywali dowolną funkcjęf : R→ C należącą do przestrzeni L1. Ponadto gdy f przyjmujejedynie wartości rzeczywiste mówimy o sygnale rzeczywistym. Jeślif należy do L2 mówimy o sygnale o skończonej energii. Sygnałyzespolone cechuje polaryzacja - kształt rzutu sygnału napłaszczyznę zespoloną. Najczęściej spotykane są polaryzacjeliniowe, kołowe i eliptyczne. W ogólności polaryzacja może miećkształt dowolnej krzywej Lissajous.


Spis treściWstęp


Obraz kolorowy


Rysunek: Wizualizacja sygnału zespolonego - oś idącą od lewej do prawejnależy kojarzyć z upływem czasu, płaszczyzna prostopadła do osi czasu,to dziedzina sygnał (C), rzut na płaszczyznę prostopadłą (cień) tocharakterystyka polaryzacji sygnału.


Spis treściWstęp


Obraz kolorowy


Rysunek: Inny przykład sygnału zespolonego i bardziej skomplikowanejpolaryzacji.


Spis treściWstęp


Obraz kolorowy


W dalszym ciągu będą nas interesowały przekształcenia sygnału,zwane czasem filtrami, szczególnie takie:

które są liniowe, zatem aplikacja filtru na sumie sygnałów toto samo co suma aplikacji na składowych

filtr nie zależy od czasu, zatem aplikacja filtru dla sygnałuprzesuniętego w czasie o ∆t daje ten sam wynik przesunięty o∆t.

Filtry takie są jednoznacznie charakteryzowane tak zwanąodpowiedzią impulsową (impulse responce), czyli wynikiem aplikacjifiltru na sygnale δt0(t) (delta Diraca). Ponadto ze względówpraktycznych rozważa się filtry realizowalne których wynik zależyjedynie od części sygnału znajdującego się w przedziale (−∞, t).


Spis treściWstęp


Obraz kolorowy


Załóżmy, że mamy pewien sygnał a(t). Rozważmy wartości a(t)jedynie dla pewnych wybranych T punktów oddalonych od siebie o1. Taki okrojony sygnał a(t) nazwiemy sygnałem spróbkowanymna przedziale [0,T ). Zauważmy, że:

a(t) =T−1∑i=0

a(i)δ(t − i) (1)

Ponadto załóżmy, że będziemy aplikować pewien filtr b, orazznamy odpowiedź impulsową filtra b(t). Jeśli b jest liniowy iinwariantny czasowo, wtedy odpowiedź filtru b na sygnał amożemy łatwo wyliczyć:

c(k) =k∑i=0

a(i)b(k − i) (2)


Spis treściWstęp


Obraz kolorowy


Przypatrzmy się jeszcze raz wzorowi:

c(k) =k∑i=0

a(i)b(k − i) (3)

Zauważmy, że c(k) to dokładnie współczynnik stojący przy k-tejpotędze w iloczynie wielomianów o współczynnikach a(i) oraz b(i)!Zatem efektywna aplikacja filtru jest równoważna szybkiemumnożeniu wielomianów!


Spis treściWstęp


Obraz kolorowy


Jak efektywnie mnożyć wielomiany? Ustalmy dla porządku:

A(x) = adxd + ad−1xd−1 + ...+ a1x + a0 (4)

Zauważmy, że każdy wielomian stopnia d jest jednoznaczniereprezentowany przez:

zbiór d + 1 współczynników ad , ad−1, ..., a1, a0

zbiór wartości w d + 1 różnych punktachA(x0),A(x1), ...,A(xd)

W reprezentacji przez współczynniki, wymnożenie wielomianuwymaga dla każdego ck , k kroków, co ostatecznie daje O(d2).


Spis treściWstęp


Obraz kolorowy


Zauważmy ponadto, że iloczyn wielomianów C (x) = A(x) ∗ B(x)jest jednoznacznie charakteryzowany przez swoje wartości wprzynajmniej 2d + 1 punktach, oraz:

C (xk) = A(xk) ∗ B(xk) (5)

Zatem w reprezentacji przez wartości mnożenie wielomianówzajmuje jedynie 2d + 1 czyli O(d) czasu! Tyle, że zazwyczajwielomiany są zadane przez współczynniki... Potrzebujemy zatemefektywnej procedury konwersji od współczynników do wartości(ewaluacji) oraz operacji odwrotnej (interpolacji). Niestetyewaluacja wielomianu w punkcie, zajmuje O(d) czasu,potrzebujemy O(d) punktów, więc znowu mamy O(d2). Chyba żesprytnie dobierzemy punkty!


Spis treściWstęp


Obraz kolorowy


Zauważmy najpierw, że jeśli dobierzemy punkty tak, aby byłyparami dodatni-ujemny, to możemy oszczędzić trochę obliczeń.Popatrzmy na wielomian:

5x5 + 4x4 + 3x3 + 2x2 + x + 2 = (2 + 2x2 + 4x4) + x(5x4 + 3x2 + 1)

Jak widać składowe w nawiasach są wielomianami od x2. Ogólniemamy:

A(x) = Aeven(x2) + xAodd(x2) (6)

Wtedy

A(xi ) =Aeven(x2i ) + xAodd(x2

i )

A(−xi ) =Aeven(x2i )− xAodd(x2

i )(7)

Ostatecznie zamiast ewaluować w n punktach, dwukrotnieewaluujemy w n/2 punktach.


Spis treściWstęp


Obraz kolorowy


Gdyby dało się ten sam trick zastosować rekurencyjnie,dostalibyśmy równanie rekurencyjne na złożoność:

T (n) = 2 ∗ T (n/2) +O(n) (8)

co daje T (n) = O(n log n). Ale to oznacza, że x2i same muszą być

parami dodatni-ujemny, a takich liczb rzeczywistych nie ma... Itutaj z pomocą przychodzą zespolone pierwiastki z jedynki...


Spis treściWstęp


Obraz kolorowy


√2

2− i

√2

2

√2

2+ i

√2

2 −√

22

+ i

√2

2−√

22− i

√2

2

i −i

1

−11

−11

i −i1 −1

Rysunek: Schemat rozgałęzień w FFT. Na n-tym poziomie są pierwiastkiz jedynki stopnia 2n


Spis treściWstęp


Obraz kolorowy


Pierwiastki n-tego stopnia z jedności 1, ω, ω2, ..., ωn−1 wyrażają sięłatwo wzorem ω = e2πi/n. Ponadto gdy n jest parzyste mamy:

pierwiastki tworzą pary dodatni-ujemny bo ωn/2+j = −ωjpodniesienie do kwadratu pierwiastków stopnia n dajepierwiastki stopnia n/2

Z tego względu liczby te doskonale nadają się do naszegorekurencyjnego algorytmu! Drobną niedogodnością jest fakt, iżwszystko działa doskonale o ile n = 2k . Gdy jest inaczej, rekursjętrzeba przerwać na pewnym poziomie i dokonać ewaluacji ręcznie...Można jednak ominąć tą niedogodność, przez uzupełnienie zeramido potęgi dwójki.


Spis treściWstęp


Obraz kolorowy


Mamy zatem procedurę, zwaną szybką transformatą Furiera (FastFourier Transform - FFT) która ewaluuje wielomian w punktachbędących pierwiastkami zespolonymi jedności. W tej reprezentacjimożemy efektywnie mnożyć wielomiany, ale jak wrócić doreprezentacji współczynnikowej? Innymi słowy co z interpolacją?

Aby znaleźć odpowiedź przyjrzyjmy się jeszcze raz ewaluacji, tymrazem w postaci macierzowej.


Spis treściWstęp


Obraz kolorowy


Ewaluacja wielomianu A(x) = anxn + an−1xn−1 + ...+ a1x + a0 wpunktach x0, x1, ..., xn wyraża się mnożeniem macierzy M (wśrodku):

A(x0)A(x1)

...A(xn)

=

1 x0 x2

0 . . . xn−10

1 x1 x21 . . . xn−1

1...

1 xn−1 x2n−1 . . . xn−1

n−1

a0

a1...

an

Interpolacja zatem sprowadza się do odwrócenia macierzy M iwymnożenia wartości przez M−1


Spis treściWstęp


Obraz kolorowy


W naszym przypadku macierz M ma dość specyficzną postać:

Mn(ω) =

1 1 1 . . . 11 ω ω2 . . . ωn−1

1 ω2 ω4 . . . ω2(n−1)

...1 ωj ω2j . . . ωj(n−1)

...1 ωn−1 ω2(n−1) . . . ω(n−1)(n−1)

← ω0 = 1← ω← ω2

...← ωj

← ωn−1

Jest to macierz Vandermonda którą można odwrócić w czasieO(n2) (zamiast O(n3)) jednak to nadal zbyt wolno.


Spis treściWstęp


Obraz kolorowy


Zauważmy jeszcze jeden fakt - kolumny macierzy Mn(ω) sąortogonalne. Łatwo to sprawdzić licząc iloczyny skalarne 1:

u · v∗ = u0v∗0 + u1v∗1 + ...+ un−1v∗n−1

W przypadku iloczynu j-tej i k-tej kolumny Mn(ω) mamy:

1 + ωj−k + ω2(j−k) + ...+ ω(n−1)(j−k)

Jak widzimy jest to szereg geometryczny o ilorazie ωj−k któregosuma wynosi:

1− ωn(j−k)1− ωj−k =

{0 j 6= k

n j = k

1∗ oznacza sprzężenie zespoloneFilip Piękniewski Algorytmy przetwarzania sygnałów i obrazów

Spis treściWstęp


Obraz kolorowy


Poprzednią własność można zapisać równaniem macierzowym:

Mn(ω)Mn(ω)∗ = nI (9)

Gdzie I jest macierzą identycznościową. Ale Mn(ω)∗ = Mn(−ω).Przenosząc skalar na lewo i mnożąc lewostronnie przez Mn(ω)−1

dostajemy:1n

Mn(−ω) = Mn(ω)−1 (10)

Zatem operacją odwrotną do transformaty Fouriera jest samatransformata Fouriera uzupełniona o czynnik 1/n i wzięta zesprzężeniem! To oznacza, że interpolacja też jest w czasieO(n log n)!


Spis treściWstęp


Obraz kolorowy


Rysunek: Kolumny macierzy Mn(ω) należy kojarzyć z punktami równorozmieszczonymi na coraz bardziej ściśniętych sprężynach. Zbiórwszystkich takich sprężyn stanowi bazę ortogonalną całej przestrzeniHilberta L2.


Spis treściWstęp


Obraz kolorowy


Twierdzenie o próbkowaniu

Twierdzenie (Nyquist-Shannon)

Jeśli funkcja f ma widmo zerowe powyżej częstotliwości ωmax ,wtedy jest całkowicie zdeterminowana przez ciąg wartości wpunktach odległych o 1

2ωmax(w dziedzinie czasu). Częstotliwość

będącą połową częstotliwości próbkowania zwana jestczęstotliwością Nyquista.

Twierdzenie to oznacza, iż sygnały o zwartym widmie, pomimo iżmogą być bardzo skomplikowane, są podobnie jak wielomianydeterminowane przez skończony ciąg wartości w punktach (lubskończony ciąg współczynników widmowych) .


Spis treściWstęp


Obraz kolorowy


Twierdzenie o próbkowaniu w praktyce niesie za sobą dwieinformacje: dobrą i złą.

Dobra: sygnał o którym wiemy, że z pewnych naturalnychprzyczyn ma widno zwarte może być całkowiciescharakteryzowany w formie cyfrowej.

Zła: sygnał który ma niezwarte widmo, w trakcie próbkowaniaze skończoną dokładnością może produkować zaburzenia: wpraktyce część widma znajdująca się poza zakresempróbkowania zostaje ”wciśnięta” do tego zakresu. Zjawisko tonosi nazwę aliasingu.


Spis treściWstęp


Obraz kolorowy


0 2.5 5 7.5 10 12.5 15 17.5 20 22.5 25

-3

-2

-1

1

2

Rysunek: Aliasing. Sygnał spróbkowany ze zbyt małą częstotliwościąprodukuje artefakt w postaci fali o niskiej częstotliwości, której wrzeczywistości w sygnale nie ma.


Spis treściWstęp


Obraz kolorowy


Jak przeciwdziałać zjawisku aliasingu?

Zwiększyć częstotliwość próbkowania: czasem drogie a czasemniemożliwe...

Obciąć wysokie częstotliwości na sygnale analogowym przedpróbkowaniem

Aplikować filtr dolnoprzepustowy na cyfrowym sygnale izmniejszyć rozdzielczość: często jedyne wyjście gdy nie mamydostępu do oryginalnego sygnału.


Spis treściWstęp


Obraz kolorowy


Powróćmy na chwilę do filtrów. Jak widzieliśmy filtry liniowe orazinwariantne czasowo są reprezentowane splotem

c(k) =k∑i=0

a(i)b(k − i) (11)

W wersji ciągłej splot wyraża się następująco:

c(x) =

∫ ba

a(τ)b(x − τ)dτ (12)


Spis treściWstęp


Obraz kolorowy


Filtry splotowe są bardzo ważne, ponieważ:

Umiemy je efektywnie implementować za pomocą FFT lubbezpośrednio gdy operator splotu jest bardzo zwarty dziedzinieczasu (wtedy wyliczenie splotu bezpośrednio może byćefektywniejsze niż liczenie FFT)

Cała masa użytecznych filtrów: dolno, górno-przepustowych,pasmowych wyraża się właśnie za pomocą splotu!


Spis treściWstęp


Obraz kolorowy

FFT w dwóch wymiarachSploty dwuwymiaroweRozplatanie (deconvolution)Transformata Radona i tomografiaEliminacja szumu punktowegoAliasing w 2d

Sygnał dwuwymiarowy - obraz

No i dotarliśmy do obrazów, które możemy także traktować jakospecyficzne sygnały:

Obraz nieruchomy jest specyficznym sygnałem pozbawionymczasu (niezmiennym), który ma jednak cechy przestrzenne. Wtym przypadku interesują nas własności przestrzenne, wszelkiefiltry będą brały pod uwagę własnie te cechy.Obraz ruchomy (film) możemy traktować jako

zbiór (uporządkowany) nieruchomych sygnałów przestrzennychzbiór (uporządkowanych przestrzennie) sygnałów czasowychsygnał trójwymiarowy przestrzennie, pozbawiony czasu

Zależnie od interpretacji możemy aplikować filtry w różnychkierunkach.


Spis treściWstęp


Obraz kolorowy


Podobnie jak w jednym wymiarze, możemy rozpatrywaćtransformatę Fouriera w większej ilości wymiarów:

F (ω0, ω1) =

∫ ∞−∞

∫ ∞−∞

f (t0, t2)e−2πi(t0·ω0+t1·ω1)dω1dω0

W praktyce wzór ten jest łatwy - oznacza to, że tranformatęFouriera dwuwymiarowego obrazu robimy następująco:

Transformujemy po kolei wiersze (linie poziome) jak sygnałjednowymiarowy

Nastepnie transformujemy powstałe kolumny, także jakosygnały jednowymiarowe


Spis treściWstęp


Obraz kolorowy


Rysunek: Obraz w dziedzinie przestrzennej.


Spis treściWstęp


Obraz kolorowy


Rysunek: Ten sam obraz w dziedzinie częstotliwości (widmo mocy).Kompozycja trzech transformat osobno dla każdego koloru.


Spis treściWstęp


Obraz kolorowy


Rysunek: Informacje zawarte w niskich (lewo) częstotliwościach różnią siędalece od tych zawartych w wysokich (prawo). Wszelkie jednolite pola sąreprezentowane w niskich częstotliwościach, szczegóły i krawędzie (bezwartości płaskich) znajdują reprezentacje w wysokich częstotliwościach.


Spis treściWstęp


Obraz kolorowy


W dwóch wymiarach odpowiednikiem filtru liniowego iinwariantnego czasowo jest ... filtr liniowy i inwariantnyprzestrzennie (jednorodny).

Filtr taki jest wyznaczony jednoznacznie przez odpowiedź naimpuls przestrzenny, który w tym przypadku jest deltą Diracana płaszczyźnie (lub w przypadku dyskretnym pojedynczyzapalony pixel na czarnym tle).

Odpowiedzią filtru na impuls jest pewien rozmazany obrazek.Z tego powodu odpowiedź impulsowa filtru dwuwymiarowegonazywa się czasem funkcją rozmazania punktu lub PSF -Point Spread Function.


Spis treściWstęp


Obraz kolorowy


Rysunek: Obraz rozmazany za pomocą eliptycznego operatora splotu.


Spis treściWstęp


Obraz kolorowy


Rozplatanie (deconvolution)

W pewnych zastosowaniach możemy natrafić na sprzyjająceokoliczności:

Otrzymujemy sygnał spleciony z pewnym operatorem

Znamy PSF tego operatora

Reprezentacja częstotliwościowa tego PSF jest odwracalna(nie ma zerowych częstotliwości w interesującym zakresie)

W takich okolicznościach możemy pokusić się o próbę”odwrócenia” splotu.


Spis treściWstęp


Obraz kolorowy


Rozplatanie (deconvolution)

Najkrócej rzecz ujmując schemat postępowania wyglądanastępująco:

Transformujemy PSF do dziedziny częstotliwości

Znajdujemy funkcję odwrotną (PSF (ω) ∗ PSF−1

(ω) = 1) dlakażdego ω w interesującym nas zakresie częstotliwości

Aplikujemy PSF−1

do bezpośrednio do transformaty obrazu,

lub transformujemy PSF−1

do dziedziny czasu (zależnie cojest bardziej efektywne i stabilne numerycznie)

Otrzymujemy ”odpleciony” obraz.


Spis treściWstęp


Obraz kolorowy


Rysunek: Obraz uzyskany w wyniku odwrócenia znanego operatorasplotu poprzez filtr Wienera.


Spis treściWstęp


Obraz kolorowy


Rozplatanie - kubeł zimnej wody

Rozplatanie ma jednak ograniczone zastosowanie bo:

Zazwyczaj nie znamy dokładnie PSF

Szum na obrazie może nie być jednorodny przestrzennie (np.poruszone zdjęcie może mieć składową radialną)

Szum może nie być liniowy (!) - aberracje optyczne często niesą liniowe!

Rozplatanie jest bardzo podatne na niedokładności PSF i wzwiązku z tym niestabilne numerycznie

PSF może nie być odwracalne w dziedzinie częstotliwości!

... Co nie zmienia faktu, iż jest technika którą warto znać!


Spis treściWstęp


Obraz kolorowy


Transformata Radona

Istnieje jeszcze jedna ważnatransformata dwuwymiarowegoobrazu:

Polega ona na”prześwietleniu” obrazuwzdłuż wszystkichkierunków

W wyniku tej transformacjipowstaje tak zwany”sinogram”

Takie sinogramy produkujenp. tomograf Rysunek: Schemat obrazowania

tomograficznego.


Spis treściWstęp


Obraz kolorowy


Rysunek: Obraz oryginalny i jego sinogram (w RGB).


Spis treściWstęp


Obraz kolorowy


Czy transformata Radona jest odwracalna?

Patrząc na pozwijany makaron sinogramu można odnieśćwrażenie, iż tracimy sporo informacji

Intuicja podpowiada na przykład, iż w ogólności nie da sięodtworzyć funkcji na podstawie jej rzutów na osie

Nawet mając wszystkie rzuty (kontury) nie da się odtworzyćfunkcji która ma minimum lokalne!

Tutaj jednak mamy nie rzuty a całki (prześwietlenia) i nawszystkie możliwe kierunki

Wszystko to powoduje, że transformata Radona jestodwracalna! Łatwo to pokazać za pomocą transformatyFouriera!


Spis treściWstęp


Obraz kolorowy


Projection-slice theorem

Twierdzenie (Projection-slice)

Transformata Fouriera projekcji (w sensie całkowym) funkcji napłaszczyźniea na pewną oś przechodzącą przez środek układuwspółrzędnych jest równa wycinkowi transformaty Fouriera całejfunkcji wzdłuż linii przechodzącej przez środek układuwspółrzędnych w dziedzinie częstotliwości pod tym samym kątemco linia rzutowa we współrzędnych przestrzennych.

aTwierdzenie ma odpowiedniki w wyższych wymiarach.

Mając sinogram, mamy transformaty Fouriera wzdłuż wycinkówpod wszystkimi kątami, możemy zatem zrekonstruować całątransformatę Fouriera, a zatem i oryginalny obraz!


Spis treściWstęp


Obraz kolorowy


Projection-slice theorem - Dowód

Dowód. Bez straty ogólności rozumowania można założyć, żerzutujemy funkcję na oś x. Wtedy

p(x) =

∫ ∞−∞

f (x , y)dy (13)

Natomiast transformata Fouriera funkcji f (x , y):

F (ωx , ωy ) =

∫ ∞−∞

∫ ∞−∞

f (x , y)e−2iπ(xωx+yωy )dxdy (14)


Spis treściWstęp


Obraz kolorowy


Projection-slice theorem - Dowód

Dowód. Wtedy wycinek transformaty to:

s(ωx) =F (ωx , 0) =

∫ ∞−∞

∫ ∞−∞

f (x , y)e−2iπxωxdxdy =

=

∫ ∞−∞

[∫ ∞−∞

f (x , y)dy]

e−2iπxωxdx =

=

∫ ∞−∞

p(x)e−2iπxωxdx = p(ωx)

(15)

Co kończy dowód. �


Spis treściWstęp


Obraz kolorowy


Owracanie Transformaty Radona - komentarz

Wynikająca prosto z powyższego dowodu metoda odwracaniatransformaty Radona nie jest najlepsza, ze względu naznaczne niestabilności numeryczne.

Zamiast tego w dwóch wymiarach2 stosuje się metodę zwaną”filtered back-projection” (”filtrowana projekcja zwrotna” ?).

2Nie uogólnia się bezpośrednio do większej ilości wymiarów, chociaż istniejąpewne uogólnienia.


Spis treściWstęp


Obraz kolorowy


Filtrowana projekcja zwrotna

Przypomnijmy, że transformata Radona dana jest następująco:

g(s, θ) = R(f ) =

∫ ∞−∞

∫ ∞−∞

f (x , y)δ(x cos θ+y sin θ−s)dxdy (16)

Zdefiniujmy operator wstecznej projekcji następująco:

B(g(s, θ))[x , y ] =

∫ π

0g(x cos θ + y sin θ, θ)dθ (17)

Operator ten ”rozsmarowuje” każdy z plasterków transformatyRadona z powrotem na płaszczyznę a następnie sumuje je powszystkich kątach. Operacja taka nie odwraca jednaktransformaty, obraz będzie bardzo rozmazany.


Spis treściWstęp


Obraz kolorowy


Filtrowana projekcja zwrotna

Popatrzmy na złożenie:

B(g)[x , y ] = B(R(f ))[x , y ] =

=

∫ π

0

∫ ∞−∞

∫ ∞−∞

f (u, v)δ(u cos θ + v sin θ − x cos θ − y sin θ)dudvdθ =

=

∫ ∞−∞

∫ ∞−∞

f (u, v)

(∫ π

0δ((u − x) cos θ + (v − y) sin θ)dθ

)dudv =

(18)

Przypatrzmy się całce w nawiasie (dla przejrzystości zamieniono zmienne):

d(r ,w) =

∫ π

0δ(r cos θ + w sin θ)dθ (19)

Zachowuje się ona miotła która zamiata całą płaszczyznę i zliczapunkty (tylko na przecięciu ”miotły” z punktem δ jest niezerowa).Tylko jak nadać temu ”czemuś” wartość w punkcie?


Spis treściWstęp


Obraz kolorowy


Problem w tym, że funkcja d zdefiniowana poniżej nie jest funkcją wklasycznym sensie a raczej dystrybucją

d(r ,w) =

∫ π

0δ(r cos θ + w sin θ)dθ (20)

Popatrzmy jak d zachowuje się wewnątrz całki przemnożone przez funkcjęcharakterystyczną IA jakiegoś podzbioru płaszczyzny.∫

IA(r ,w) ∗ d(r ,w)drdw =

∫A

∫ π

0δ(r cos θ + w sin θ)dθdrdw (21)

Powyższa całka wyliczy pole zbioru A przemnożone przez ”czas” który spędzana tym zbiorze promień wodzący! Jeśli będziemy próbkować wartości tej całkiinfinitezemalnymi zbiorami o mierze ε, to wynik zawsze będzie odwrotnieproporcjonalny od odległości zbioru próbkowego od punktu [0, 0]. Dla zbioru Aodległego od [0, 0] o l =

√l2r + l2

w będzie to∫IA(r ,w) ∗ d(r ,w)drdw ≈ ε

l=

ε√l2r + l2

w

(22)


Spis treściWstęp


Obraz kolorowy


Wracając do wzoru:

B(g)[x , y ] = B(R(f ))[x , y ] =

=

∫ ∞−∞

∫ ∞−∞

f (u, v)

(∫ π


)dudv =

(23)

ponieważ jesteśmy pod całką, możemy dystrybucję zastąpić jej gęstością:

=

∫ ∞−∞

∫ ∞−∞

f (u, v)

(∫ π


)dudv =

=

∫ ∞−∞

∫ ∞−∞

f (u, v)1√

(u − x)2 + (v − y)2dudv =

= f (x , y) ∗ ∗ 1√x2 + y 2

(24)

Mamy splot którego jądro znamy! Możemy więc wyostrzyć obrazznajdując odwrotność jądra splotu w dziedzinie częstotliwości.


Spis treściWstęp


Obraz kolorowy


Filtrowana projekcja zwrotna - jeszcze jeden trick

Przypomnijmy sobie ”Projection-slice theorem”.Ponieważ dwuwymiarowe rozplatanie może być kosztowne,zauważmy iż możemy zmienić kolejność działań:

Najpierw zaaplikować stosowny filtr do plasterkówtransformaty RadonaNastępnie wykonać projekcję wsteczną już bez potrzebyfiltrowania

Algorytm ten jest prosty, stabilny i powoduje, że tomografykomputerowe działają w szpitalach od wielu lat. Ładne demomożna zobaczyć tutaj: http://www.physics.ubc.ca/~mirg/home/tutorial/fbp_recon.html


http://www.physics.ubc.ca/~mirg/home/tutorial/fbp_recon.html

http://www.physics.ubc.ca/~mirg/home/tutorial/fbp_recon.html

Spis treściWstęp


Obraz kolorowy


Rysunek: Rekonstrukcje na podstawie sinogramów (filtrowana projekcjazwrotna).


Spis treściWstęp


Obraz kolorowy


Eliminacja szumu punktowego

W praktycznych zastosowaniach najczęstszym zakłóceniemobecnym w obrazach są przekłamane wartości pojedynczychpróbek (pixeli)

W pewnych przypadkach możemy mieć dodatkową informacjęo tym który pixel jest niewiarygodny (np. ustaloneuszkodzenia rejestratora)

W innych możemy być pozbawieni tej informacji (szumcieplny)

Szum punktowy jest z pewnością cechą występującą wokolicach częstotliwości Nyquista, więc może po prostuzastosować filtr dolnoprzepustowy? Są lepsze rozwiązania.


Spis treściWstęp


Obraz kolorowy


Rysunek: Przykładowe zdjęcie.


Spis treściWstęp


Obraz kolorowy


Rysunek: To samo zdjęcie z zaaplikowanym 30% (!) szumempunktowym.


Spis treściWstęp


Obraz kolorowy


W przypadku gdy niewiarygodne pixele są znane, najlepiej(oczywiście) rozpiąć wielomian interpolacyjny na punktachotaczających i zinterpolować. Zważywszy, że przeważająca częśćenergii przeciętnego obrazu skupiona jest w niskichczęstotliwościach, ten trick prawie zawsze działa bardzo dobrze.

Rysunek: Fragment obrazu zaszumionego i zinterpolowanego wzaszumionych punktach.


Spis treściWstęp


Obraz kolorowy


Rysunek: Zinterpolowany obraz.


Spis treściWstęp


Obraz kolorowy


W przypadku gdy nie wiemy które pixele są błędne, wydawałoby iżnie pozostaje nic innego jak zastosować filtr rozmywający iwygubić trochę wysokich częstotliwości. Jak się okazuje zwykłyfiltr dolnoprzepustowy (uśredniający) daje tutaj słabe rezultaty, owiele lepiej jest zastosować medianę!

Rysunek: Obraz uśredniony (lewy) i medianowany (prawy).


Spis treściWstęp


Obraz kolorowy


Dlaczego mediana działa lepiej?

Uśrednienie zachowuje całkowitą ”energię” obrazu, jedynieprzesuwając jej masę w kierunku niskich częstotliwości

Mediana natomiast potrafi wygubić energię (norma obrazu pozastosowaniu mediany może być istotnie mniejsza odoryginału), najlepiej jeśli filtr wytraca energię szumu!Zastanówmy się jak działa mediana na polu pixeli o tej samejwartości z jednym pixelem istotnie odbiegającym:

odstający pixel zostanie wygubiony (zastąpiony dominującąwartością)pozostałe pixele zostaną nienaruszone!norma (energia) obrazu się zmniejszyła!

Uwaga! Mediana nie jest filtrem liniowym i NIE wyraża się wterminach splotu!


Spis treściWstęp


Obraz kolorowy


Aliasing w 2d

Podobnie jak w przypadku sygnałów jednowymiarowych, tak iw 2d obowiązuje twierdzenie o próbkowaniu.

Analogicznie pojawia się także problem aliasingu, gdypróbkowany obraz zawiera częstotliwości powyżej proguNyquista.

W 2d efekt ten może przyjmować ciekawą formę rozmaitychdziwnych fal przebiegających przez obraz - efekt ten nosinazwę efektu Moire

Problem ten rozwiązujemy tymi samymi metodami co wprzypadku sygnału jednowymiarowego...


Spis treściWstęp


Obraz kolorowy


Rysunek: Obraz spróbkowany zbyt zgrubnie (ang. subsampled). Widaćwyraźny efekt Moire.


Spis treściWstęp


Obraz kolorowy


Rysunek: Ten sam obraz potraktowany filtrem dolnoprzepustowym przedpróbkowaniem.


Spis treściWstęp


Obraz kolorowy

Kolory i percepcjaReprezentacje kolorówZastosowania

Kolory

Jak wiadomo, ludzki aparat percepcji wzrokowej posiadareceptory, których maksimum czułości przypada w trzech różnychczęstotliwościachSą to długości fal: ∼ 445nm, ∼ 545nm i ∼ 570nm którymodpowiadają odpowiednio wrażenia kolorystyczne niebieskiego,zielonego i czerwonego.Z tego względu obrazy przeznaczone do oglądania przez ludzi sąpróbkowane niezależnie w trzech pasmach, z tego względu każdypixel składa się z trzech niezależnych intensywności.Uwaga: postrzegany kolor nie odpowiada składowi widmowemuświatła - można na nieskończenie wiele sposobów konstruowaćświatło które wywoła określone wrażenie kolorystyczne!Jednak światło o różnych widmach w różnym stopniu podlegadyfrakcji, więc nawet jeśli na pozór świetlówka i żarówka dają takisam kolor światła, percepcja obiektów przez nie oświetlonychmoże być inna!


Spis treściWstęp


Obraz kolorowy


Rysunek: Stopień odpowiedzi ludzkiego aparatu percepcji na światło ookreślonej długości fali ustalony przez CIE (International Commission onIllumination) w 1931 roku. Zauważmy, że zielony i czerwony wcale nie sąbardzo odległe!


Spis treściWstęp


Obraz kolorowy


Przestrzeń kolorów CIE XYZ

Dla ustalonych funkcji odpowiedzi możemy wyliczyć całkowitąodpowiedź na światło o widmie I (λ):

X =

∫ ∞0

I (λ)x(λ)dλ

Y =

∫ ∞0

I (λ)y(λ)dλ

Z =

∫ ∞0

I (λ)z(λ)dλ

(25)

Zatem dla ustalonych funkcji odpowiedzi przestrzeń kolorów jesttrójwymiarowa.


Spis treściWstęp


Obraz kolorowy


Całą przestrzeń kolorów można w sposób naturalny podzielić na składowechromatyczności i natężenia:

x =X

X + Y + Z

y =Y

X + Y + Z

z =Z

X + Y + Z= 1− x − y

(26)

Wtedy ustalając odpowiedź Y jako miarę całkowitego natężenia mamyreprezentację xyY :

X =Yy

x

Z =Yy

(1− x − y)

(27)

Dla maksymalnej wartości Y dostajemy wtedy diagramchromatyczności w terminach x , y zwany diagramem CIE 1931


Spis treściWstęp


Obraz kolorowy


520

560

540

580

600

620

700

500

490

480

470

460380

x

y

0.9

0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0.00.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8

Rysunek: Diagram CIE 1931


Spis treściWstęp


Obraz kolorowy


Model CIE RGB

Ze względów praktycznych (konstrukcji detektorów jak iurządzeń produkujących obraz) wygodnie jest rozpatrywaćprzestrzeń kolorów w której odpowiedź na sygnał malejeliniowo ze zmianą częstotliwościTakie modele rozpięte są na trzech kolorach (podstawowych),wszystkie inne kolory powstają jako suma ważona składowychpodstawowych.W ramach ważenia należy także ustalić punkt bieli, czylizestaw wag które produkują biel.Modele takie zazwyczaj rozpięte są na barwach podstawowychRGB (red, green, blue).Podzbiór kolorów danego modelu w przestrzeni CIE xyYnazywa się Gamutem.


Spis treściWstęp


Obraz kolorowy


Rysunek: Gamut CIE RGB


Spis treściWstęp


Obraz kolorowy


Modele RGB

Dzisiejsze komputery zazwyczaj pracują w modelu sRGB oskładowych R = [0.64, 0.33], G = [0.3, 0.6], B = [0.15, 0.06](w CIExyY) oraz punkcie bieli D65 = [0.3128, 0.3290]odpowiadającemu temperaturze barwowej promeniowaniaciała doskonale czarnego o temperaturze 6504K.

Każde urządzenie takie jak monitor czy skaner ma swojewłasne profile kolorystyczne i powinno być kalibrowane w celuuzyskania maksymalnej jakości obrazu. Niestety wiele osób niema o tym pojęcia...


Spis treściWstęp


Obraz kolorowy


Inne modele kolorów

Istnieje także wiele innych reprezentacji kolorów

HSL - ze składowymi chromatycznymi Hue (odcień) iSaturation (natężenie) oraz składową luminacji Lightness

HSV - podobny do HSL, jednak z inną reprezentacją luminacji

CMYK - Cyan Magenta Yellow Black - model substraktywnyużywany w poligrafii

YUV - ze składową luminacji luma (Y) oraz dwomaskładowymi chromatycznymi UV - używany w telewizji (abyłagodnie przejść od telewizji czarno-białej do kolorowej) ikompresji JPEG

CIE 1976 LAB ze składową luminacji L i składowymichromatycznymi ab, opracowany ze szczególnymuwzględnieniem specyfiki ludziej percepcji


Spis treściWstęp


Obraz kolorowy


Zastosowania

Po co w przetwarzaniu obrazu wszystkie te modele kolorów?Nie lepiej ustalić jeden najlepszy i zapomnieć o innych?

Rzecz w tym, że różne modele mają różne zalety i wady - niema najlepszego!

Na koniec szybki przykład - przypomnijmy cechy transformatyFouriera obrazu, a konkretnie to, że w wysokichczęstotliwościach jest niewiele informacji kolorystycznej, jak towykorzystać?


Spis treściWstęp


Obraz kolorowy


Zastosowania

W przeciętnym zdjęciu widmo w wysokich częstotliwościachjest zazwyczaj praktycznie takie samo dla wszystkichskładowych RGB.

Wynika to z tego, iż w obrazach rzadko mamy krawędzie wjednej składowej kolorystycznej których nie ma w innych...

Jeśli są jakieś różnice kolorystyczne w wysokichczęstotliwościach, zazwyczaj ich źródłem jest szum cieplny

Jeśli zaaplikujemy filtr wyostrzający (górnoprzepustowy) naskładowych RGB mamy szansę wzmocnić szum!


Spis treściWstęp


Obraz kolorowy


Zastosowania

Znacznie lepszy rozwiązaniem jest przejść do jednej zreprezentacji gdzie składowa luminacji jest oddzielona odskładowych chromatycznych (najlepiej LAB lub HSL)

Zaaplikować filtr górnoprzepustowy jedynie do składowejluminacji (na której szum cieplny jest uśredniony)

Złożyć obraz z powrotem do RGB

W ten sposób wzmocnimy wysokie częstotliwości, jednocześnienie wzmacniając wariancji kolorystycznych tych częstotliwości!


Spis treściWstęp


Obraz kolorowy


Rysunek: Przykładowy obraz z lekkim szumem cieplnym.


Spis treściWstęp


Obraz kolorowy


Rysunek: Obraz potraktowany filtrem górnoprzepustowym w RGB.


Spis treściWstęp


Obraz kolorowy


Rysunek: Obraz potraktowany filtrem górnoprzepustowym składowej Lprzestrzeni LAB.


Spis treściWstęp


Obraz kolorowy


Dziekuję za uwagę!


Filip Piękniewski 3 maja 2008filip.piekniewski.info/stuff/sem_dok2008.pdfwielomiany są zadane...

Documents

Transcript of Filip Piękniewski 3 maja 2008filip.piekniewski.info/stuff/sem_dok2008.pdfwielomiany są zadane...