k F P Reprezentacja widmowa - pforczmanski.zut.edu.pl

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

1 / 61

Reprezentacja widmowa

dr inż. Paweł ForczmańskiKatedra Systemów Multimedialnych, Wydział Informatyki ZUT

Informatyka, S1 sem. letni, 2014/2015, wykład#5

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

2 / 61

Jean Baptiste Joseph FourierJean Baptiste Joseph Fourier

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

3 / 61

Transformacje obrazu:

→punktowe

→lokalne

→globalne

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

4 / 61

Liniowe transformacje globalne Liniowe transformacje globalne obrazuobrazu

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

5 / 61

Ogólne własnościOgólne własności

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

6 / 61

dla funkcji ciągłych:

Transformata Fouriera Transformata Fouriera (jednowymiarowa)(jednowymiarowa)

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

7 / 61

dla funkcji ciągłych:

Transformata Fouriera Transformata Fouriera (dwuwymiarowa)(dwuwymiarowa)

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

8 / 61

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

9 / 61

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

10 / 61

W cyfrowej obróbce obrazu zakłada się, że obraz jest dyskretną funk-cją okresową o okresie (N,N)

Obraz cyfrowy jako dyskretna Obraz cyfrowy jako dyskretna funkcja okresowafunkcja okresowa

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

11 / 61

Dla sygnałów dyskretnychDla sygnałów dyskretnych

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

12 / 61

Separowalność transformaty Fouriera:

FT wg wierszy → FT wg kolumn


.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

13 / 61


.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

14 / 61

Widmo obrazu dane jest w postaci zespolonej. Można je rozłożyć na dwie części: moduł i fazę:

Reprezentacja geometryczna liczb zespolonych →

Faza i moduł widmaFaza i moduł widma

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

15 / 61

W praktyce moduł widma zwany jest czasem widmem amplitudowym, a faza widma – widmem fazowym.

Przykładowy obraz Moduł Faza

Faza i moduł widmaFaza i moduł widma

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

16 / 61

Aby wykonać klasyczną transformatę Fouriera na sygnale dyskretnymnależy posłużyć się wzorem:

1

0

2 1,0),exp()()(N

n

NNkkn jnxkC

Obliczanie TF według powyższego wzoru wymaga N*N obliczeńz liczbami zespolonymi. W celu zmniejszenia złożoności obliczeniowejmożna dokonać następującego przekształcenia:

Budowa algorytmu FFTBudowa algorytmu FFT

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

17 / 61

Wektor przedstawiamy w postaci dwóch nowych wektorów:

X (p) i X (np) w następujący sposób:

gdzie “p” oznacza elementy parzyste, a “np” - elementy nieparzyste.Przekształcając wzór na transformatę Fouriera pod względemrozłożonego wektora na dwie składowe, otrzymujemy:

12

,0,)12()(

)2()((n p)

Nn

nxnXnxnX (p)

Budowa algorytmu FFT (2)Budowa algorytmu FFT (2)

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

18 / 61

Przekształcając wzór na transformatę Fouriera pod względemrozłożonego na dwie składowe wektora, otrzymujemy:


.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

19 / 61

Jest to zwykłe dyskretne przekształcenie Fouriera (DFT), gdy okreswynosi N/2 próbek, i jest współczynnikiem, który zależy tylko od k.Z tego wynika że składową C(k) można obliczyć w nast. sposób:


.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

20 / 61

22 2

24 2

2 22

N N N NN

Był to graf FFT dla N = 8

Ponieważ dla

w dolnej części grafu na wcześniejszym rys. mamy odejmowanie.

W j k N k NNk exp / , ,2 0 1

k N W WNk N

Nk ( / ), /2 2

Liczba operacji w przedstawionym algorytmie jest równa:


.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

21 / 61

Operacja DFT dla N = 4 wygląda następująco:


.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

22 / 61

Dodając poszczególne części grafów otrzymujemy:

Graf FFT dla N = 8 , W j k N k NNk exp / , ,2 0 1


.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

23 / 61

Zastosowania reprezentacji widmowej obrazu:

FiltracjaAnaliza (rozpoznawanie)KodowanieKompresjaCyfrowe znaki wodne (digital watermarking)

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

24 / 61

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

25 / 61

Transformaty umożliwiają rozłożenie funkcji jasności,będącej dyskretną funkcją dwóch zmiennych, nasuperpozycję funkcji bazowych transformaty.• DCT (ang. discrete cosine transform, czyli dyskretnatransformacja cosinusowa) - jedna z najpopularniejszych blo-kowych transformacji danych.

Jest szczególnie popularna w stratnej kompresji danych.• DCT przekształca skończony ciąg N liczb rzeczywistychg(0), … , g(N-1) w ciąg liczb rzeczywistychG(0), ..., G(N-1) zgodnie z zależnościami:

Transformata w kompresjiTransformata w kompresji

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

26 / 61

Transformata w kompresjiTransformata w kompresji

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

27 / 61

Transformata DCT 1DTransformata DCT 1D

Jeśli f(i, j) oznacza wartość piksla leżącego w punkcie o współrzędnych (i, j), a F(u, v) reprezentuje dwuwymiarowy współczynnik transformaty ze składową harmoniczną rzędu u wzdłuż osi U i składową harmoniczną rzędu v wzdłuż osi V (gdzie U i V odpowiadają osiom I i J), wówczas F(u, v) definiowane są jako:

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

28 / 61

DCT2DCT2

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

29 / 61

Obliczanie DCT2D na podstawie DCT Obliczanie DCT2D na podstawie DCT 1D1D

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

30 / 61

Czym jest JPEG ?

"Joint Photographic Expert Group". Międzynarodowy

standard od roku 1992. Grupa JPEG - 1986.

Operuje na rzeczywistych obrazach kolorowych i w

odcieniach szarości – szerokie spektrum zastosowań.

Ukończone prace nad standardem JPEG2000, który

wykorzystuje kompresję falkową (wavelet compression)

Ciągle rozszerzany – wprowadzenie formatu JPEG-LS

(bezstratnego o wysokim współczynniku kompresji)

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

31 / 61

założenia formatu JPEG:

Obraz monochromatyczny (w odcieniach szarości) – tablica

punktów opisujących jasność punktów obrazu

Obraz barwny (wielokolorowy) – tablica liczb całkowitych

(zwykle 3 tablice) opisujące obraz w ustalonym modelu

barwnym (np. RGB)

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

32 / 61

AlgorytmAlgorytm

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

33 / 61

Konwersja RGB → YIQ (YCbC

r)

DCT (Discrete Cosine Transformation)

Kwantyzacja (Quantization )

Skanowanie alg. Zigzag

Kodowanie składowych częstotliwościowych

(DPCM, RLE, Entropia)

Podstawowe etapy algorytmu JPEGPodstawowe etapy algorytmu JPEG

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

34 / 61

Obraz wejściowy RGB dany jest za pomocą 3 tablic:

R=[ rij ], G=[ g

ij ], B=[ b

ij ];

konwersja polega na opisaniu obrazu za pomocą 3 nowych

tablic Y,I,Q:

[yij

iij

q ij]=[ 0.229 0.587 0.114

−0.168 −0.257 −0.3210.212 −0.528 0.311 ][

rij

g ij

b ij]

Konwersja do YIQKonwersja do YIQ

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

35 / 61

Obraz wyjściowy YIQ opisany jest za pomocą 3 tablic: Y=[ y

ij ], I=[ i

ij ], Q=[ q

ij ];

tablica Y odpowiada za luminancję (jasność), natomiast

tablice I i Q – za chrominancję (kolor)

Konwersja do YIQ (2)Konwersja do YIQ (2)

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

36 / 61

Subsampling koloruSubsampling koloru

Schemat subsamplingu jest często opisywany jako stosunek trzech ele-mentów (np. 4:2:2), części te to (w kolejności):●Luminancja (Luma, Y) pozioma wartość próbkowania (początkowo, jako wielokrotność 3.579 MHz w systemie NTSC) ●Chrominancja R (Cr) – współczynnik poziomego próbkowania (w sto-sunku do pierwszej wartości)●Chrominancja B (Cb) – współczynnik poziomego próbkowania (w sto-sunku do pierwszej wartości). Wyjątkiem jest zero, co oznacza że war-tość Cb jest równa Cr i jednocześnie Cb i Cr są próbkowane w stosunku 2:1 w kierunku pionowym.

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

37 / 61

Subsampling koloruSubsampling koloru

Schemat 4:2:0 jest stosowany w:●wszystkie wersje MPEG video (MPEG-1, MPEG-2/DVD). Niektóre wyższe profile MPEG-4 stosują 4:4:4●PAL, DV, DVCAM●większość implementacji JPEG/JFIF, H.261 i MJPEG

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

38 / 61

=

+ W1*

+ W2*

+ W3*

+ . . .

Zestaw funkcji bazowychZestaw funkcji bazowych

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

39 / 61

PodziałPodział

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

40 / 61

Blokpo DCT2 / Tablica

kwantyzacji =Blokdo

kodowania(skanowania ZIGZAG)

Kwantyzacja współczynników DCT2 Kwantyzacja współczynników DCT2 w blokuw bloku

Kwantyzacja współczynnikówtransformaty F(u, v)otrzymanych z kodowaniaDCT przy pomocy macierzyKwantyzacji.

Polega na dzieleniu każdego ze współczynników F(u, v) przezodpowiadający mu elementtablicy dwuwymiarowejQ(u, v)

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

41 / 61

W jakim celu? -- aby zgrupować współczynniki niskoczęstotliwościowe na początku wektora

Przejście z macierzy 8 x 8 na wektor 1 x 64

Skanowanie Zig-zagSkanowanie Zig-zag

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

42 / 61

Usuwanie wspólczynników DCTUsuwanie wspólczynników DCT

W jakim celu? -współczynniki o niewielkim znaczeniu są usuwane (zerowane)

Współczynniki DCT (reprezentacja 1D)

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

43 / 61

Dlaczego DCT a nie FFT?Dlaczego DCT a nie FFT?

FFT zakłada, że sygnał jest okresowy,co powoduje, że po odrzuceniu wybranych współczynników, po dekompresji powstają silne zniekształcenia brzegowe...

.::

PRZE

TWAR

ZAN

IE O

BRAZ

ÓW

::.

Paw

eł F

orcz

mań

ski

44 / 61

8kB - JPEG

8kB - JPG2000

45kB - JPEG

Kompresja stratna obrazów Kompresja stratna obrazów nieruchomychnieruchomych

k F P Reprezentacja widmowa - pforczmanski.zut.edu.pl

Documents

Transcript of k F P Reprezentacja widmowa - pforczmanski.zut.edu.pl