Program wykładu

1. Systemy rejestracji obrazów – technologie CCD, CMOS

2. Cyfrowe metody obróbki obrazów ruchomych, metody cyfrowego polepszania obrazów

3. Metody kompresji i zapisu obrazów cyfrowych (MPEG1 i MPEG2)

informatyka + 2

Etapy przetwarzania sygnału wizyjnego

informatyka + 3

Zanim obraz zostanie poddany cyfrowej obróbce, musi być przekształcony do postaci elektrycznej w przetworniku analizującym, a następnie poddany dyskretyzacji i kwantyzacji.

we/wy cyfrowe Kompresja

Próbkowanie

SkanowanieA/C C/ABufor ramek

Wy analogoweWe analogowe

Procesy zachodzące w analizatorach obrazu

• Przetwarzanie optoelektryczne, polegające na proporcjonalnej do natężenia oświetlenia modyfikacji elektrycznych właściwości ciała stałego.

• Akumulacja wytworzonej informacji elektrycznej w miejscu jej powstania, do czasu jej odczytu.

• Adresowanie, czyli odczytanie wytworzonej informacji (modyfikacji) elektrycznej i opatrzenia jej adresem, umożliwiającym określenie kierunku (lub miejsca) padania odpowiadającego tej informacji strumienia świetlnego.

informatyka + 4

Przetwarzanie optoelektryczne

Efekt Fotoelektryczny - polega na uwalnianiu elektronów pozostających normalnie w stanie niewzbudzonym (w tzw. paśmie podstawowym) do pasma przewodzenia, w wyniku absorpcji przez ten elektron fotonu o określonej energii.

•Efekt fotoelektryczny zewnętrzny - energia fotonu jest na tyle duża, że elektron po wzbudzeniu opuszcza strukturę materiału.

•Efekt fotoelektryczny wewnętrzny - w wyniku efektu fotoelektrycznego wzbudzony elektron pozostaje wewnątrz struktury materiału.

Materiał wykazujący zjawisko efektu fotoelektrycznego wewnętrznego, zwany dalej materiałem światłoczułym (fotoprzewodnikiem), jest zawsze półprzewodnikiem o właściwościach przewodzących bliższych izolatorom, tzn. o bardzo dużej rezystancji powierzchniowej i skrośnej.

informatyka + 5

Akumulacja i adresowanie pikseli

• Akumulacja ładunku ma za zadanie podwyższenie czułości analizatora obrazów.

• Adresowanie polega na wytwarzaniu informacji o wartości i położeniu (adresie) fotoładunku zgromadzonym w określonym pikselu.

• Adresowanie może być dokonywane w sposób ciągły (analogowo) lub - jeżeli na powierzchni światłoczułej wytworzono skończoną liczbę elementów przetwarzająco-akumulujących - w sposób dyskretny.

informatyka + 6

Adresowanie pikseli

informatyka + 7

Adresowanie za pomocą rejestru przesuwającego, stosowane w analizatorach typu CTD.

Koncepcja budowy analizatora obrazów typu CTD

informatyka + 8

Fotoładunki są generowane i akumulowane - podczas okresu akumulacji - w umieszczonych pionowo obok siebie analizatorach linii,  nazywanych analizatorami kolumn. Rejestr adresujący każdego z analizatorów kolumn nie jest zakończony przetwornikiem q/U, lecz dołączony do przypisanego mu ogniwa rejestru przesuwającego CCD, zwanego rejestrem wyjściowym.

Zasada budowy analizatora obrazów typu CCD FT (z przesuwem półobrazu)

informatyka + 9

Bezpośrednie zastosowanie w koncepcji analizatora rejestrów przesuwających jako analizatorów kolumn nie jest możliwe, ze względu na zbyt długi czas transferu fotoładunków, równy okresowi akumulacji. Zaplamienie analizowanych obrazów osiągnęłoby w takim przypadku nieakceptowalny poziom.

APS (Active Pixel Sensors)

informatyka + 10

Przetworniki Charge Coupled Devices (CCD) opracowano we wczesnych latach 70. XX wieku z przeznaczeniem do akwizycji obrazu z niskim poziomem szumów.

Przetworniki typu CMOS Active Pixel Sensors opracowano w drugiej połowie lat 90. XX wieku w celu zmniejszenia kosztów produkcji sensorów i zmniejszenia poboru mocy.

APS – korzyści

• Niski pobór mocy(ok. 50 mW), 3.3V cyfrowe wyjście wideo

• Niższe koszty komponentów (redukcja ok. 5X)

• Łatwość integracji przetworników w układach scalonych

• kamera w jednym układzie scalonym• wyjścia cyfrowe• zoom elektroniczny / okna w oknach• kompresja obrazu

• Redukcja zależności od japońskich części

• CCDs• kontrolery

informatyka + 11

Architektura – CMOS APS

informatyka + 12

W odróżnieniu od matryc CCD, w matrycach CMOS każdy piksel ma swój przetwornik ładunku na napięcie, każdy piksel ma swój „adres” i

jego zawartość może być odczytana w dowolnej kolejności

Trójprzetwornikowa analiza obrazu barwnego

informatyka + 13

FO1, FO2, FO3 – kanałowe filtry optyczne,us i   (i= R,G,B) – wyjściowe sygnały obrazu barw podstawowych.

Zasada konstrukcji analizatora obrazów barwnych

informatyka + 14

a) zasada naświetlania analizatora, b) przykładowe wzajemne usytuowanie segmentów barwnych w dyskretnym filtrze trójchromatycznym DFT, c) i d) przykładowe struktury filtrów Bayera: c) z segmentami addytywnymi: R i B),

d) z segmentami subtraktywnymi (–R) i (–B)

Filtry mozaikowe

informatyka + 15

Na jeden piksel czerwony lub niebieski przypadają dwa zielone.

Odpowiada to warunkom widzenia człowieka, które najczulej reaguje na zmiany jasności w zielonej części widma.

Aby uzyskać dane o kolorze danego punku musimy skorzystać z algorytmu interpolacji i danych z sąsiednich pikseli.

System do cyfrowego przetwarzania obrazów ruchomych

informatyka + 16

Kamery cyfrowe

informatyka + 17

Taśmy: MiniDV, Digital 8.

Parametry: - rozdzielczość 500 do 540 linii - dźwięk – 2 kanały rozdzielczości 16 bitów z

próbkowaniem 48 kHz lub 4 kanały 12 bitów 32 kHz - port IEEE 1394 – FireWire

Komputerowa edycja obrazu

• Upowszechnienie się w kamerach amatorskich cyfrowego standardu DV spowodowało znaczące zmiany w konstrukcji kart i programów edycyjnych.

• Standard DV umożliwia, przy stopniu kompresji 5:1, osiągnięcie dobrej jakości obrazu o rozdzielczości poziomej 500 linii.

• Karty komputerowe zostały wyposażone w interfejs IEEE 1394 umożliwiający dwukierunkową transmisję skompresowanego sygnału DV.

• Przy szybkich komputerach kodek DV może być realizowany programowo. Powszechne użycie DVD jako kolejnego po kasecie DV nośnika cyfrowego, spowodowało pojawienie się kart komputerowych stosujących kompresję MPEG-2.

informatyka + 18

System 3CCD

informatyka + 19

Podstawą technologii zawartej w przetwornikach obrazu 3CCD jest pryzmat, który rozszczepia światło na trzy podstawowe kolory RGB

Skanowanie

informatyka + 20

Odczyt zawartości bufora w trybie międzyliniowym lub kolejnoliniowym (skanowanie progresywne)

Skanowanie międzyliniowe

Skanowanie progresywne

informatyka + 21

Przykład zastosowaniaskanowania progresywnegooraz międzyliniowego

4CIF - 704 x 5962CIF - 704 x 288

Efekty specjalne

informatyka + 2222

Kluczowanie Chroma Key:

nałożenie na zwykle niebieskie lub zielone tło nowego obrazu.

Standardy MPEG

• MPEG-1 (1992) – umożliwia przesyłanie obrazu audio-video z przepustowością 1,5 Mb/s przy rozdzielczości ekranu 352x240 lub 352x288. Standard ten pozwolił na stworzenie cyfrowego zapisu audio-video Video CD, którego jakość była porównywalna do standardu VHS.

• MPEG-2 (1994) – umożliwia przesyłanie obrazów o znacznie większych rozdzielczościach, aż do 1920 x 1152 punktów, i przepustowości między 3 a 100 Mb/s. Standard ten otwarł drogę do opracowania i wdrożenia cyfrowych standardów emisji programów telewizyjnych.

• MPEG-4 (1999) – przystosowany został głównie do kompresji danych strumieniowych (np. wideokonferencje), oferuje najwyższy stopień kompresji z całej rodziny standardów MPEG.

informatyka + 23

Kompresja MPEG-1

informatyka + 24

MPEG-1MPEG-1

Szybkość bitowa:Szybkość bitowa:

1,5Mb/s1,5Mb/s

nośnik nośnik magnetycznmagnetycznyy

nośnik nośnik optycznyoptyczny

sieć sieć komputerokomputerowawa

Rozdzielczość:Rozdzielczość:

SFI SFI (Source Intermediate (Source Intermediate

Format)Format) 352p x 240l x 352p x 240l x 30FPS 352p x 288l x 30FPS 352p x 288l x 25FPS25FPS

Przestrzeń kolorów RGB i YCbCr

Tryb YCbCr przechowuje informacje o kolorze jako • luminacja (jasność - Brightness) • chrominancja (barwa - Hue)

Tryb YCbCr jest używany przy kompresji MPEG ponieważ umożliwia osiągnięcie lepszego współczynnika kompresji niż tryb RGB

Y = 0.299(R – G) + G + 0.114(B – G)

Cb = 0.564(B – Y);

Cr = 0.713(R – Y)

informatyka + 25

Przestrzeń kolorów RGB i YCbCr

informatyka + 26

Składowe luminancji Y i chrominancji CR CB

obrazu kolorowego.

MPEG-1 struktura próbek w obrazie

informatyka + 27

Dla standardu MPEG-1 przyjęto strukturę próbkowania 4:2:0 (na 4 próbki luminancji przypadają dwie próbki chrominancji w jednej linii, oraz 0 próbek chrominancji w kolejnej linii). Wartość próbek chrominancji wyznacza się poprzez interpolację dla położenia pośrodku kwadratu złożonego z próbek luminancji.

MPEG-1 struktura próbek w obrazie

Makroblok to elementarna porcja obrazu kodowana przez koder MPEG. Jest to zestaw czterech bloków luminancji Y, jednego bloku chrominancji Cr i jednego bloku chrominancji Cb.

informatyka + 28

MPEG-1 struktura próbek w obrazie

Przekrój (slice) to pośrednia struktura złożona z pewnej liczby makrobloków występujących kolejno w porządku rastrowym. Może zaczynać się i kończyć w dowolnym miejscu wiersza obrazu i rozciągać się na wiele wierszy.

informatyka + 29

Transformara kosinusowa (DCT)

informatyka + 3030

Przekształcenie macierzy amplitud z(i,j) w macierz Z(k,l) współczynników transformat

DCTDCTDCTDCTPrzekształcenie macierzy Z(k,l) w blok pikseli z(i,j)

IDCTIDCT

Odwracalność transformacji DCT

DCT DCT ⇄⇄ IDCT IDCT

operuje na znormalizowanych blokach 8x8 pikseli

przekształca dane do postaci umożliwiającej zastosowanie efektywnych metod kompresji

Fizyczna interpretacja współczynników macierzy DCT

informatyka + 31

Kwantyzacja

Kwantyzacja polega na przeskalowaniu współczynników DCT poprzez podzielnie ich przez właściwy współczynnik znajdujący się w tabeli kwantyzacji, a następnie zaokrągleniu wyniku do najbliższej liczby całkowitej. Proces kwantyzacji można opisać równaniem:

gdzie:

F(x,y) – współczynniki transformacji,

Q(x,y) – tablica kwantyzacji,

round(x) – funkcja zaokrąglająca x do najbliższej liczby całkowitej.

informatyka + 32

))y,x(Q

)y,x(F(round)x(k

Kodowanie Huffmana

informatyka + 33

• Dla każdego znaku utwórz drzewa złożone tylko z korzenia i ułóż w malejącym porządku ich częstości występowania.

• Dopóki istnieją przynajmniej dwa drzewa:– z drzew t1 i t2 o najmniejszych częstościach występowania p1 i p2

utwórz drzewo zawierające w korzeniu częstość p12 = p1+p2,– przypisz „0” każdej lewej, a „1” każdej prawej gałęzi drzewa.

• Utwórz słowo kodu dla każdego znaku przechodząc od korzenia do liścia.

Przykład:

Z={A,B,C,D,E,F},

P={0.35, 0.17, 0.17, 0.16, 0.10, 0.05}

MPEG-1 obrazy typu I

Kodowane są podobnie jak obrazy nieruchome w standardzie JPEG.

1. I etap: obraz dzielony jest na rozłączne makrobloki (4 bloki próbek sygnału luminancji i 2 chrominancji).

2. II etap: niezależne przekształcanie każdego bloku przy wykorzystaniu DCT.

3. III etap: kwantowanie - podzielenie każdego współczynnika z macierzy DCT przez odpowiedni współczynnik z tablicy kwantyzacjii zaokrąglenie wyniku do liczby całkowitej (utrata części informacji).

4. IV etap: kodowanie kodem Huffmana skwantowanych współczynników macierzy DCT. O stopniu kompresji tego etapu decyduje liczba poziomów kwantyzacji współczynników macierzy DCT- im mniejsza liczba poziomów, tym większa kompresja.

informatyka + 34

MPEG-1 Obrazy typu P

• Definiowanie elementów ruchomych: dla każdego makrobloku obrazu bieżącego wyszukuje się najbardziej podobny blok 16x16 pikseli w poprzednim obrazie typu I lub P. Dopasowuje się je tylko do składowej luminancji.

• Zakłada się jedynie liniowe przesunięcie bloku pikseli, nie uwzględnia się obrotu ani zmiany wymiaru bloku.

• Położenie znalezionego bloku określa się za pomocą wektora przesunięcia tego bloku w stosunku do makrobloku w obrazie typu P- tzw. wektora ruchu.

informatyka + 35

MPEG-1 Obrazy typu B

informatyka + 36

Obrazy typu B kodowane są podobnie jak obrazy typu PKodowana jest różnica między bieżącym makroblokiema jego predykcją.

predykcja

wyznaczenie bloku prognozowanego poprzez interpolację ze znalezionych bloków: wcześniejszego i późniejszego

poszukiwanie najbardziej podobnych bloków w dwu obrazach odniesienia: wcześniejszym i późniejszym

wyznaczenie dwóch wektorów ruchu

MPEG–1 obrazy typu B

informatyka + 37

MPEG-1 GOP

informatyka + 38

Sekwencja obrazów video w standardzie MPEG dzielona jest na grupy obrazów GOP (Group Of Pictures)

MPEG1 kolejność transmisji ramek

informatyka + 39

I B B B P B B B P B B B I

MPEG-2

informatyka + 40

MPEG-2MPEG-2

SDTVSDTVtelewizja

standardowej rozdzielczośc

i

HDTVHDTVtelewizja

wysokiej rozdzielczośc

i

Szybkość Szybkość bitowa:bitowa:10Mb/s 40Mb/s10Mb/s 40Mb/s

Przeznaczony do rozpowszechniania telewizji programowej• przetwarzanie obrazów z wybieraniem międzyliniowym

• większa rozdzielczość próbkowania

• zmieniona i rozszerzona struktura próbkowania chrominancji

• skalowalność jakościowa

• przestrzenne kodowanie obrazu

MPEG-2 struktura próbkowania

informatyka + 41

Struktury próbkowania w standardzie MPEG-2

MPEG-2 struktura makrobloku

informatyka + 42

Struktury makrobloków dla różnych struktur próbkowania

4:4:44:4:4 4:2:24:2:2 4:2:04:2:0

MPEG-2 struktura makrobloku

informatyka + 43

Wybieranie międzyliniowe ramka sygnału składa się z dwóch pól

Struktura Struktura makrobloku makrobloku luminancji luminancji podczas podczas kodowania DCT kodowania DCT ramkiramki

Struktura Struktura makrobloku makrobloku luminancji luminancji podczas podczas kodowania DCT kodowania DCT polapola

MPEG-2 profile i poziomy

informatyka + 44

informatyka + 46