dr hab. Paweł Strumiłło dr hab. Michał Strzelecki · Zaliczenie: raport + referat wygłoszony...

dr hab. Paweł Strumiłło dr hab. Michał [email protected] [email protected]

(2 godz. wykład, 2 godz. laboratorium/projekt)

Strumillo, Strzelecki

“Jeden obraz jest

wart więcej niż

tysiące słów”

Anonimus

Forma zaliczenia

I. Materiał wykładowyDwa kolokwia w czasie semestru (cz. I i Cz. II),

wyniki ważone po 50%, ale jest konieczne zaliczenie

każdej z części

II. Projekt Grupy ćwiczeniowe otrzymują do samodzielnego

wykonania projekty z zakresu przetwarzania i analizy

obrazów.

Zaliczenie: raport + referat wygłoszony przez grupę

ćwiczeniową.

Literatura:

1. Notatki i materiały wykładowe (pliki *.pdf)

(http://www.eletel.p.lodz.pl/~pstrumil)

2. A. Materka, Elementy przetwarzania obrazów,

PWN, 1991.

3. R. Tadeusiewicz, Systemy wizyjne robotów przemysłowych, WNT

1992.

4. R. Tadeusiewicz, P. Korohoda, Komputerowa

analiza i przetwarzanie obrazów, Wyd. Fundacji Postępu

Telekomunikacji, Kraków 1997.

5. T. Pavlidis, Grafika i przetwarzanie obrazów,

WNT, 1987.

6. W. Skarbek, Metody reprezentacji obrazów cyfrowych, Akademicka

Oficyna Wydawnicza, Warszawa, 1993.

Cele przetwarzania obrazów

Poprawa jakości obrazu

(np. w 1964, zastosowano komputerowe metody do poprawy jakości obrazu zdjęć Księżyca przesłanych przez sondę kosmiczną Ranger 7 w Jet Propulsion Laboratory (JPL), USA)

© JPL


MIT

Poprawa jakości obrazu


(np. czas transmisji pierwszego przesłania

obrazu kablem położonym na dnie oceanu

w 1920, obliczono na ok. 1 tyg., po

zastosowaniu technik kompresji danych

czas transmisji skrócił się do 3 godz.)

©IOC, Antwerp

Przetworzenie obrazu do postaci umożliwiającej pomiar wybranych jego cech, automatycznej analizy lub transmisji.

Playboy Magazine

JPEG 0.1 JPEG 0.1 bppbpp WaveletWavelet 0.1 0.1 bppbpp

JPEG-2000

8 8 bppbpp



Obraz RTG

ziarna pszenicy

Cele analizy (rozpoznawania) obrazów


Baza obrazów z odciskami palców FBI 1992

Biometria


Stereowizja – analiza sceny trójwymiarowej

Wytworzenie

obrazu głębi

Obraz lewyObraz lewy Obraz prawyObraz prawy

Obraz głębiObraz głębiw w pseudokolorachpseudokolorach

Wydzielone Wydzielone najbliższenajbliższe obiektyobiekty

„Rozumienie” obrazów

ląd

woda

zieleń

niebo

?

Biologiczny model systemy

analizy obrazów

Obraz (90% informacji)

Decyzja!

Komputerowy system analizy obrazów

Przetwarzanie wstępne

Przetwarzanie wstępne

Wydzielanie cech

Wydzielanie cech

SegmentacjaSegmentacja

Analiza cech obrazu

Analiza cech obrazu

Komputer+

program+

baza wiedzy

Komputer+

program+

baza wiedzy

Akw

izycja

obra

zu

9

Ramowy program przedmiotu:

1. Akwizycja i reprezentacja obrazu

2. Poprawa jakości obrazu (ang. image enhancement)

3. Restauracja obrazu (ang. image restoration)

4. Analiza obrazu (ang. image analysis)

5. Kompresja obrazów (ang. image coding)

6. Stereowizja (ang. stereovision)

Polepszanie jakości obrazu

transformacja skali jasności

Praktyczny przykład restauracji obrazu

Ruch kamery wczasie ekspozycji

Obraz po korekcji

Addison_Wesley Inc.

Akwizycja obrazu

Wydzielanie cech

Ilościowy opis cech

Rozpoznawanie

obiektów

15

12

9

15

10

12

2115

14

13

Przykład zadania analizy obrazów

Kompresja obrazów (JPEG, MPEG, JPEG2000)

czyli ...

jak przeciągnąć słonia przez ucho igielne

Obraz źródłowy

Kanał

transmisyjny

(pamięć komputera)

Obraz

zrekonstruowany

Systemy analizy obrazów - zastosowania

• nauka i przemysł (kontrola jakości produktów, sortowanie wyrobów, ...)

• medycyna (diagnostyka obrazowa, RTG, tomografia komputerowa, USG, mikroskopia, ...)

• obronność (rozpoznanie fotograficzne, wykrywanie i śledzenie celów, sterowanie pociskami, ...)

• robotyka (sterowanie spawarek i dysz do malowania, sterowanie pojazdów, ...)

• eksploracja Ziemi i kosmosu (interpretacja obrazów astronomicznych, satelitarnych, lotniczych, sody kosmiczne, ....)

• biometria (rozpoznawanie odcisków palców, kształtu dłoni, tęczówki oka, twarzy)

System wykonany w Instytucie Elektroniki

TV

camera

frame

grabber

++ +

programy

Obraz mikroskopowy

tkanki nerwowejObraz kolonii

bakteryjnych

Obraz modelu lateksowego

naczyń krwionośnych mózgu

1985 r

Formularz ankiety

studenckiej

Automatyczna

analiza

dokumentów

Widmo fal elektromagnetycznych

10181024 1016 1014 1012 1010 108 106 104 1021022 1020

Częstotliwość, Hz

promieniowanie

gamma

fale radiowe

prom. X mikrofale

podczerwieńultrafioletPromieniowaniePromieniowanie

świetlneświetlne

400 500 600 700 [nm]

Obrazy wizualne

Ultrasonografia

Tomografia komputerowa

Przekrój głowy

Tomografia rezonansu

magnetycznego (MRI)

Tomografia rezonansu magnetycznego (MRI)

COST B11 action "Quantitation of Magnetic

Resonance Image Texture„ (1998-2002)

COST B21

"Physiological modelling of MR Image

formation" www.eletel.p.lodz.pl

Grafika komputerowa

Modelowanie obiektów 3D

Modelowanie powierzchni

Wizualizacja 3D

Rzeczywistość wirtualna

Rekonstrukcja

The Visible Human Project

Zdjęcie CT MRI

Termografia komputerowa

Struktura układu scalonego

ZdjęcieTermogram

Medycyna BudownictwoEnergetyka

Przykłady zadań rozpoznawania obrazów:diagnostyka obrazowa - mammografia

Mamografia

Przykłady zadań rozpoznawania obrazów:rozpoznawanie twarzy (biometria)

Juliusz Jaksa, Krzysztof Ślot, Piotr Szczypiński „ Facerecognition using deformable models”, ICSES’2001

Przykłady zadań rozpoznawania obrazów:rozpoznawanie słów

H. Nowak „Rozpoznawanie słów na podstawie analizy sekwencji obrazów”,

praca doktorska realizowana w Zakładzie Elektroniki Medycznej IE

Przykłady zadań rozpoznawania obrazów: bazy obrazów

C.E. Jacobs, A. Finkelstein, D.H. Salesis,„Fast multiresolution image quering”,1999

„Idea” obrazu

poszukiwanego

kopia obrazu

poszukiwanego

Obraz odszukanylub

DWT

Obraz monochromatyczny jako nieujemna funkcja dwumymiarowa

x y

f(x,y)

( ) ( )yxfyx

M

,,

:2

→

ℜ→ℜ⊂Ω +

Ω

x

y

0 50 100 150 200 250 30060

80

100

120

140

160

180

200

220

Distance along profile

Przekroje jasności obrazu

R

GB

Obrazy koloroweObrazy kolorowe RRGGBB

Obrazy koloroweObrazy kolorowe RRGGBB

0 50 100 150 200 250 300 350 400 450 5000

50

100

150

200

250

300

Distance along profile

Rozkład składowych RGB wzdłuż wybranego wiersza obrazu

Obraz cyfrowy

dyskretyzacja

kwantowanie

+

piksel (ang. picture element)

Obraz cyfrowy jako macierz liczb

X

Y

(0,0)

. . . . . . . . . . . .

. . 15 17 18 . .

. . 20 31 14 . .

. . . . . . . . . .

f(x,y)

Obraz cyfrowy jako macierz liczb

Obraz cyfrowy f(x,y):

macierz dwuwymiarowa (M,N),

tj. o M wierszach i N kolumnach,

której elementy są nieujemne i przyjmują

skończoną liczbę wartości

1...,,1,0

1...,,1,0

−=

−=

My

Nx( ) 1...,,1,0, −= Lyxf

Kolorowy obraz cyfrowy?

(np. L=256)

Kolorowy obraz cyfrowy RGB

( ) ( )BGR fffyx ,,, =f

Jeżeli każda składowa koloru jest kodowana zapomocą 8 bitów, można

uzyskać 224 kolorów!

Kolorowy obraz cyfrowy – obraz indeksowany

obraz

monochromatyczny

Obraz

kolorowy

0.990.30.21

...

paleta barw

(ang. look-up table)

012...

25

. . .

f(x,y) =25 R G B

. . .. . .

Formaty plików graficznych

Podstawowe powody stosowania formaty plików graficznych:

• wymienność obrazów pomiędzy aplikacjami

• kompresja danych

Podstawowe formaty plików graficznych:

• JPEG (Joint Photographic Experts Group) → NOWY: JPEG2000

• GIF (Graphics Interchange Format)

• PNG (Portable Network Graphic)

• TIFF (Tagged Image File Format)

• BMP, PCX, …Grafika rastrowa a wektorowa?

Grafika rastrowa a grafika wektorowa

© Wikipedia

Grafika wektorowa:Obrazy są budowane z elementarnych figur

geometrycznych: linii, krzywych, wielokątów

Grafika rastrowa:Obrazy są budowane z siatki punktów (pikseli)

Porównanie podstawowych plików graficznych

Głównie to skanowanych

dokumentów tekstowych

Złożony format o rozbudowanej

strukturze

.tifTIFF

System WindowsProsty format bez kompresji.bmpBMP

Internet, animowane GIFyFormat indeksowany, maks. 256

kolorów, kodowanie bezstratne

.gifGIF

Wyśmienity do kompresji zdjęć,

ma zastąpić JPEG

Kompresja z definiowaną utratą

jakości, (DWT)

.jp2JPEG

2000

Internet, obraz statyczny

(ruchome: MNG), kanał alfa,

lepszy niż JPEG do obrazów

zawierających tekst

Popierany przez konsorcjum

www konsorcjum ma zastąpić

GIF

.pngPNG

Bardzo dobry do kompresji zdjęćKompresja z definiowaną utratą

jakości, (DCT)

.jpgJPEG

ZastosowaniePodstawowe cechyPlikFormat

Demonstracja - „Hands on Demo”

dr hab. Paweł Strumiłło dr hab. Michał Strzelecki · Zaliczenie: raport + referat wygłoszony...

Documents

Transcript of dr hab. Paweł Strumiłło dr hab. Michał Strzelecki · Zaliczenie: raport + referat wygłoszony...