Zastosowania procesorów sygnałowych w aparatach cyfrowych oraz w cyfrowych kamerach filmowychDAWID WEBER

DAWWEBER@PG.EDU.PL

P. 732 – KATEDRA SYSTEMÓW MULTIMEDIALNYCH

Czym jest cyfrowy aparat fotograficzny?

Typy aparatów cyfrowych:

Aparaty kompaktowe – charakteryzują się

niewielkimi rozmiarami, uproszczeniem oraz automatyzacją obsługi.

Lustrzanki cyfrowe (DSLR – ang. Digital single-lens reflex) – większe rozmiary,

skomplikowana obsługa.

Bezlusterkowce – brak układu lustrzanego,

niewielkie rozmiary.

Aparaty cyfrowe to urządzenia optoelektroniczne, które służą do rejestrowania obrazów statycznych i ich magazynowania w cyfrowej pamięci.

Czym jest cyfrowa kamera filmowa?

Cyfrowa kamera filmowa Urządzenie o działaniu zbliżonym do aparatu

fotograficznego. Ciężka, kosztowna, profesjonalna odmiana kamery. Kamera filmowa wykonuje sekwencję wysokiej jakości zdjęć w bardzo krótkich odstępach czasu.

Obecna technika kamer filmowych pozwala na filmowanie w różnym klatkarzu:

23.976 -> 24 (NTSC region)

25 (PAL region)

29.97 -> 30 (NTSC region)

50 / 60 / 120 / 240 etc.

Oraz w wyższych rozdzielczościach:

Full HD – 1920 x 1080 px

4k – 3840 x 2160 px

6k – 6144 x 3456 px

Budowa cyfrowego aparatu fotograficznego oraz cyfrowej kamery filmowej

Obiektyw – wbudowany lub wymienny

Matryca światłoczuła –niewymienna

Wyświetlacz LCD – ruchomy bądź nieruchomy

Gniazdo kart pamięci

Mikrofon

Filtry neutral density (Filtry ND)

Procesor Sygnałowy – przetwarzanie rejestrowanego obrazu

Budowa cyfrowego aparatu fotograficznego

Aparat fotograficzny za pomocą światła przetwarza widziany z określonego punktu fragment otoczenia na jego płaski obraz.

Etapy:

Obiektyw - przenosi ostry obraz do wnętrza aparatu i ogniskuje go dokładnie na matrycy.

Przesłona – reguluje moc światła.

Migawka – regulacja czasu naświetlania.

Matryca – zbiera światło i przetwarza na impulsy elektryczne.

Karta pamięci – elektronika ”tłumaczy” impulsy na obraz zapisany na karcie pamięci.

Matryce w aparatach cyfrowych i kamerach filmowych

Cyfrowy zapis fotografii bądź wideo wymaga elementu –

matrycy – który pozwala na zapis formy wizualnej, jaką tworzą światło i cień dzięki obiektywowi.

Powszechnie używa się dwóch typów matryc:

CCD – Charge-Coupled Device

CMOS – Complementary Metal Oxide Semiconductor

Matryce CCD

Matryca CCC jest to płaszczyzna fotowoltaiczna składająca się z kondensatorów, które zamieniają energię świetlną w prąd elektryczny.

Maleńkie soczewki skupiają światło na każdym z milionów kondensatorów znajdujących się na warstwie światłoczułej.

Matryce CCD określa się najczęściej definiując liczbę kondensatorów. Wartość podaje się w megapikselach.

Matryce CMOS

Matryce CMOS działają w ten sam sposób co matryce CCD.

Światło padające na kryształ krzemu tworzący piksele generuje w nich ładunki elektryczne.

A więc pojedynczy piksel w matrycach CCD i CMOS jest praktycznie taki sam. Dopiero "otoczenie" piksela jest w matrycy CMOS zupełnie inne.

Każdy piksel ma swój przetwornik ładunku na

napięcie.

Każdy piksel ma swój "adres" i jego zawartość

może być odczytana w dowolnej kolejności.

Matryce CMOS

Obwody elektryczne zintegrowane z każdym pikselem zajmują miejsce na matrycy i dlatego współczynnik wypełnienia, czyli stosunek sumy powierzchni wszystkich pikseli do powierzchni całej matrycy jest mniejszy dla matryc typu CMOS.

Efektem tego jest nieco mniejsza czułość matryc CMOS. Część światła wpadające przez obiektyw pada na elementy elektroniki wbudowane w matrycę i nie jest zamieniana na ładunki elektryczne.

Ten mankament może być łatwo skompensowany poprzez wycechowanie matrycy po jej wyprodukowaniu i uwzględnienie różnic między pikselami w programie aparatu cyfrowego.

Różnice pomiędzy matrycami CCD, a CMOS

CCD CMOS

Nie można odczytać zawartości

pojedynczego piksela. Trzeba

odczytać zawartość całej matrycy i potem dopiero wybrać interesujący

nas piksel. To powoduje, że ich działanie jest dość wolne.

Można odczytywać zawartość

dowolnej liczby pikseli i w dowolnej

kolejności, tak jak odczytuje się zawartość pamięci komputerowych.

Z tego względu działają znacznie szybciej.

Matryca ma jeden przetwornik

ładunku na napięcie i jeden

przetwornik A/D (napięcie na liczbę). Zawartość wszystkich pikseli jest

odczytywana po kolei przez ten układ.

Każdy piksel matrycy CMOS ma swój

przetwornik ładunek na napięcie i

układ odczytujący zawartośc pikseli odczytuje już napięcie wytworzone

padającym na ten piksel światłem.

Ze względu na swą budowę matryce

CCD pobierają więcej mocy w czasie

pracy.

Zużywają mniej mocy elektrycznej, co

pozwala wykonać więcej zdjęć z raz

naładowanego akumulatora.

Większy współczynnik wypełnienia,

czyli stosunek powierzchni pikseli do

powierzchni całej matrycy.

Mniejszy współczynnik wypełnienia,

gdyż część powierzchni matrych

zajmują obwody przetwarzające ładunek na napięcie.

Mniejsze szumy. Większe szumy.

Wzór Bayera – procesory sygnałowe

Istnieją dwa sposoby zapisu obrazu na matrycy:

Z zastosowaniem potrójnego przetwornika CCD.

Z wykorzystaniem mozaiki Bayera.

Fotodiody obecne na matrycach światłoczułych nie rozróżniają kolorów, rejestrują jedynie natężenie światła.

Każda fotodioda znajduje się pod filtrem o konkretnym kolorze.

Elementy filtrujące są umieszczone na mozaice według wzoru G, R, G, B.

Obraz powstaje jako matematyczne wyliczenie wartości sąsiadujących ze sobą pikseli.

Procesor sygnałowy przelicza zatem dane wyjściowe by uzyskać plik graficzny.

Demozaikowanie

Procesor sygnałowy oblicza kolor i jasność każdego z pikseli.

Dane wejściowe porównywane są z wartościami pikseli sąsiadujących i wykorzystując algorytm demozaikowaniaostateczna wartość jasności i koloru jest obliczana.

W części A jeden punkt zdjęcia odtwarzany jest z natężenia światła zarejestrowanego na 4 sąsiadujących z nim pikseli. Maryca 4x4, czyli 16 pikselowa daje zdjęcie o rozdzielczości 2x2.

W części B procedura jest podobna ale punkty dla tworzenia zdjęcia są brane tak, że część pikseli (poza zupełnie zewnętrznymi) brana jest do demozaikowaniakilka razy. Np. natężenie zarejestrowane przez pierwszy (licząc od lewej i od góry) "niebieski" piksel brane jest do odtworzenia kolorów punktów 1, 2 4 i 5. To daje zdjęcie o rozdzielczości 3x3.

Szum i jego redukcja –aparaty cyfrowe

Na szum mogą też mieć wpływ inne urządzenia elektroniczne znajdujące się w bezpośrednim sąsiedztwie naszego aparatu cyfrowego czy kamery filmowej.

Matryca światłoczuła, jak większość urządzeń elektrycznych, się grzeje i im wyższą temperaturę osiąga, tym większe prawdopodobieństwo zaszumienia. Szum pogłębia się także przy wzmocnieniu sygnału, gdy światła jest mało i piksel otrzymuje go niewystarczająco dużo.

Matryca w słabszym oświetlaniu po prostu „widzi" mniej, a wzmacniając sygnał uzyskujemy większe szumy.

Zmniejszanie szumu –aparaty cyfrowe

Najprostszym rozwiązaniem jest zastosowanie niższej czułości ISO.

Aparaty cyfrowe oferują wbudowane systemy usuwania szumu na wyższych czułościach ISO i dłuższych ekspozycjach.

Jeżeli ustawimy odpowiedni poziom odszumianiadla wyższych czułości ISO, powinniśmy uzyskać kompromis między zmniejszeniem szumu i wypraniem najdrobniejszych szczegółów.

Jeżeli przesadzimy z odszumianiem, uzyskujemy rozmyty obraz, który będzie pozbawiony szczegółów.

Jeżeli chodzi o długie ekspozycje, to odszumianiepolega na wykonaniu drugiego zdjęcia bez otwarcia migawki, dzięki czemu aparat upewnia się, co jest obrazem, a co szumem i za pomocą odpowiednich algorytmów usuwa ten pierwszy.

Wyostrzanie obrazu –aparaty cyfrowe

Z racji tego, że wartość koloru oraz jasności każdego piksela jest wyliczana w oparciu o sąsiadujące wartości to pojawia się pewne zmiękczenie obrazu.

Aby obraz był bogaty w szczegóły procesor sygnałowy wykonuje operację wyostrzania krawędzi, kontrastów i konturów.

Proces ten polega, na zwiększaniu kontrastów na krawędziach obiektów. Należy pamiętać, by nie przesadzić z wyostrzaniem, gdyż może to doprowadzić do powstania efektu halo wokół obiektu, np. biało-czarnej obwódki.

Obiektywy – autofocus

Układ autofocusu to jedna z najlepszych rzeczy jakie zostały wyposażone współczesne aparaty cyfrowe.

Systemy AF dzielimy przede wszystkim ze względu na metody, według których aparat decyduje o ostrości danego elementu w kadrze. Tu wyróżniamy dwa podstawowe rodzaje:

Detekcję fazy i kontrastu.

Hybrydowe rozwiązanie łączące te dwa systemy w jeden, bardziej precyzyjny.

Detekcja fazy

Detekcja fazy używana jest przede wszystkim w lustrzankach, w których matryca jest zasłonięta w momencie kadrowania i odsłaniana jedynie na czas ekspozycji.

Aparat ustawia ostrość czujnikami znajdującymi się poza główną matrycą aparatu, które znajdują się pod komorą lustra.

Światło przechodzi przez dolną, półprzepuszalną część lustra głównego, następnie odbija się od lustra pomocniczego, skąd kierowane jest w dół, na czujniki AF.

Czujniki wykorzystują zjawisko paralaksy, wybierając dwa promienie światła i obliczając odległość między nimi. Jeśli promienie są zbyt daleko od siebie, ostrość ustawiona jest przed obiektem. Jeśli za blisko - za obiektem.

Detekcja kontrastu

Ten układ jest prostszy. Nie wymaga dodatkowych czujników, bo całość odbywa się na zasadzie mierzenia kontrastu w dowolnej części kadru.

Aparat po prostu mierzy kontrast w wybranym przez użytkownika miejscu, a przesuwając soczewki obiektywu w przód i w tył, wybiera moment, w którym kontrast, w wybranym

wycinku, jest najwyższy.

Obraz nieostry jest najmniej kontrastowy.

Wyostrzając go, obraz staje się bardziej wyraźny, a co za tym idzie -kontrast w danym punkcie jest największy w momencie, gdy obraz jest ostry.

Automatyczny dobór parametrów ekspozycji

Ekspozycje można kontrolować za pomocą takich parametrów jak:

Wielkością otworu przysłony.

Ustawieniem czasu migawki.

Wartością ISO.

I oczywiście ilością światła nas otaczającego.

Parametry takie jak wartość przesłony i czas migawki dobierane są na podstawie wartości pomierzonych poprzez czujnik światłoczuły wbudowany w aparaty cyfrowe. Z automatycznym doborem ekspozycji można spotkać się również w smartphonach, kamerach sportowych.

Automatyczny dobór balansu bieli

Balans bieli i jego automatyka

Producenci cały czas udoskonalają algorytmy, które poddają analizie zapisywany obraz. Ma to na celu dobranie właściwej korekty balansu bieli, aby zdjęcie jak najwierniej oddawało rzeczywistość.

Algorytm wyszukuje najjaśniejszy punkt na rejestrowanym obrazie, przyjmując że jest on zbliżony do białego i na tej podstawie wprowadza korektę, aby na zdjęciu rzeczywiście był to biały punkt.

Następnie stosuje tę korektę dla całego zdjęcia.

Cyfrowa stabilizacja obrazu

Ten rodzaj stabilizacji obrazu jest oparty o zaawansowane algorytmy wykrywające ruch na powstającym obrazie.

Elektroniczna stabilizacja obrazu jest przydatna podczas filmowania „z ręki”, eliminując drżenie rąk.

Do wykrywania ruchu wykorzystywany jest nie żyroskop, lecz odpowiednio przygotowane algorytmy w procesorze obrazu, który na bieżąco analizuje sygnał z pikseli matrycy.

Jest to stabilizacja typu pasywnego.

Obraz zapisany po zastosowaniu elektronicznej stabilizacji ma nieco mniejszą rozdzielczość i pole widzenia niż zdjęcia wykonywane bez stabilizatora.

Kompensacja światła

wstecznego –cyfrowe kamery

filmowe

Podstawowa funkcja w którą wyposażona jest już większość dostępnych kamer, kompensuje ona efekt światła wstecznego.

W przypadku skierowania kamery w stronę silnego źródła światła pojawia się efekt zaciemnienia pierwszego planu Technologia BLC w pewnym zakresie eliminuje ten problem poprzez rozjaśnienie pierwszego planu.

Rozjaśnienie to wiąże się również z rozjaśnieniem tła, jednak funkcja ta jest jak najbardziej przydatna ponieważ umożliwia obserwację pierwszego planu i ogólnie wpływa na polepszenie obrazu w opisanych warunkach.

Technologia WDR oraz

D-WDR

Układ pozwalający uzyskać szeroki zakres dynamiki obrazu.

Kamera przy użyciu specjalnych algorytmów do analizy naświetlenia obrazu używa dynamicznej zmiany wartości niedoświetlonych i prześwietlonych pikseli przetwornika kamery w celu uwidocznienia na obrazie niedoświetlonych elementów.

Efektem działania tej funkcji jest możliwość uzyskania wyraźnego i w miarę jednolicie naświetlonego obrazu zarówno w ciemnych i bardzo jasnych fragmentach jednej sceny.

Kompresja obrazów

Aparaty cyfrowe czy kamery filmowe potrafią generować materiały w niewiarygodnie dużej ilości danych. Zarówno w kamerach filmowych, jak i aparatach cyfrowych wyższych klas można filmować bądź fotografować w tak zwanych formatach RAW, ale również dostępne mamy opcje różnych formatów, gdzie stosowane są kompresje obrazu.

Podstawową formą kompresji w wielu kamerach jest próbkowanie koloru.

W tej technologii próbkowana jest luminancja z inną częstotliwością niż chrominancja.

Kompresja obrazów

Z racji tego, że ludzki układ wzrokowy jest bardziej czuły na informację o jasności niż kolorze, to zazwyczaj stosujemy kompresję określaną jako 4:2:2, gdzie pierwsza cyfra oznacza wartości w kanale luminancji, a pozostałe dwie cyfry odpowiadają wartościom próbkowania z kanałów chromy –oznacza to, że próbki z kanałów kolorów pobierane są o połowę rzadziej niż w przypadku luminancji.

Inne zastosowania

Procesorów Sygnałowych

Cyfrowy zoom.

Podgląd obrazów na wyświetlaczu LCD.

Zapis obrazu na kartę pamięci.

Stosowanie efektów kolorystycznych w przetwarzaniu real-time i w trybie podglądu.

I wiele innych…