Biometria

Wykład monograficznyWykład 9

Piotr Syga

29.11.2019

Biometria

Idea

Identyfikacja

coś co wiem – hasło, PIN, . . .coś co mam – klucz, token, . . .coś czym jestem – biometria

fizycznabehawioralna

Biometria

Idea

Identyfikacja

coś co wiem – hasło, PIN, . . .coś co mam – klucz, token, . . .coś czym jestem – biometria

fizycznabehawioralna

Biometria

Idea

PrzykładyNie zawsze wymagamy przetwarzania sygnałów. . .

Biometria

Idea

Przykłady

. . . zazwyczaj jednak automatyczna weryfikacja biometryczna ma związekz przetwarzaniem sygnału:behawioralna głos – rozpoznanie mówcy

keystroking – tempo pisania na klawiaturzepodpisy – rozpoznanie odręcznego podpisu lub tekstuusta – ruchy warg podczas wypowiadania sentencjichód – charakterystyka i tempo chodzenia jakoprzemieszczenia konturu na filmieoczy – ruchy źrenicy

fizyczna odciski palcówgeometria dłoniwzór naczyń krwionośnych (palców, dłoni,przedramienia)tęczówka, naczynia, siatkówkacharakterystyka cieplnageometria/odciski uszugeometria twarzy

Biometria

Idea

Autoryzacja vs identyfikacja

AutoryzacjaProces weryfikacji i potwierdzenia deklarowanej przez użytkownikatożsamości (porównanie 1:1).

IdentyfikacjaProces wyszukiwania najbliższego wzorca znajdującego się w bazie isprawdzenie poziomu podobieństwa (porównanie 1:N).

Negatywna identyfikacjaProces porównania odczytanej charakterystyki do profiliprzechowywanych w bazie i wykluczenie przynależności użytkownika dopodanej bazy (porównanie 1 vs N).

Biometria

Idea

Problemy z powtarzalnością

w przeciwieństwie do wiedzy czy posiadania brak możliwościniezaburzonego odczytuwpływ czynników zewnętrznych (szum, oświetlenie, rodzajmikrofonu/obiektywu, kąt, . . . )czynniki wewnętrzne (stan zdrowia, samopoczucie, zmiany w czasie,zmiany zależne od pory dnia, . . . )

Biometria

Idea

Problemy z powtarzalnością

Biometria

Idea

Cechy istotne dla biometrii

pojemność informacji – liczba cech charakterystycznych, unikalnośćw populacjistabilność w czasie – odporność na stan zdrowia, porę dnia, czystarzenie (aktualnie przechowywane najdłużej naukowe zbiorydanych, zależnie od cechy między 30 a 7 lat)liczba/procent wykluczonych – niezdolność do poddania się badaniukonkretnej cechyakceptowalność społeczna – skłonność użytkownika do poddania siębadaniu, przepisy prawa odnośnie ochrony danychodporność na spoofing/atak prezentacyjny – możliwość dopozyskania i skopiowania cechy nieświadomego użytkownika,możliwość sprawdzenia obecnościłatwość pomiaru – stopień inwazyjności przy pomiarze, możliwadokładność pomiaru, koszt wdrożenia

Biometria

Idea

Pojęcia

charakterystyka biometryczna (modalność), np. geometria dłonipróbka biometryczna, np. obrazcechy biometryczne, np. szerokość palcawzorzec biometryczny (wektor cech), np. odległości punktówcharakterystycznych + informacje dodatkowepozyskanie danychwdrożenie danych

Biometria

Idea

Przebieg procesu autoryzacji

1 Pozyskanie danych (najczęściej przez operatora) – powtarzanaoperacja, kontrola jakości/przebiegu procedury

2 Oczyszczanie próbki, ekstrakcja cech, generacja wektora użytkownika3 Wprowadzenie informacji pomocniczych, opcjonalne kontrola jakości,

zapisanie danych4 Pobranie danych do autoryzacji (najczęściej automatyczne) –

środowisko mniej kontrolowane, opcjonalna kontrola jakości,opcjonalna kontrola obecności

5 Ekstrakcja danych z próbki, wygenerowanie wektora cech6 Pobranie danych referencyjnych z bazy7 Porównanie wektorów zgodnie z zasadami akceptacji8 Opcjonalne powtórzenie badania9 Podjęcie decyzji

Priorytety: Przy wdrażaniu bazy, istotna jest precyzja, przy pobieraniupróbki do weryfikacji – czas podjęcia decyzji

Biometria

Idea

Miary skuteczności i błędy

akceptacja progowaakceptacja rangowaakceptacja rangowa z progiemakceptacja RPM – masa prawdopodobieństwa

Biometria

Idea

Miary skuteczności i błędy

False acceptance rateFalse acceptance rate (FAR) to miara odpowiadająca za błąd I typu.

FAR = liczba błędnie zaakceptowanych próbliczba prób autoryzacji .

Analogicznie mówimy o False Match Rate.

False rejection rateFalse rejection rate (FRR) to miara odpowiadająca za błąd II typu.

FAR = liczba błędnie odrzuconych próbliczba prób autoryzacji .

Analogicznie False Non Match Rate.

Equal error rateWartość błędu, dla progu akceptacji, takiego że FAR=FRR.

Biometria

Idea

Miary skuteczności i błędy

CzułośćCzułość (Sensitivity lub Recall) jest miarą skuteczności wykrywaniaprawdziwych prób identyfikacji

TPR = liczba prawidłowo zaakceptowanychliczba wszystkich prawdziwych prób .

SwoistośćSwoistość (Specificity) jest miarą skuteczności wykrywania próbpodszywania się

TNR = liczba prawidłowo odrzuconychliczba wszystkich ’fałszywych’ prób .

Biometria

Idea

Miary skuteczności i błędy

PrecyzjaPrecyzja (Precision) jest miarą wartości predykcyjnej poprawnych prób

PPV = liczba prawidłowo zaakceptowanych próbliczba prób, w których algorytm zaakceptował .

Receiver Operating CharacteristicWykres przedstawiający graficznie zdolności klasyfikacyjne algorytmu (zewzględu na skomplikowanie dla wielu klas, używa się głównie doklasyfikacji binarnej). Najczęściej przedstawia się zależność FPR vs TPR(1-Specificity,Sensitivity) dla różnych progów akceptacji.Najczęstszą miarą jest pole pod krzywą (AUC). Dla klasyfikacji rangowejużywana jest Total Operating Characteristic (TOC).

Biometria

Idea

Miary skuteczności i błędy

Odmiany ROCZależnie od analizowanych cech, na osiach możemy przedstawiać różneparametry, np.:

(Recall, Precision)(FAR, FRR)(FMR, FNMR)(False alarm rate, Detection rate)

Biometria

Idea

Miary skuteczności i błędy

DokładnośćDokładność (Accuracy) klasyfikacji określa zdolność algorytmuklasyfikacyjnego do podjęcia prawidłowej decyzji

Acc = liczba prawidłowych odpowiedziliczba prób .

F1 scoreMetryka harmoniczna F1 określa skuteczność algorytmu klasyfikacyjnegona podstawie precyzji i czułości

F1 =2PPV · TPRPPV + TPR .

Biometria

Idea

Miary skuteczności i błędy

Failure to AcquireMiara określająca procent populacji, który nie posiada odpowiedniejcechy biometrycznej lub nie jest ona możliwa do odczytania.

Failure to EnrollMiara określająca procent populacji, dla której wektor cech nie możezostać zapisany ze względu na problemy z pozyskaniem (ograniczeniatechnologiczne) lub też ograniczenia proceduralne (np. prawne).

Biometria

Odciski palców

pierwsze praca naukowa nt. struktury odcisku i klasyfikacji – N.Grew, 1684; M. Malpighi, 1686szerokie zastosowanie w kryminalistce (ściąganie odcisku za pomocądrobinek, np. grafitu, fluorescencyjnego pyłku magnetycznego),obecnie urządzenia elektronicznerozpatrywanie cech hierarchicznych – cechy ogólne (grzbiety idoliny), cechy pierwszorzędowe (rdzeń, punkty osobliwe), cechydrugorzędowe (minucje), cechy trzeciorzędowe (pory potowe, fałdy,blizny, kurzajki)

Biometria

Odciski palców

Cechy ogólneNarzędzie do generacji – SFINGE

http://biolab.csr.unibo.it/ResearchPages/SFinGe_Download.asp

Biometria

Odciski palców

Cechy pierwszorzędowe

Trzy rodzaje punktów osobliwych: wiry (kłębki), pętle, delty.Rdzeń to najwyżej położony punkt osobliwy (lub grzbiet onajwyższej krzywiźnie)Wyszukiwanie:

1 dzielimy obraz na okna2 liczymy gradient ∇(xi , yi ) = [∇x (xi , yi ),∇y (xi , yi )]′3 zamieniamy gradient na wektor kierunku4 liczymy index Poincare’go, podążamy wzdłuż krzywej wewnątrz

okna: 0◦ (brak osobliwości), 180◦ (pętla), 360◦ (wir), −180◦ (delta)

Biometria

Odciski palców

Minucje

Typy minucji:Początek, ZakończenieRozwidlenie pojedyncze, podwójne, potrójneZłączenie pojedyncze, podwójne, potrójneHaczykOczko pojedyncze, podwójneMostek pojedynczy, bliźniaczyPunktOdcinekStyk bocznyLinia przechodząca, szczątkowaSkrzyżowanieTrójnógMinucja typu ’M’

Biometria

Odciski palców

Minucje

Biometria

Odciski palców

Minucje

Detekcja:adaptatywna binaryzacjaskeletonizacja + wygładzanietransformata Gabora + klasyfikator nieliniowylokalny histogram – GMMtransformata Hougha

Klasyfikacja: liczba minucji pokrywających się z wzorceliczba minucji w przecięciu map minucji , standardową modyfikacjąjest dodanie wag do poszczególnych minucji.

Biometria

Odciski palców

Cyfrowe pozyskiwanie odcisków

macierz sensorów nacisku (piezoelektryka)czytnik termalny (powolne przejeżdżanie po czujniku monitorującymzmiany temperatury w czasie), minimum 500dpiczytnik ultradźwiękowy (rozpraszanie i odbijanie fali), minimum 250dpi – kosztowny, ale wykrywa jednocześnie obecność (penetracjaskóry)czujniki bezdotykowe (modelowanie 3D na podstawie serii zdjęćobiektywem CCD)

Biometria

Odciski palców

Reprezentacja

Karty daktyloskopijne – surowy obrazLokacja (skeletonizowanych) cech ogólnychMacierz współczynników w dziedzinie częstotliwości – Fourier,Gabor, DCTPołożenie minucji (mapa minucji)

Biometria

Oczy

Identyfikacja na podstawie tęczówki – Idea

Rozwój tęczówki następuje na wczesnym etapie, w ciągu życiazmienia się w stosunkowo niewielkim stopniuIdentyfikacja nieliniowych skurczy oraz absorpcji światła przezmelaninęW świetle widzialnym, obrazowanie ciemnych kolorów prowadzi domałej dyskryminacji barw – rozwiązanie: bliska podczerwień(750–900 nm)Standard: oświetlenie (750–900 nm), minimum 256 odcieni szarości,rozdzielczość (min. 120-150 linii na średnicę), zdjęcie wycentrowanena źrenicy, brak nierównomiernych soczewek kontaktowych

Biometria

Oczy

Przetwarzanie obrazu

zakładamy, że zarówno tęczówka jak i źrenica są przybliżoneokręgami (o przesunietych środkach)powieki aproksymowane są za pomocą krzywych parabolicznych lubspline’ówwykrycie niespójności w obrazie

Biometria

Oczy

Przetwarzanie obrazu

Biometria

Oczy

Wektor cech

Budowanie wektora:1 ustalenie gęstości2 zamiana na współrzędne polarne3 filtrowanie (LoG, Gabor, Haar)4 kwantyzacja

Weryfikacja:1 obliczenie odległości (obciętej do bitów istotnych) Hamminga

pomiędzy wektorami2 przesunięcie cykliczne jednego z wektorów o parametr ∆ – ponowne

policzenie odległości Hamminga3 wybór najmniejszej uzyskanej odległości Hamminga4 akceptacja progowa (np., th = 13 (Daugman))

Biometria

Dłonie

Rodzaje biometrii opartej na dłoniach

odciski palcówodciski dłonigeometria dłoni (2D, 3D)wzór naczyń krwionośnych (palce, dłoń, nadgarstek)temperatura (wewnętrzna i zewnętrzna część dłoni, rozkładtemperatury)

Biometria

Dłonie

Geometria dłoni

cechy podstawowe: szerokość i długość palców, szerokość dłonidodatkowe cechy: szerokości palców mierzone na każdym paliczku,odległości pomiędzy palcamiinne cechy: długość dłoni, długość błony międzypalcowej, położeniepunktów krzywizny, odległość punktów krzywizny od szczytu palcazwiększenie wymiarów: skanowanie kilkoma obiektywami – wysokośćdłoni, kąty

Biometria

Dłonie

Geometria dłoni

Biometria

Dłonie

Geometria dłoni

Biometria

Dłonie

Klasyfikacja

klasyfikacja liniowa ‖x − y‖n =(∑

iwi |xi−yi |n

σni

) 1n

SVM z kernel trickiem (autoryzacja)sieci neuronowe (autoryzacja, identyfikacja)

Biometria

Głos

Idea

Analiza głosu:speech recognitionspeaker recognition

z ustalonym tekstemz tekstem ze słownika (domyślny słownik, słownik ustalony przezużytkownika)free-text (np. ukrycie passphrase w trakcie rozmowy – połączeniespeech recognition i speaker recognition)

Biometria

Głos

Identyfikacja

Pozyskanie danych:Wykrycie głosu (np. VAD, LTSD)Podział nagrania na fragmenty (mogą się one nakładać)Usunięcie nieciągłości (np. okienko Hamminga)Filtry meloweDCT energii sygnału lub ekstrakcja współczynników cepstralnych(10-28)

Identyfikacja: decyzja progowa na podstawie odległości Hammingawektora enrgii/mocy lub cepstrali (GMM, SVM, CNN).

Biometria

Twarz

Idea

1 Pozyskanie zdjęcia2 Wykrycie twarzy (np. kaskady:

cv2.CascadeClassifier().detectMultiScale()3 Wykrycie punktów charakterystycznych4 Redukcja wymiarów przestrzeni5 Ekstrakcja cech (np. współczynniki dla kombinacji liniowej wektorów

bazowych)6 Zapisanie wektora

Biometria

Twarz

Idea

Trudności:nierówne oświetleniezmiana obiektywu/detektorakąt odczytuniewidoczne punkty charakterystycznezmiany ze względu na zdrowie, wiek

Biometria

Twarz

Idea

Problemy z oświetleniem:wyrównanie histogramuretinexLocal Binary Patterns (wrażliwe na obroty)

Biometria

Twarz

LBP

podział na oknakodowanie oknamapowanieobliczenie histogramunormalizacjakonkatenacja

Biometria

Twarz

Metody identyfikacji

Biometria

Twarz

Metody identyfikacji

Baza twarzy OpenFace

https://generated.photos/https://cmusatyalab.github.io/openface/

Biometria

Twarz

Metody identyfikacji

Biometria

Twarz

Przed sieciami neuronowymi

Eigenface1 Przygotowanie zbioru bazowego – jednakowe oświetlenie i

rozdzielczość, jednolite tło, usta i oczy pomiędzy obrazami niepowinny się przemieszczać

2 Konwersja do wektora, odjęcie średniej3 Obliczenie wartości (i wektorów) własnych macierzy kowariancji

(Uwaga: nie obliczamy samej macierzy)4 Wektor własny może być interpretowany jako obraz – ’twarz własna’

– gradient różnicy ze średnim obrazem.5 PCA wybieramy k największych wartości własnych (znaczna

redukcja wymiarów)6 Każda twarz (w przechowywanej bazie danych lub poddawana

weryfikacji) jest transformowana do układu współrzędnych ’twarzywłasnych’ po PCA, otrzymujemy wektor cech.

Biometria

Zastosowania

kryminalistykakontrola dostępu do pomieszczeń, sprzętu elektronicznegokontrola tłumudokumenty (ICAO, dowody osobiste)

Biometria

Literatura

R. Bolle et al., Guide to BiometricsL. Sirovich, M. Kirby, Low-dimensional procedure for thecharacterization of human facesM. Turk, A. Pentland, Face recognition using eigenfacesB. Amos et al., Openface: A general-purpose face recognition librarywith mobile applicationsT. Baltrusaitis et al., OpenFace: an open source facial behavioranalysis toolkitS.Y. Wang et al, Detecting Photoshopped Faces by ScriptingPhotoshop. . .

BiometriaIdeaOdciski palcówOczyDłonieGłosTwarzZastosowania