Post on 01-Feb-2021
Biometria
Wykład monograficznyWykład 9
Piotr Syga
29.11.2019
Biometria
Idea
Identyfikacja
coś co wiem – hasło, PIN, . . .coś co mam – klucz, token, . . .coś czym jestem – biometria
fizycznabehawioralna
Biometria
Idea
Identyfikacja
coś co wiem – hasło, PIN, . . .coś co mam – klucz, token, . . .coś czym jestem – biometria
fizycznabehawioralna
Biometria
Idea
PrzykładyNie zawsze wymagamy przetwarzania sygnałów. . .
Biometria
Idea
Przykłady
. . . zazwyczaj jednak automatyczna weryfikacja biometryczna ma związekz przetwarzaniem sygnału:behawioralna głos – rozpoznanie mówcy
keystroking – tempo pisania na klawiaturzepodpisy – rozpoznanie odręcznego podpisu lub tekstuusta – ruchy warg podczas wypowiadania sentencjichód – charakterystyka i tempo chodzenia jakoprzemieszczenia konturu na filmieoczy – ruchy źrenicy
fizyczna odciski palcówgeometria dłoniwzór naczyń krwionośnych (palców, dłoni,przedramienia)tęczówka, naczynia, siatkówkacharakterystyka cieplnageometria/odciski uszugeometria twarzy
Biometria
Idea
Autoryzacja vs identyfikacja
AutoryzacjaProces weryfikacji i potwierdzenia deklarowanej przez użytkownikatożsamości (porównanie 1:1).
IdentyfikacjaProces wyszukiwania najbliższego wzorca znajdującego się w bazie isprawdzenie poziomu podobieństwa (porównanie 1:N).
Negatywna identyfikacjaProces porównania odczytanej charakterystyki do profiliprzechowywanych w bazie i wykluczenie przynależności użytkownika dopodanej bazy (porównanie 1 vs N).
Biometria
Idea
Problemy z powtarzalnością
w przeciwieństwie do wiedzy czy posiadania brak możliwościniezaburzonego odczytuwpływ czynników zewnętrznych (szum, oświetlenie, rodzajmikrofonu/obiektywu, kąt, . . . )czynniki wewnętrzne (stan zdrowia, samopoczucie, zmiany w czasie,zmiany zależne od pory dnia, . . . )
Biometria
Idea
Problemy z powtarzalnością
Biometria
Idea
Cechy istotne dla biometrii
pojemność informacji – liczba cech charakterystycznych, unikalnośćw populacjistabilność w czasie – odporność na stan zdrowia, porę dnia, czystarzenie (aktualnie przechowywane najdłużej naukowe zbiorydanych, zależnie od cechy między 30 a 7 lat)liczba/procent wykluczonych – niezdolność do poddania się badaniukonkretnej cechyakceptowalność społeczna – skłonność użytkownika do poddania siębadaniu, przepisy prawa odnośnie ochrony danychodporność na spoofing/atak prezentacyjny – możliwość dopozyskania i skopiowania cechy nieświadomego użytkownika,możliwość sprawdzenia obecnościłatwość pomiaru – stopień inwazyjności przy pomiarze, możliwadokładność pomiaru, koszt wdrożenia
Biometria
Idea
Pojęcia
charakterystyka biometryczna (modalność), np. geometria dłonipróbka biometryczna, np. obrazcechy biometryczne, np. szerokość palcawzorzec biometryczny (wektor cech), np. odległości punktówcharakterystycznych + informacje dodatkowepozyskanie danychwdrożenie danych
Biometria
Idea
Przebieg procesu autoryzacji
1 Pozyskanie danych (najczęściej przez operatora) – powtarzanaoperacja, kontrola jakości/przebiegu procedury
2 Oczyszczanie próbki, ekstrakcja cech, generacja wektora użytkownika3 Wprowadzenie informacji pomocniczych, opcjonalne kontrola jakości,
zapisanie danych4 Pobranie danych do autoryzacji (najczęściej automatyczne) –
środowisko mniej kontrolowane, opcjonalna kontrola jakości,opcjonalna kontrola obecności
5 Ekstrakcja danych z próbki, wygenerowanie wektora cech6 Pobranie danych referencyjnych z bazy7 Porównanie wektorów zgodnie z zasadami akceptacji8 Opcjonalne powtórzenie badania9 Podjęcie decyzji
Priorytety: Przy wdrażaniu bazy, istotna jest precyzja, przy pobieraniupróbki do weryfikacji – czas podjęcia decyzji
Biometria
Idea
Miary skuteczności i błędy
akceptacja progowaakceptacja rangowaakceptacja rangowa z progiemakceptacja RPM – masa prawdopodobieństwa
Biometria
Idea
Miary skuteczności i błędy
False acceptance rateFalse acceptance rate (FAR) to miara odpowiadająca za błąd I typu.
FAR = liczba błędnie zaakceptowanych próbliczba prób autoryzacji .
Analogicznie mówimy o False Match Rate.
False rejection rateFalse rejection rate (FRR) to miara odpowiadająca za błąd II typu.
FAR = liczba błędnie odrzuconych próbliczba prób autoryzacji .
Analogicznie False Non Match Rate.
Equal error rateWartość błędu, dla progu akceptacji, takiego że FAR=FRR.
Biometria
Idea
Miary skuteczności i błędy
CzułośćCzułość (Sensitivity lub Recall) jest miarą skuteczności wykrywaniaprawdziwych prób identyfikacji
TPR = liczba prawidłowo zaakceptowanychliczba wszystkich prawdziwych prób .
SwoistośćSwoistość (Specificity) jest miarą skuteczności wykrywania próbpodszywania się
TNR = liczba prawidłowo odrzuconychliczba wszystkich ’fałszywych’ prób .
Biometria
Idea
Miary skuteczności i błędy
PrecyzjaPrecyzja (Precision) jest miarą wartości predykcyjnej poprawnych prób
PPV = liczba prawidłowo zaakceptowanych próbliczba prób, w których algorytm zaakceptował .
Receiver Operating CharacteristicWykres przedstawiający graficznie zdolności klasyfikacyjne algorytmu (zewzględu na skomplikowanie dla wielu klas, używa się głównie doklasyfikacji binarnej). Najczęściej przedstawia się zależność FPR vs TPR(1-Specificity,Sensitivity) dla różnych progów akceptacji.Najczęstszą miarą jest pole pod krzywą (AUC). Dla klasyfikacji rangowejużywana jest Total Operating Characteristic (TOC).
Biometria
Idea
Miary skuteczności i błędy
Odmiany ROCZależnie od analizowanych cech, na osiach możemy przedstawiać różneparametry, np.:
(Recall, Precision)(FAR, FRR)(FMR, FNMR)(False alarm rate, Detection rate)
Biometria
Idea
Miary skuteczności i błędy
DokładnośćDokładność (Accuracy) klasyfikacji określa zdolność algorytmuklasyfikacyjnego do podjęcia prawidłowej decyzji
Acc = liczba prawidłowych odpowiedziliczba prób .
F1 scoreMetryka harmoniczna F1 określa skuteczność algorytmu klasyfikacyjnegona podstawie precyzji i czułości
F1 =2PPV · TPRPPV + TPR .
Biometria
Idea
Miary skuteczności i błędy
Failure to AcquireMiara określająca procent populacji, który nie posiada odpowiedniejcechy biometrycznej lub nie jest ona możliwa do odczytania.
Failure to EnrollMiara określająca procent populacji, dla której wektor cech nie możezostać zapisany ze względu na problemy z pozyskaniem (ograniczeniatechnologiczne) lub też ograniczenia proceduralne (np. prawne).
Biometria
Odciski palców
pierwsze praca naukowa nt. struktury odcisku i klasyfikacji – N.Grew, 1684; M. Malpighi, 1686szerokie zastosowanie w kryminalistce (ściąganie odcisku za pomocądrobinek, np. grafitu, fluorescencyjnego pyłku magnetycznego),obecnie urządzenia elektronicznerozpatrywanie cech hierarchicznych – cechy ogólne (grzbiety idoliny), cechy pierwszorzędowe (rdzeń, punkty osobliwe), cechydrugorzędowe (minucje), cechy trzeciorzędowe (pory potowe, fałdy,blizny, kurzajki)
Biometria
Odciski palców
Cechy ogólneNarzędzie do generacji – SFINGE
http://biolab.csr.unibo.it/ResearchPages/SFinGe_Download.asp
Biometria
Odciski palców
Cechy pierwszorzędowe
Trzy rodzaje punktów osobliwych: wiry (kłębki), pętle, delty.Rdzeń to najwyżej położony punkt osobliwy (lub grzbiet onajwyższej krzywiźnie)Wyszukiwanie:
1 dzielimy obraz na okna2 liczymy gradient ∇(xi , yi ) = [∇x (xi , yi ),∇y (xi , yi )]′3 zamieniamy gradient na wektor kierunku4 liczymy index Poincare’go, podążamy wzdłuż krzywej wewnątrz
okna: 0◦ (brak osobliwości), 180◦ (pętla), 360◦ (wir), −180◦ (delta)
Biometria
Odciski palców
Minucje
Typy minucji:Początek, ZakończenieRozwidlenie pojedyncze, podwójne, potrójneZłączenie pojedyncze, podwójne, potrójneHaczykOczko pojedyncze, podwójneMostek pojedynczy, bliźniaczyPunktOdcinekStyk bocznyLinia przechodząca, szczątkowaSkrzyżowanieTrójnógMinucja typu ’M’
Biometria
Odciski palców
Minucje
Biometria
Odciski palców
Minucje
Detekcja:adaptatywna binaryzacjaskeletonizacja + wygładzanietransformata Gabora + klasyfikator nieliniowylokalny histogram – GMMtransformata Hougha
Klasyfikacja: liczba minucji pokrywających się z wzorceliczba minucji w przecięciu map minucji , standardową modyfikacjąjest dodanie wag do poszczególnych minucji.
Biometria
Odciski palców
Cyfrowe pozyskiwanie odcisków
macierz sensorów nacisku (piezoelektryka)czytnik termalny (powolne przejeżdżanie po czujniku monitorującymzmiany temperatury w czasie), minimum 500dpiczytnik ultradźwiękowy (rozpraszanie i odbijanie fali), minimum 250dpi – kosztowny, ale wykrywa jednocześnie obecność (penetracjaskóry)czujniki bezdotykowe (modelowanie 3D na podstawie serii zdjęćobiektywem CCD)
Biometria
Odciski palców
Reprezentacja
Karty daktyloskopijne – surowy obrazLokacja (skeletonizowanych) cech ogólnychMacierz współczynników w dziedzinie częstotliwości – Fourier,Gabor, DCTPołożenie minucji (mapa minucji)
Biometria
Oczy
Identyfikacja na podstawie tęczówki – Idea
Rozwój tęczówki następuje na wczesnym etapie, w ciągu życiazmienia się w stosunkowo niewielkim stopniuIdentyfikacja nieliniowych skurczy oraz absorpcji światła przezmelaninęW świetle widzialnym, obrazowanie ciemnych kolorów prowadzi domałej dyskryminacji barw – rozwiązanie: bliska podczerwień(750–900 nm)Standard: oświetlenie (750–900 nm), minimum 256 odcieni szarości,rozdzielczość (min. 120-150 linii na średnicę), zdjęcie wycentrowanena źrenicy, brak nierównomiernych soczewek kontaktowych
Biometria
Oczy
Przetwarzanie obrazu
zakładamy, że zarówno tęczówka jak i źrenica są przybliżoneokręgami (o przesunietych środkach)powieki aproksymowane są za pomocą krzywych parabolicznych lubspline’ówwykrycie niespójności w obrazie
Biometria
Oczy
Przetwarzanie obrazu
Biometria
Oczy
Wektor cech
Budowanie wektora:1 ustalenie gęstości2 zamiana na współrzędne polarne3 filtrowanie (LoG, Gabor, Haar)4 kwantyzacja
Weryfikacja:1 obliczenie odległości (obciętej do bitów istotnych) Hamminga
pomiędzy wektorami2 przesunięcie cykliczne jednego z wektorów o parametr ∆ – ponowne
policzenie odległości Hamminga3 wybór najmniejszej uzyskanej odległości Hamminga4 akceptacja progowa (np., th = 13 (Daugman))
Biometria
Dłonie
Rodzaje biometrii opartej na dłoniach
odciski palcówodciski dłonigeometria dłoni (2D, 3D)wzór naczyń krwionośnych (palce, dłoń, nadgarstek)temperatura (wewnętrzna i zewnętrzna część dłoni, rozkładtemperatury)
Biometria
Dłonie
Geometria dłoni
cechy podstawowe: szerokość i długość palców, szerokość dłonidodatkowe cechy: szerokości palców mierzone na każdym paliczku,odległości pomiędzy palcamiinne cechy: długość dłoni, długość błony międzypalcowej, położeniepunktów krzywizny, odległość punktów krzywizny od szczytu palcazwiększenie wymiarów: skanowanie kilkoma obiektywami – wysokośćdłoni, kąty
Biometria
Dłonie
Geometria dłoni
Biometria
Dłonie
Geometria dłoni
Biometria
Dłonie
Klasyfikacja
klasyfikacja liniowa ‖x − y‖n =(∑
iwi |xi−yi |n
σni
) 1n
SVM z kernel trickiem (autoryzacja)sieci neuronowe (autoryzacja, identyfikacja)
Biometria
Głos
Idea
Analiza głosu:speech recognitionspeaker recognition
z ustalonym tekstemz tekstem ze słownika (domyślny słownik, słownik ustalony przezużytkownika)free-text (np. ukrycie passphrase w trakcie rozmowy – połączeniespeech recognition i speaker recognition)
Biometria
Głos
Identyfikacja
Pozyskanie danych:Wykrycie głosu (np. VAD, LTSD)Podział nagrania na fragmenty (mogą się one nakładać)Usunięcie nieciągłości (np. okienko Hamminga)Filtry meloweDCT energii sygnału lub ekstrakcja współczynników cepstralnych(10-28)
Identyfikacja: decyzja progowa na podstawie odległości Hammingawektora enrgii/mocy lub cepstrali (GMM, SVM, CNN).
Biometria
Twarz
Idea
1 Pozyskanie zdjęcia2 Wykrycie twarzy (np. kaskady:
cv2.CascadeClassifier().detectMultiScale()3 Wykrycie punktów charakterystycznych4 Redukcja wymiarów przestrzeni5 Ekstrakcja cech (np. współczynniki dla kombinacji liniowej wektorów
bazowych)6 Zapisanie wektora
Biometria
Twarz
Idea
Trudności:nierówne oświetleniezmiana obiektywu/detektorakąt odczytuniewidoczne punkty charakterystycznezmiany ze względu na zdrowie, wiek
Biometria
Twarz
Idea
Problemy z oświetleniem:wyrównanie histogramuretinexLocal Binary Patterns (wrażliwe na obroty)
Biometria
Twarz
LBP
podział na oknakodowanie oknamapowanieobliczenie histogramunormalizacjakonkatenacja
Biometria
Twarz
Metody identyfikacji
Biometria
Twarz
Metody identyfikacji
Baza twarzy OpenFace
https://generated.photos/https://cmusatyalab.github.io/openface/
Biometria
Twarz
Metody identyfikacji
Biometria
Twarz
Przed sieciami neuronowymi
Eigenface1 Przygotowanie zbioru bazowego – jednakowe oświetlenie i
rozdzielczość, jednolite tło, usta i oczy pomiędzy obrazami niepowinny się przemieszczać
2 Konwersja do wektora, odjęcie średniej3 Obliczenie wartości (i wektorów) własnych macierzy kowariancji
(Uwaga: nie obliczamy samej macierzy)4 Wektor własny może być interpretowany jako obraz – ’twarz własna’
– gradient różnicy ze średnim obrazem.5 PCA wybieramy k największych wartości własnych (znaczna
redukcja wymiarów)6 Każda twarz (w przechowywanej bazie danych lub poddawana
weryfikacji) jest transformowana do układu współrzędnych ’twarzywłasnych’ po PCA, otrzymujemy wektor cech.
Biometria
Zastosowania
kryminalistykakontrola dostępu do pomieszczeń, sprzętu elektronicznegokontrola tłumudokumenty (ICAO, dowody osobiste)
Biometria
Literatura
R. Bolle et al., Guide to BiometricsL. Sirovich, M. Kirby, Low-dimensional procedure for thecharacterization of human facesM. Turk, A. Pentland, Face recognition using eigenfacesB. Amos et al., Openface: A general-purpose face recognition librarywith mobile applicationsT. Baltrusaitis et al., OpenFace: an open source facial behavioranalysis toolkitS.Y. Wang et al, Detecting Photoshopped Faces by ScriptingPhotoshop. . .
BiometriaIdeaOdciski palcówOczyDłonieGłosTwarzZastosowania