Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Ulepszenia metody Eigenfaces

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Plan wykładu

Eigenfaces – główne wadyWykorzystanie topografii twarzyLinear Discriminant Analysis Fisherfaces

Bayesian Matching

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Główne wady Eigenfaces

Brak rozróżnienia pomiędzy cechami intra- i ekstra-personalnymi „Większość różnic pomiędzy obrazami

twarzy jest spowodowana zmiennymi warunkami oświetleniowymi” (Y.Moses, 1994)

różnice mimiki

Twarz traktowana jako wektor utrata informacji 2D

Podejście holistyczne twarz jako niepodzielna całość

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Topografia twarzy

Cechy intra- i ekstra-personalne oczy i nos usta i policzki

Charakter cech, a ich lokalizacjaMaska – modyfikacja ekstrakcji cech

N

jjjiji Mxuw

1xuw ii

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Maska „T”

Sztuczna maska na nos i oczyWartości 0 i 1Poprawa wyników: FeretA: 813 -> 834 (3,6%) wyniki dla „czystego” EF

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Maska różnicowa

Zbiory par obrazów: intra-personalne extra-personalne

Uśrednienie różnic obydwu klas par: średnia różnica intra-personalna średnia różnica extra-personalna

Maska – różnica średniej różnicy ekstra-personalnej i intra-personalnej

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Maska dynamicznaTworzona osobno dla każdego obrazuWykorzystanie projekcji wstecznej: projekcja pojedynczych pikseli wartość maski odwrotnie

proporcjonalna do błędu projekcji

Zmniejszenie wpływu obszarów zasłoniętychMożna stosować dla grup pikseli

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przykłady...

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Wagi wektorów własnych

Nie zawsze związana z lokalizacją np. oświetlenie

„Rzut oka” na twarze własne niosą różne rodzaje informacji

(kierunki)

Wektor własny, element wektora cech, funkcja porównującaModyfikacja:

N

jjjijii MxuWw

1

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Problem rozpoznawania

Definicja problemu rozpoznawania: C klas i C wektorów bazowych NC wektorów w każdej klasie klasyfikacja wszystkich wektorów

Punkt wyjścia – porównanie dwóch wektorów cechKlasa własna i obca

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Błąd rozpoznania 1

Błąd pojedynczego porównania:

uij – rozpoznawany wektor ui1 – wektor bazowy klasy własnej uk1 – wektor bazowy klasy obcej S – funkcja porównująca (norma L2)

),(

),(),(

1

11

kij

iijkij uuS

uuSuuP

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Błąd rozpoznania 2

Błąd rozpoznania pojedynczego wektora:

Błąd dla całej próbki:

C

i

N

j

C

ikk

ij

i

kuuPD1 2 1

),( 1

C

ikk

ijij kuuPD1

),( 1

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Funkcja błędu

Błąd jest funkcją maski i wag funkcja wymierna

Minimalizacja funkcji znalezienie optymalnej maski i wag

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Problem dostosowania

Silne dostosowanie do próbki znaczne polepszenie

dla zbioru treningowego pogorszenie dla reszty

Rozwiązanie: optymalizacja częściowa

Dostosowanie do osób, nie obrazów możliwe usprawnienie klasyfikacji

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Lokalne PCA

Detekcja cech charakterystycznych oczy, usta, nos

Rozpoznawanie po cechach fragment obrazu twarzy różnica w normalizacji łączenie kilku lokalnych PCA (eigeneyes,

eigennoses, itp.)

Przestrzenie posiadają mniej wymiarów

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Lokalne PCA

K1

K2

K3

K4

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Tworzenie przestrzeni

PCA wyznacza główne kierunki różnicBrak wykorzystania informacji o przynależności do klasyRozwiązanie problemu: Linear Discriminant Analysis (LDA) Fisherfaces

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

PCA – przykład działania

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

PCA – przykład działania

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przykład nie działania

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Tak by było lepiej...

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Jak działa LDA?

PCA: próbka treningowa macierz

kowariancji

LDA: sklasyfikowana próbka treningowa

dwie macierze kowariancji wewnątrz-klasowa między-klasowa

Znalezienie bazy ortogonalnej

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Macierze kowariancji

Międzyklasowa

CB – międzyklasowa macierz kowariancji c – liczba klas Ni – liczba elementów i-tej klasy – obraz średni i – obraz średni i-tej klasy

c

iiiiB N

1)(( C

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Macierze kowariancji

Wewnątrzklasowa

CW – wewnątrzklasowa macierz kowariancji c – liczba klas Xi – zbiór obrazów i-tej klasy xk – k-ty obraz należący do i-tej klasy i – obraz średni i-tej klasy

c

i XxikikW

ik

xx1

)(( C

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Jak to policzyć?

PCA:

- macierz złożona z wektorów własnych

LDA:

vv C

||maxarg TCψψψψ

||

||maxarg

ψCψ

ψCψψ

ψW

TB

T

vv WB CC

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Fisherfaces

LDA – skomplikowane obliczenia na dużych macierzachFisherfaces: PCA do redukcji wymiarów LDA do znalezienia optymalnej bazy

|''|

|''|maxarg

ψψCψψ

ψψCψψψ

ψPCAW

TPCA

TPCAB

TPCA

T

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Ekstrakcja cech Fisherfaces

Policzyć wektor cech za pomocą PCA na wejściu znormalizowany obraz redukcja liczby wymiarów

Policzyć wektor cech za pomocą LDA na wejściu wektor cech PCA rotacja wektora cech zachowanie liczby wymiarów wektora cech

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Bayesian Matching

Podobieństwo wektorów oparte o prawdopodobieństwo przynależności ich różnicy

I – zbiór par intrapersonalnych E – zbiór par ekstrapersonalnych

)|()(),( 21 II PPIIS

21 II

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Prawdopodobieństwo

)()|()()|(

)()|()|(

EEII

III PPPP

PPP

P(|) - prawdopodobieństwo pojawienia się różnicy w określonej przestrzeni różnic jest funkcją błędu projekcji PCA – ()

2)(~)|( eP I

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Projekcja wsteczna (przypomnienie)

Wektor cech -> obraz twarzy

Różnica między obrazem wejściowym a odtworzonym (błąd projekcji)

'

1

N

iiiP vwx

|||| Pxx

WxP '

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przestrzenie różnic

Dwie klasy par obrazów intra- i ekstra-personalne

Obrazy będące różnicami między obrazami dwie klasy różnic

Stworzenie baz ortogonalnych przestrzeni różnic za pomocą PCA

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Kwintesencja BM

Rozpoznawana różnica dwóch obrazów Dual Eigenfaces

Odległość różnicy od dwóch przestrzeniMetoda dość wolna różnica obrazów dla każdego porównania można zastosować inną metodę

do wstępnej selekcji (wybrania n najlepszych)

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Inne metody

Local Feature Analysis2D PCA, 2D LDAIndependent Component Analysis

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Podsumowanie

Istnieje wiele metod bazujących na EigenfacesUlepszanie: topologia twarzy koncentrowanie się na szczegółach klasyfikacja różnic

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Dziękuję za uwagę!

Za tydzień – metoda EBGM