Ulepszenia metody Eigenfaces
description
Transcript of Ulepszenia metody Eigenfaces
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Ulepszenia metody Eigenfaces
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Plan wykładu
Eigenfaces – główne wadyWykorzystanie topografii twarzyLinear Discriminant Analysis Fisherfaces
Bayesian Matching
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Główne wady Eigenfaces
Brak rozróżnienia pomiędzy cechami intra- i ekstra-personalnymi „Większość różnic pomiędzy obrazami
twarzy jest spowodowana zmiennymi warunkami oświetleniowymi” (Y.Moses, 1994)
różnice mimiki
Twarz traktowana jako wektor utrata informacji 2D
Podejście holistyczne twarz jako niepodzielna całość
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Topografia twarzy
Cechy intra- i ekstra-personalne oczy i nos usta i policzki
Charakter cech, a ich lokalizacjaMaska – modyfikacja ekstrakcji cech
N
jjjiji Mxuw
1xuw ii
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Maska „T”
Sztuczna maska na nos i oczyWartości 0 i 1Poprawa wyników: FeretA: 813 -> 834 (3,6%) wyniki dla „czystego” EF
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Maska różnicowa
Zbiory par obrazów: intra-personalne extra-personalne
Uśrednienie różnic obydwu klas par: średnia różnica intra-personalna średnia różnica extra-personalna
Maska – różnica średniej różnicy ekstra-personalnej i intra-personalnej
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Maska dynamicznaTworzona osobno dla każdego obrazuWykorzystanie projekcji wstecznej: projekcja pojedynczych pikseli wartość maski odwrotnie
proporcjonalna do błędu projekcji
Zmniejszenie wpływu obszarów zasłoniętychMożna stosować dla grup pikseli
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykłady...
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wagi wektorów własnych
Nie zawsze związana z lokalizacją np. oświetlenie
„Rzut oka” na twarze własne niosą różne rodzaje informacji
(kierunki)
Wektor własny, element wektora cech, funkcja porównującaModyfikacja:
N
jjjijii MxuWw
1
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Problem rozpoznawania
Definicja problemu rozpoznawania: C klas i C wektorów bazowych NC wektorów w każdej klasie klasyfikacja wszystkich wektorów
Punkt wyjścia – porównanie dwóch wektorów cechKlasa własna i obca
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Błąd rozpoznania 1
Błąd pojedynczego porównania:
uij – rozpoznawany wektor ui1 – wektor bazowy klasy własnej uk1 – wektor bazowy klasy obcej S – funkcja porównująca (norma L2)
),(
),(),(
1
11
kij
iijkij uuS
uuSuuP
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Błąd rozpoznania 2
Błąd rozpoznania pojedynczego wektora:
Błąd dla całej próbki:
C
i
N
j
C
ikk
ij
i
kuuPD1 2 1
),( 1
C
ikk
ijij kuuPD1
),( 1
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Funkcja błędu
Błąd jest funkcją maski i wag funkcja wymierna
Minimalizacja funkcji znalezienie optymalnej maski i wag
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Problem dostosowania
Silne dostosowanie do próbki znaczne polepszenie
dla zbioru treningowego pogorszenie dla reszty
Rozwiązanie: optymalizacja częściowa
Dostosowanie do osób, nie obrazów możliwe usprawnienie klasyfikacji
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Lokalne PCA
Detekcja cech charakterystycznych oczy, usta, nos
Rozpoznawanie po cechach fragment obrazu twarzy różnica w normalizacji łączenie kilku lokalnych PCA (eigeneyes,
eigennoses, itp.)
Przestrzenie posiadają mniej wymiarów
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Lokalne PCA
K1
K2
K3
K4
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Tworzenie przestrzeni
PCA wyznacza główne kierunki różnicBrak wykorzystania informacji o przynależności do klasyRozwiązanie problemu: Linear Discriminant Analysis (LDA) Fisherfaces
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
PCA – przykład działania
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
PCA – przykład działania
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład nie działania
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Tak by było lepiej...
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Jak działa LDA?
PCA: próbka treningowa macierz
kowariancji
LDA: sklasyfikowana próbka treningowa
dwie macierze kowariancji wewnątrz-klasowa między-klasowa
Znalezienie bazy ortogonalnej
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Macierze kowariancji
Międzyklasowa
CB – międzyklasowa macierz kowariancji c – liczba klas Ni – liczba elementów i-tej klasy – obraz średni i – obraz średni i-tej klasy
c
iiiiB N
1)(( C
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Macierze kowariancji
Wewnątrzklasowa
CW – wewnątrzklasowa macierz kowariancji c – liczba klas Xi – zbiór obrazów i-tej klasy xk – k-ty obraz należący do i-tej klasy i – obraz średni i-tej klasy
c
i XxikikW
ik
xx1
)(( C
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Jak to policzyć?
PCA:
- macierz złożona z wektorów własnych
LDA:
vv C
||maxarg TCψψψψ
||
||maxarg
ψCψ
ψCψψ
ψW
TB
T
vv WB CC
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Fisherfaces
LDA – skomplikowane obliczenia na dużych macierzachFisherfaces: PCA do redukcji wymiarów LDA do znalezienia optymalnej bazy
|''|
|''|maxarg
ψψCψψ
ψψCψψψ
ψPCAW
TPCA
TPCAB
TPCA
T
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Ekstrakcja cech Fisherfaces
Policzyć wektor cech za pomocą PCA na wejściu znormalizowany obraz redukcja liczby wymiarów
Policzyć wektor cech za pomocą LDA na wejściu wektor cech PCA rotacja wektora cech zachowanie liczby wymiarów wektora cech
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Bayesian Matching
Podobieństwo wektorów oparte o prawdopodobieństwo przynależności ich różnicy
I – zbiór par intrapersonalnych E – zbiór par ekstrapersonalnych
)|()(),( 21 II PPIIS
21 II
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Prawdopodobieństwo
)()|()()|(
)()|()|(
EEII
III PPPP
PPP
P(|) - prawdopodobieństwo pojawienia się różnicy w określonej przestrzeni różnic jest funkcją błędu projekcji PCA – ()
2)(~)|( eP I
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Projekcja wsteczna (przypomnienie)
Wektor cech -> obraz twarzy
Różnica między obrazem wejściowym a odtworzonym (błąd projekcji)
'
1
N
iiiP vwx
|||| Pxx
WxP '
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przestrzenie różnic
Dwie klasy par obrazów intra- i ekstra-personalne
Obrazy będące różnicami między obrazami dwie klasy różnic
Stworzenie baz ortogonalnych przestrzeni różnic za pomocą PCA
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Kwintesencja BM
Rozpoznawana różnica dwóch obrazów Dual Eigenfaces
Odległość różnicy od dwóch przestrzeniMetoda dość wolna różnica obrazów dla każdego porównania można zastosować inną metodę
do wstępnej selekcji (wybrania n najlepszych)
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Inne metody
Local Feature Analysis2D PCA, 2D LDAIndependent Component Analysis
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Podsumowanie
Istnieje wiele metod bazujących na EigenfacesUlepszanie: topologia twarzy koncentrowanie się na szczegółach klasyfikacja różnic
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Dziękuję za uwagę!
Za tydzień – metoda EBGM