Systemy Wizyjne i GłosoweTemat projektu:
Weryfikacja autorów wypowiedzi na podstawie
próbek sygnału mowy
Maciej MraczekPiotr SzczepanikMichał MrówczyńskiKamil Ciepiela
Kraków, 4 czerwca 2009AiR, EAIiE, AGH
WprowadzenieZa metodę rozpoznawania uważamy cały tor
przetwarzania i rozpoznawania próbki głosowej. Ogólny algorytm wygląda następująco:
Pobranie próbki
głosowej
Wstępne przetworzenie (np. filtry,
usunięcie ciszy, etc.)
Ekstrakcja cech daną
metodą
Zastosowanie
klasyfikatora
Rezultat rozpoznania:- konkretny
mówca- brak
rozpoznania
Cele projektuCelem projektu było zaimplementowanie
kilku metod ekstrakcji cech oraz klasyfikacji próbek dźwięku w kontekście utworzonej wcześniej bazy próbek „treningowych”.
Efektem końcowym powinna być możliwość rozpoznania mówcy po wypowiedzeniu zdania „Rozpoznaj kim jestem” przynajmniej jedną z zaimplementowanych metod.
Wstępne przetwarzanie zastosowane w torze przetwarzania
Wszystkie nagrane próbki poddane zostały normalizacji oraz wycięciu składowej stałej
Zaimplementowane metody ekstrakcji cech z pobranej próbki dźwięku
FFTLPCMFCC
FFTFast Fourier Transform – jest to
transformacja sygnału z dziedziny czasu do dziedziny częstotliwości
W projekcie została przetestowana metoda rozpoznawania mówcy poprzez porównanie transformaty sygnału jego głosu z transformatami sygnałów głosów wzorcowych.
MFCCMFCC czyli Mel-frequency cepstral coefficients jest
to metoda cepstralnych współczynników opartych na skali Mel’a. Stosowana jest powszechnie w systemach rozpoznawania mowy ze względu na dużą skuteczność.
Algorytm1. Z sygnału dźwiękowego robimy dyskretną transformatę Fourier’a2. Powstałe spectrum przeliczamy na skalę Mel’a (używając trójątnego
okna)3. Logarytmujemy każdą częstotliwość na skali Mel’a4. Poddajemy dyskretnej transformacie cosinusowej5. Następnie odwrotna dyskretna transformata Fourier’a6. Amplitudy tak powstałego sygnału to współczynniki MFCC
Skala Mel’aSkala Mel’a ta została tak stworzona, aby lepiej oddawać
wrażenia słuchowe poprzez wzmocnienie częstotliwości słyszalnych. Dokonujemy tego za pomocą przekształcenia wzorem:
LPCLinear predictive coding jest to algorytm
używany najczęściej do przetwarzania sygnałów dźwiękowych oraz sygnału mowy. W wyniku kodowania otrzymujemy reprezentację sygnału cyfrowego, będącą parametrami modelu predykcji liniowej przetwarzanego sygnału.
Bardzo dobre osiągi metody LPC związane są z istotą działania ludzkiego aparatu mowy. W budowie aparatu mowy wyróżniamy część oddechową, fonacyjną i artykulacyjną. Przy analizie dźwięku najbardziej interesują nas te dwie ostatnie, ponieważ działanie ich determinuje dźwięk wydawany przez człowieka.
Główną częścią aparatu fonacyjnego jest krtań. Przepływające powietrze wprawia w drżenie struny głosowe, w wyniku czego powstaje tzw. ton krtaniowy. Następnie dźwięk przechodzi przez gardło i usta tworzące układ rezonansowy. Powstaje tam tzw. formant – pasmo częstotliwości uwypuklone w barwie dźwięku. Ostateczne brzmienie głoski formowane jest poprzez język i usta.
LPC analizując mowę wyznacza wspomniane wcześniej formanty. Następnie usuwa je z sygnału pozostawiając tylko charakterystyczne dla każdej głoski dźwięki. Proces ten nazywamy filtrowaniem wstecznym, a sygnał który pozostaje po odjęciu nazywamy rezydułem.
LPC charakterystyka metody
Metoda najbliższego sąsiedztwa
Zaimplementowane klasyfikatory
Zaimplementowane klasyfikatoryMetoda alfa-N
Test poprawności rozpoznawania mówcyTest poprawności rozpoznawania mówcy, który
nie jest w bazie (obcy)Wyznaczanie optymalnej ilości współczynników
liczonych metodą MFCCWyznaczenie optymalnego rzędu metody LPC
Testy
Testy - Pierwsza metoda – FFT
Testy - Druga metoda – L{C
2 3 4 5 6 7 810
20
30
40
50
60
70
alpha
%
Wyniko testów zależnie od parametru dist=2.5 dla metody: lpc
Wykrywalność oszustówWykrywalność mówców
Testy - Druga metoda – LPC
Testy - Druga metoda – LPC
Rysunek 3 Dla alpha=2, distance=1,5 Rysunek 4 Dla alpha=6, distance=1,5
0 5 10 15 20 25 30 35 40 450
10
20
30
40
50
60Wpływ rzędu LPC na wynik rozpoznania
rząd metody LPC
skut
eczn
ość
rozp
ozna
nia
[%]
test dla próbki z bazytest dla próbki spoza bazy
0 5 10 15 20 25 30 35 40 450
10
20
30
40
50
60
70
80Wpływ rzędu LPC na wynik rozpoznania
rząd metody LPC
skut
eczn
ość
rozp
ozna
nia
[%]
test dla próbki z bazytest dla próbki spoza bazy
Testy - Trzecia metoda – MFCC
2 3 4 5 6 7 820
30
40
50
60
70
80
90
alpha
%
Wyniko testów zależnie od parametru dist=1.5 dla metody: mfc
Wykrywalność oszustówWykrywalność mówców
Testy - Trzecia metoda – MFCC
Testy - Trzecia metoda – MFCC
Dla alpha=2, distance=1,5 Dla alpha=3, distance=1,5
5 10 15 20 25 3030
35
40
45
50
55
60
65
70
75Wpływ ilosci współczynnikow MFCC na wynik rozpoznania
ilość wspolczynnikow
skut
eczn
ość
rozp
ozna
nia
[%]
test dla próbki z bazytest dla próbki spoza bazy
5 10 15 20 25 3010
20
30
40
50
60
70
80Wpływ ilosci współczynnikow MFCC na wynik rozpoznania
ilość wspolczynnikow
skut
eczn
ość
rozp
ozna
nia
[%]
test dla próbki z bazytest dla próbki spoza bazy
Podsumowanie i wnioski•Najlepszą metodą okazała się MFCC; trochę gorsze rezultaty dała metoda LPC•Metoda FFT nie dała pozytywnych rezultatów – wyniki można zakwalifikować jako losowe•Skuteczność rozpoznawania zależy głównie od parametrów alpha i odległość – jednak ich optymalizacja nie jest taka oczywista – wszystko zależy od tego, co chcemy osiągnąć: wysoki procent rozpoznawania mówców z bazy, czy skuteczne rozpoznawanie mówcy „obcego” (jako „nie wiem”) – chęć wysokich wyników w obu dziedzinach wymaga kompromisów•Możemy również zmieniać parametry związane z poszczególnymi metodami, które również wpływają na jakość rozpoznawania:
• w LPC – rząd metody• w MFCC – ilość współczynników cepstralnych (w MatLabie
dostępnych jest więcej parametrów liczenia współczynników cepstralnych, jednak nie zostały one zgłębione i zbadane przez nas; poza tym można inaczej wyznaczyć wektor opisujący daną próbkę – w naszym przypadku użyto funkcji kmeans)
Podsumowanie i wnioski•Wyniki testów mogą nie być bardzo obiektywne ze względu na małą liczbę próbek „treningowych” w bazie•Istotne znaczenie może mieć również jakość sprzętu nagrywającego (mikrofon + karta dźwiękowa)•Jako ulepszenie działania naszego toru rozpoznawania mówcy, mogłoby sprawdzić się przemnożenie sygnałów wejściowych przez okno Hamminga
DZIĘKUJEMY ZA UWAGĘ
Top Related