Slajd 1 - DMCS · 2005. 1. 5. · Slajd 41 Zygmunt Ciota 1/4/2005 Slide 41 Rozpoznawanie i synteza...

Slajd 1

1/4/2005Zygmunt Ciota Slide 1

Rozpoznawanie i synteza mowy w systemach multimedialnych

Analiza i synteza mowy - wprowadzenie

Spektrogram wyrażenia: „computer speech”

Slajd 2




Slajd 3




Slajd 4



Maszyna wymawiająca samogłoski z 1769 roku zbudowana przezWolfganga Rittera von Kempelen (rekonstrukcja)

Pierwsze próby syntezy mowy

Slajd 5



Urządzenia do wymawiania spółgłosek „plozyjnych”: „b” i „d” (Wolfgang Ritter)


Slajd 6



Rezonatory (wibrujące piszczałki) Kratzensteina - 1779


Slajd 7



Przekroje kanału głosowegoprzy wymawianiu samogłosek„i” oraz „u” i odpowiadające im formanty (rezonanse)


Slajd 8



Najprostszy model kanału głosowego


Slajd 9



Rozpoznawanie mowy oraz identyfikacja głosu

Pomiar parametrów fizycznych kanału głosowego

Slajd 10




Pomiar parametrów geometrycznych kanału głosowego

Slajd 11




Poprawa jakości głosu metodą modulacji częstotliwościowej

Slajd 12




Spektrogram wyrażenia „two of five”

Spektrogram po modulacji częstotliwości (2 - 8 Hz)

Slajd 13




Spektrogram w obecności szumu średniego natężenia

Spektrogram po modulacji częstotliwości

Slajd 14




Spektrogram w obecności silnego szumu


Slajd 15





Spektrogram w pomieszczeniu odbijającym głos

Slajd 16




Spektrogram w pomieszczeniu odbijającym głos (b. silny pogłos)


Slajd 17



Rozpoznawanie mowy

( ) ( ) )()( ApWpWApAWp ⋅=

Reguły Bayes,a: wyznaczanie prawdopodobieństw a posteriori w funkcji prawdopodobieństw a priori

Slajd 18



Kompresja mowy

Predykcja liniowa

npnpnnn esasasas +−−−−= −−− L2211

10

2

1 01

2 =

== ∑ ∑∑

= =−

=

asaeEN

n

p

kknk

N

nn

(1)

Slajd 19



Rozpoznawanie mowy

0201

===∂∂ ∑∑

=−

=−

p

kknk

N

nmn

m

sasEaE

Odwracając porządek sumowania

∑∑=

−−=

==N

nknmnmk

p

kkmk ssrgdziear

100

Slajd 20



Rozpoznawanie mowy

Pamiętając, że a0=1

01

m

p

kkmk rar −=∑

=

lub w postaci macierzowej

00 rRaraR ⋅=−=⋅ −1czyli

Slajd 21




Slajd 22



Rozpoznawanie mowy

Filtr predykcyjny

Filtr FIR (Finite Impulse Response):

( ) ∑=

−=N

k

kk zazH

0

Odpowiedź impulsowa filtru FIR:

paaa L,,,1 21

Slajd 23



Rozpoznawanie mowy

( )zssn ( )zeenPrzyjmując:

( ) pp zazazazA −−− ++++= L2

21

11

Z równania (1):

pnpnnnn sasasase −−− ++++= L2211

czyli:

( ) ( ) ( ) ( ) ( )( )zAzezszezAzs ==⋅

Slajd 24



Rozpoznawanie mowy

( ) LL 2121 ,11 zzzz

zzzA

−⋅

−=

( ) ( )zAzH p1

=

zera A(z)

all-pole filter

Slajd 25




Głoska dźwięczna i jej widmo oraz obwiednia zdefiniowana przez filtr 1/A(z)

Slajd 26



Głoska bezdźwięczna i jej widmo oraz obwiednia zdefiniowana przez filtr 1/A(z)


Slajd 27




Kształtowanie widma szumu: szum słyszalny i prawie niesłyszalny

Slajd 28



Analiza kanału głosowego

Slajd 29



Analiza kanału głosowego

Slajd 30



Kanał głosowy

Slajd 31



Równanie Webster’a, czyli równanie natężenia (ciśnienia) fali dźwiękowej p(x,t) wzdłuż kanału:

2

2

22

2 11tp

cxp

dxdA

Axp

∂∂=

∂∂+

∂∂

A(x) jest przekrojem kanału głosowego między głośnią (x=0) a wargami x=L ~= 170 mm)

Kanał głosowy

Slajd 32



Lokalizacja położenia źródła dźwięku

tdc∆=∆ 0180α

Prawo pierwszej fali frontowej (Joseph Henry)i efekt Haas’a

Slajd 33



u1(t) u2(t)

t t

Continuity effect


Slajd 34




300Hz, 3kHz

8kHz

1kHz, 10kHz

Slajd 35



Rozpoznawanie mowy

Slajd 36



Rozpoznawanie mowy

Slajd 37



Rozpoznawanie mowy

Slajd 38



Rozpoznawanie mowy

Slajd 39



Rozpoznawanie mowy

Slajd 40



Przebieg funkcji cepstrum z zaznaczonym toremgłosowym (1) oraz pobudzeniem krtaniowym (2)

Rozpoznawanie mowy

Slajd 41



Formaty dźwiękowe

LPCM (Linear Pulse Code Modulation): udoskonalony PCM

6,144 Mb/s816 bitów48 kHz5,76 Mb/s620 bitów48 kHz5,76 Mb/s524 bity48 kHz

4,608 Mb/s224 bity96 kHz5,76 Mb/s320 bitów96 kHz6,144 Mb/s416 bitów96 kHz

Strumień max.Ilośćkanałów

RozdzielczośćCzęstotliwośćpróbkowania

Slajd 42



MPEG – AUDIO

A. MPEG-1 audio, opisuje trzy warstwy kodowania dźwiękuo następujących właściwościach:

• 1 lub 2 kanały dźwiękowe• Częstotliwość próbkowania 32kHz, 44.1kHz lub 48kHz• Przepustowość od 32kbps do 448kbps

Slajd 43



B. MPEG-2 audio występuje w dwóch odmianach

MPEG-2/LSF • 1 lub 2 kanały dźwiękowe• Dwa razy mniejszą częstotliwość próbkowania • Przepustowość od 8 do 256 kbs

MPEG-2/Multichannel • Do 5 pełno-zakresowych kanałów dźwiękowych• Częstotliwość próbkowania taką samą jak w MPEG-1• Rozdzielczość 16 bitów• Większe przepustowości dochodzące do około 1 Mb/s

do systemu 5+1 kanałów

Slajd 44



Schemat blokowy układu kodera standardu MPEG-1

Slajd 45



Struktura zakodowanego strumienia danych MPEG-1

Slajd 46



Dolby Surround

Slajd 47



Kodowanie

Slajd 48



Dekodowanie

Slajd 49



Dolby Pro Logic

Slajd 50



Kodek

Slajd 51



Dekodowanie

Slajd 52



Dolby Digital

Slajd 53



Rozpoznawanie mowy

Kompatybilne miksowanie w dół

Slajd 54



DTS firmy Digital Theater Systems

DTS –EX

Slajd 55



DC DVD

Slajd 56



dwuwarstwowa – dwustronna17 GBDVD 18

dwuwarstwowa –jednostronna

9.4 GBDVD 10

jednostronna –dwuwarstwowa

8.5 GBDVD 9

jednostronna –jednowarstwowa

4.7 GBDVD 5

Rodzaj płyty:Pojemność:Standard:

Slajd 57



Struktura warstw płyty DVD w zależności od standardu

Slajd 1 - DMCS · 2005. 1. 5. · Slajd 41 Zygmunt Ciota 1/4/2005 Slide 41 Rozpoznawanie i synteza...

Documents

Transcript of Slajd 1 - DMCS · 2005. 1. 5. · Slajd 41 Zygmunt Ciota 1/4/2005 Slide 41 Rozpoznawanie i synteza...