Uniwersytet Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski 29-
30.05.2014
Prozodia w semantyce – semantyka w prozodii
Grazyna Demenko
Zaklad Fonetyki Instytut Językoznawstwa, UAM
Poznań, 12-13 September 2006
Semantyka intonacji
Semantyka intonacji Analiza Modelowanie Aplikacje
Wprowadzenie
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014 Prozodia w semantyce – semantyka w prozodii
Podstawowe zagadnienia Problemy badan prozodycznych Analiza intonacji
• Funkcje intonacji • Struktury akcentowe• Interpretacja semantyczna • Formalizacja opisu
Modele intonacji• Sposoby modelowania • Modelowanie intonacji polskiej
Aplikacje
Kierunki rozwojowe
AnalizaISC Model Definicje, teoria i praktyka
Problemy badań prozodycznychIstnieje duża rozbieżność w metodologii badan prozodycznych . Problem przetwarzania prozodii ujmowany jest w charakterystyczny sposób dla określonej dziedziny: (a) przez informatykę jako sposób kodowania informacji słownych, (b) przez fonetykę i akustykę jako element sygnału przenoszącego określone cechy fizyczne i fonetyczne (c) przez lingwistykę jako element modelowania struktur gramatycznych, dyskursu,(d) przez psychologię w odniesieniu do pozajęzykowych aspektów mowy (e) przez audiologię i foniatrię jako element procesu komunikatywny i jego zaburzen. 1. «ogół brzmieniowych właściwości języka charakteryzujących sylaby lub ich ciągi w toku wypowiedzi»2. «dział językoznawstwa zajmujący się brzmieniowymi właściwościami języka»3. «nauka o budowie wiersza zajmująca się zagadnieniami akcentu, iloczasu i intonacji» Prozodia w semantyce – semantyka w prozodii
Semantyka intonacji Analiza Modelowanie Aplikacje
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
AnalizaISC Model Definicje, teoria i praktyka
Semantyka intonacji
Problemy badań prozodycznych„Znaczenie semantyczne” a „znaczenie pragmatyczne”Wyrażenia języka naturalnego posiadają znaczenie dosłowne („znaczenie semantyczne”, rozważane z punktu widzenia semantyki).
Jednak wytwarzając wyrażenia, uzupełniamy ich „znaczenie semantyczne”, korzystając z naszej wiedzy o kontekście wypowiedzi i uczestnikach rozmowy (dodajemy „znaczenie pragmatyczne” ).
Wynik wnioskowania pragmatycznego, w którym odbiorca komunikatu przypisuje nadawcy pewne znaczenie (znaczenie dla mówcy), wychodzące poza to, co jest powiedziane w zdaniu (znaczenie zdania).
Prozodia w semantyce – semantyka w prozodii
Semantyka intonacji Analiza Modelowanie Aplikacje
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
AnalizaISC Model
Definicje, teoria i praktyka
Semantyka intonacji
Problemy badań prozodycznych -informacje paralingwistyczne jako dodane do treści językowych dla celowej modyfikacji znaczenia wypowiedzi (np. poprzez zmiany jakości głosu, sposobu fonacji nadawanie zabarwienia emocjonalnego)
- nielingwistyczne, jak te, które nie mogą być stosowane celowo, takie jak np. wiek, płeć, stan zdrowia, odruchy bezwarunkowe odgłosy produkowane przez mowce często związane ze środowiskiem fizycznym oraz niekontrolowane reakcje na stan emocjonalny, stres.. Cechy nielingwistyczne występujące w sygnale mowy związane sa z dwoma podstawowymi uwarunkowaniami: a)fizjologicznymi i anatomicznymi oraz b)niekontrolowanymi psychologicznymi i neuropsychologicznymi
Prozodia w semantyce – semantyka w prozodii
Semantyka intonacji Analiza Modelowanie Aplikacje
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
Prozodia w mowie i tekscie
Semantyka intonacji
Problemy badań prozodycznych
„
Planowaniewiadomości
Planowaniewypowiedzi
Neuromotorycznesterowanie
Artykulacja
Paralingwistyczna
Stylintencje
Nielingwistyczna
Fizyczne cechyemocje
Językowa
LeksykalnaSyntaktycznaSemantycznaPragmatyczna
Reguły gramatyki
Reguły prozodii
fizjologiczne
Fizyczne
uwarunkowania
mowa
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
AnalizaISC Model Funkcje intonacji
Semantyka intonacji
Analiza intonacjiIndeksowa (wskazująca cechy indywidualne lub identyfikujące przynależność społeczną, regionalną). Sposób oraz zakres zmian wysokości tonu, średnie położenie głosu stanowią podstawę dla oceny wieku, płci, specyficznych cech wymowy, osobowości mówcy.
Leksykalna i syntaktyczna. Funkcja ta związana jest z segmentacją prozodyczną wypowiedzi na jednostki znaczące. Granice fraz intonacyjnych częściowo określone są przez strukturę syntaktyczną, częściowo przez inne uwarunkowania związane z czynnikami pozalingwistycznymi. Segmentacja, dzielenie wypowiedzi na podstawie takich jednostek jest zazwyczaj pierwszym krokiem przy przetwarzaniu ciągłego akustycznego sygnału. Syntaktyczne i intonacyjne frazowanie są bardzo podobne, ale nie muszą sobie dokładnie odpowiadać. Położenie sylaby akcentowanej może sygnalizować granicę wyrazu.
Semantyczna. Słowa są akustycznie podkreślane poprzez uwydatnianie prozodyczne sylab będących potencjalnymi nośnikami akcentu. Wiele języków zachodnioeuropejskich ma więcej niż jeden typ akcentu. Jest zatem konieczne, aby rozpoznać nie tylko, który element wypowiedzi jest akcentowany, ale także, jaki to jest typ akcentu.
Prozodia w semantyce – semantyka w prozodii
Semantyka intonacji Analiza Modelowanie Aplikacje
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
AnalizaISC Model Funkcje intonacji
Semantyka intonacji
Analiza intonacjiSemantyczna. Odnosi się głównie do tematycznego umiejscowienia akcentu, podkreślenia nowej informacji, uwydatnienia najważniejszego elementu wypowiedzi. Przykładowo: tematyczne umiejscowienie akcentu w wypowiedzi Ania jedzie nad morze może wygenerować trzy możliwości: (a) Ania jedzie nad morze (odpowiedź na pytanie Dokąd jedzie Ania?), (b) Ania jedzie nad morze (odpowiedź na pytanie Kto jedzie nad morze?), (c) Ania jedzie nad morze (odpowiedź na pytanie Czy Ania jedzie nad morze?). PragmatycznaPytanie, komenda, stwierdzenie lub prośba narzucają określony typ konturu intonacyjnego (o znaczeniu wypowiedzi: Przeczytasz ten rozdział? Przeczytasz ten rozdział! Przeczytasz ten rozdział zadecydują głównie zmiany wysokości tonu w obrębie całej wypowiedzi).
Semantyka intonacji Analiza Modelowanie Aplikacje
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
Funkcje intonacji
Semantyka intonacji
Analiza intonacji
Dyskursowa. Funkcja ta związana jest bezpośrednio z sytuacją komunikacyjną i aktami dialogowymi. Między innymi ma na celu podtrzymanie uwagi rozmówcy, kontynuację bądź zakończenie rozmowy, nawiązanie kontaktu. Spełnia również ważną funkcję w podziale i interpretacji i rodzaju jednostek dyskursowych. Sygnalizuje również, czy mówca skończył swoją wypowiedź, i czy inna osoba może mówić (reguluje kolejność wypowiedzi). Dostarcza informacji o tym, co przekazuje mówca, np. czy jest to wątpliwość, doradzanie, zachęcanie, dezaprobata.
Psychologiczna. Bardzo często zrozumienie treści wypowiedzi związane jest z właściwą segmentacją wypowiedzi. Psychologiczna funkcja intonacji umożliwia wyodrębnienie z mowy jednostek, które są łatwe do zapamiętania. Przykładowo wypowiedź: Możesz pomalować na niebiesko zielono czerwono czarno lub żółto ↘ jest trudniejsza do zrozumienia i zapamiętania niż wypowiedź podzielona intonacyjnie: Możesz pomalować na↗ niebiesko ↗ zielono↗ czerwono↗ czarno lub żółto↘ .
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
Funkcje intonacji
Semantyka intonacji
Analiza intonacji
Afektywna. Funkcja afektywna związana jest głównie ze stanami emocjonalnymi (odzwierciedlającymi się w wypowiedziach wyrażających np. złość, radość, gniew, strach), również jednak z nastawieniem do rozmówcy, do tego, co on mówi (np. wątpienie, niedowierzanie), do własnych wypowiedzi, przekazujących słuchaczowi ironię, sarkazm, akceptację.
Neurologiczna i neurolingwistyczna. Funkcja ta wyraża zaburzenia w prozodycznej ekspresji: hiperprozodia – przesadne wykorzystywanie zakresu głosu, intensywności, iloczasu, hipoprozodia –zredukowana ekspresja prozodyczna i dysprozodia – niewłaściwe użycie struktury prozodycznej. Funkcja ta objawia się w analizie różnych długoterminowych zaburzeń ośrodkowego układu nerwowego, jak również krótkoterminowych zaburzeń.
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Struktury akcentowe
Semantyka intonacji
Analiza intonacji
JO LA WY PI ŁA SOK
Prozodia ma strukture hierarchicznąProzodyczne elementy:
Akcent potencjalny, akcent realny,akcent rdzennyProzodyczne struktury:
Stopa rytmiczna, stopa akcentowa, fraza intonacyjna
• akcent potencjalny
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
AnalizaISC Model
Semantyka intonacji
Analiza intonacji
JO LA WY PI ŁA SOK
akcent realny
Semantyka intonacji Analiza Modelowanie Aplikacje
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
Struktury akcentowe
AnalizaISC Model
Semantyka intonacji
Analiza intonacji
JO LA WY PI ŁA SOK
akcent rdzenny
Prozodia w semantyce – semantyka w prozodii
Semantyka intonacji Analiza Modelowanie Aplikacje
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
Struktury akcentowe
Struktury akcentowe
Semantyka intonacji
Analiza intonacji
Prozodia w semantyce – semantyka w prozodii
Przebieg częstotliwości podstawowej w wypowiedzi ja jem.
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
nawóz
na wóz
pora dnia poradnia
Akustyczne wyznaczniki akcentu
AnalizaISC Model Interpretacja semantyczna
Semantyka intonacji
Analiza intonacji
„
Co jest powiedziane Co jest powiedziane Jak jest powiedzianeJak jest powiedziane• TY powiedziales to do niej?
• Ty powiedziales to do niej?
• Ty powiedziales to do niej?
• Ty powiedziales to do niej?
• Ty powiedziales to do niej?
Prozodia w semantyce – semantyka w prozodii
Semantyka intonacji Analiza Modelowanie Aplikacje
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
Interpretacja semantyczna
Semantyka intonacji
Analiza intonacji
Jerzy nie pije bo jest nieszczęśliwy (Jerzy pije ale powodem jego picia nie jest fakt ze jest nieszczesliwy
Jerzy nie pije I bo jest nieszczęsliwy
(nie pije z tego powodu ze jest nieszczesliwy
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
Interpretacja semantyczna
Semantyka intonacji
Analiza intonacji
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
Interpretacja semantyczna
Interpretacja semantyczna
Semantyka intonacji
Analiza intonacji
z telewizyjnego kina nocnego // wciąż z sympatią wspominam // człowieka który się zmniejszał /// film z gatunku fikcji naukowej /// a więc raczej fantastyczny // i raczej nie naukowy /// ale za to pobudzający wyobraźnię /// była to opowieść o panu /// który// zaczął się zmniejszać /// oczywiście / poza tym panem // wszyscy to bagatelizowali /// żona powtarzała mu // że jest wcale duży jak na małego /// bo dużo zarabiał /// a lekarz kazał mu// dobrze się odżywiać // nic się nie przejmować // i na zakrętach hamować /// bo/ każdy dobrze życzy małemu /// który dobrze zarabia /// życie pana który malał // stawało się więc coraz trudniejsze ///
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
Znacznik Granica Prawdopodobieństwo Komentarz
paragr
af
[1] obligatoryjna bardzo silna
…. ?! ?... [1] obligatoryjna bardzo silna
. ! ? [2] obligatoryjna silna
; : „ ” * [2] obligatoryjna mniej silna
/ - , [2] obligatoryjna mniej silna
( ) {} [] <> // otw. [2] obligatoryjna mniej silna
spójnik [3] – [5] opcjonalna zróżnicowana
fraza przyimkowa [3] – [5] opcjonalna zróżnicowana
granica pomiędzy grupą
podmiotu i orzeczenia
[3] – [5] opcjonalna zróżnicowana
imiesłów [3] – [5] opcjonalna zróżnicowana
elementy dyskursowe [3] opcjonalna zróżnicowana
złożoność struktury
leksykalnej
[3] opcjonalna zróżnicowana
Interpretacja semantyczna
Uniwersytet Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski 29-
30.05.2014, Prozodia w semantyce – semantyka w prozodii
Semantyka intonacji
Analiza intonacji
REALSPEAK
Jego prace napisane w ostatnich latach - za granicą nie znalazły uznania.
Jego prace napisane w ostatnich latach za granicą - nie znalazły uznania.
Semantyka intonacji Analiza Modelowanie Aplikacje
Figure 3: a) I keep trying to get through…. (Fmin =121Hz), b) I’ve reported it so many times already… - clearly audible irritation (Fmin =173 Hz) c) … so I don’t know anything anymore… - the answer after being asked by a police officer to calm down (Fmin =115 Hz).
Formalizacja opisu
Semantyka intonacji
Analiza intonacji
Prozodia w semantyce – semantyka w prozodii
Mama myje rano lalę małej Joli.
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
Formalizacja opisu
Semantyka intonacji
Analiza intonacji
Prozodia w semantyce – semantyka w prozodii
Rys.1a. Zmiany wysokości tonu w stwierdzeniach (S). Rys.1b. Zmiany wysokości tonu w poleceniach (P).
Rys.1c. Zmiany wysokości tonu w pytaniach (PU1). Rys.1d. Zmiany wysokości tonu w pytaniach (PU2).
Rys.1e. Zmiany wysokości tonu w pytaniach (PR).
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
• Sposoby modelowania
Semantyka intonacji
Modele intonacji
• Modele oparte są na różnych typach danych: akustycznych, percepcyjnych• Różny materiał- typy dyskursu • Różne typy analiz fizycznych wykładników cech prozodycznych• Istnieje wiele modeli intonacji• Jest ogólna zgoda w zakresie wystepowania prozodycznej prominencji i prozodycznego frazowania.• Kontrowersje tyczą typow prominenci i typów frazowania
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
Semantyka intonacji
Modele intonacji
Wysokie (H) i niskie (L) tony są skojarzone z prozodycznymi zdarzeniami . Przerwania (break indices) opisują stopień rozdzielenia między wyrazami
ToBI (Tones and Break Indices)H*
L*
L+H*
L*+H
H+!H*
Phrase Accents describing the pitch movement from the last Boundary Tones describing the pitch movement immediately before the boundary
L-L% L-H% H-H% H-L% !H-L%
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
• Sposoby modelowania
Semantyka intonacji
Modele intonacji
Fujisaki model
Phrase Control Mechanism
Accent Control Mechanism
Phrase Component
Accent Component
loge Fb
loge F0 (t)
Ap
Aa
T01 T02
T03
t
t
t
T11 T21
T12 T22
T13 T23
T14 T24
Phrase Command
Accent Command
Ga(t)
Gp(t)
)}()({)(ln)(ln 210011
jajjajajipipib ttGTtGATtGAFtFJ
j
I
i
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
• Sposoby modelowania
Semantyka intonacji
Modele intonacji
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
• Sposoby modelowania
Semantyka intonacji
Modele intonacji
Model IPO. charakteryzującym się cechami sekwencyjności oraz superpozycją jest model ’t Harta. Model zakłada, że słuchacz wrażliwy jest tylko na te zmiany częstotliwości podstawowej, które były zamierzone przez mówcę. Najmniejszą jednostką percepcyjnej analizy jest zmiana parametru F0 (tzw. pitch movement), opisana następującymi percepcyjnie istotnymi cechami: kierunek (wzrost, spadek), synchronizacja (wczesna, późna, bardzo późna), prędkość zmiany (szybka, wolna), wielkość (pełna, częściowa).
Model KIM. Intonacyjny model KIM (Kieler Intonationsmodell) bazujący na brytyjskich tradycjach (tonach Hallidaya) est to funkcjonalny model oparty na badaniach fonologicznych, fonetycznych i percepcyjnych. integruje również syntaktyczne, semantyczne, pragmatyczne i ekspresywne funkcje intonacji. Intonację określają połączenia między maksimami i minimami przebiegu parametru F0 zsynchronizowane z ekstremami na samogłoskach akcentowanych (synchronizacja: wczesna, środkowa, późna), granice prozodyczne, tempo mowy, nieciągłości oraz pauzy. W modelu uwzględniono 3 położenia ekstremów: wczesne, środkowe i późne oraz nadano im funkcje semantyczne (wczesne oznacza fakt ustalony, środkowe świadczy o pojawieniu się nowej informacji, zaś późne związane jest z emfazą).
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
• Sposoby modelowania
Semantyka intonacji
Modele intonacji Model Tilt. Fonetyczny i sekwencyjny model Tilt reprezentuje intonację jako sekwencję ciągłych
sparametryzowanych zmian częstotliwości podstawowej (Taylor, 1994). Elementarną jednostką jest intonacyjne zdarzenie (zmiana). Istnieją dwa rodzaje zdarzeń: akcenty i tony brzegowe, każde z nich ma wzrost i spadek, który może być różnej wielkości. Parametry modelu Tilt, które w pełni opisują kształt zmiany tonu, posiadają również językowo użyteczne interpretacje. Zarówno akcenty, jak i tony graniczne, charakteryzowane są poprzez ten sam zestaw parametrów: amplitudę, czas trwania, tilt, pozycję ekstremum oraz czasową synchronizację. Tilt jest obliczany na podstawie względnej wielkości wzrostu i spadku parametru F0. Wartość 1 oznacza wyłącznie wzrost, -1 wskazuje, że jest całkowity spadek. Dowolna wartość pomiędzy 1 i 0 wskazuje na występowanie zarówno wzrostu, jak i spadku. System Prosogram. Prosogram jest półautomatyczną metodą transkrypcji prozodii opartą na modelu tonalnej percepcji. (Mertens, 1995). Głównym założeniem Prosogramu jest stwierdzenie, iż podstawowymi jednostkami dla percepcji intonacji są wokaliczne ośrodki sylaby. Stylizacja przebiegu wysokości tonu intonacji w Prosogramie uwzględnia percepcyjne progi dla postrzegania zmian w obrębie sylaby.Dla spostrzegania różnic w zmianie częstotliwości podstawowej (tzn. glissando) określony próg (G w semitonach na sekundę) wyraża się jako G = 0,16/T2 (ST/s), gdzie T jest czasem trwania zmiany. System Prosogram odnosi się tylko do jednego poziomu analizy intonacji, tj. do percepcyjnego, nie uwzględnia poziomu fonologicznego oraz fonetycznego, co stanowi dość poważne ograniczenie.
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
• Sposoby modelowania
Semantyka intonacji
Modele intonacji Model INTSINT (INTernational Transcription System for INTonation). Głównym założeniem tej
metody jest stwierdzenie, że forma i funkcja intonacji powinny być reprezentowane oddzielnie. Formy intonacji można opisywać i analizować na różnych poziomach reprezentacji: na fonologicznej, fonetycznej i fizycznej. Segmenty definiowane globalnie odniesione są do indywidualnego zakresu zmian parametru F0: linii górnej − Top (T), linii środkowej − Mid (M), linii dolnej − Bottom (B). Segmenty definiowane lokalnie uwzględniają poprzedzające zmiany parametru F0 na poprzednich sylabach: wyższą − Higher (H), niższą − Lower (L), taką samą − Same (S), rosnącą w górę − Upstepped (U), opadającą na dół − Downstepped (D).
PENTA. Model PENTA opiera się na dwóch podstawowych założeniach. Po pierwsze melodia mowy wytwarzana jest przez artykulacyjny system, którego właściwości fizyczne i neurologiczne nakładają różne ograniczenia na generowane formy akustyczne – w szczególności inercja narządów artykulacyjnych ogranicza maksymalną prędkość zmian parametru F0, a koordynacja różnych artykulatorów ogranicza stopnie swobody (Xu, 2004). Po drugie, mnogość funkcji komunikacyjnych przekazywanych równocześnie wymaga, aby każda funkcja była unikalnie zakodowana. Te funkcje kontrolują zmiany parametru F0 przez charakterystyczne schematy kodowania, które obejmują lokalną wartość docelową, zakres zmiany i wysiłek artykulacyjny. Zmiana częstotliwości podstawowej może mieć charakter statyczny (może być niska, wysoka) lub dynamiczny (rosnąca, opadająca). W przypadku statycznej zmiany ważna jest relatywna wartość docelowa, przy dynamicznej zmianie zarówno prędkość zmiany, jak i wartość docelowa mają znaczenie.
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
• Sposoby modelowania
Modelowanie intonacji polskiej
Semantyka intonacji
Modele intonacji
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
Modelowanie intonacji polskiej
Semantyka intonacji
Modele intonacji
Prozodia w semantyce – semantyka w prozodii
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
Modelowanie intonacji polskiej
Semantyka intonacji
Modele intonacji
Prozodia w semantyce – semantyka w prozodii
Dla polskiego wyróżnimy następujące typu struktur akcentowych:1) zmiana wysokości tonu na początku sylaby akcentowanej: •tony dynamiczne rosnące: LH, LL_, LH_ •tony dynamiczne opadające: HL,HH_,HL_ 2) zmiana wysokości tonu po sylabie akcentowanej: •tony statyczne rosnące: L_H, L_L, L_H_ •tony statyczne opadające: H_L_,H_H 3) ton równy: F 4) H* i L*5) H*L i L*H
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
Intonacja rosnąca
Rises
FALLS
Falls
RF
Modelowanie intonacji polskiej
Semantyka intonacji
Modele intonacji
Prozodia w semantyce – semantyka w prozodii
Przebiegi opadające Przebiegi rosnace Przebiegi złożone Przebiegi równe
H_H : 879
H_H! : 231
H_L : 17
H_L! : 9
H_L_ : 611
HH_ : 94
HL : 81
HL! : 133
HL& : 1
HL_ : 673
H* 606
L!H : 150
L!H! : 53
L!H_ : 104
L!L_ : 45
L* : 235
L_H : 177
L_H! : 13
L_H_ : 304
L_L : 31
L_L! : 180
LH : 259
LH! : 74
LH& : 3
LH&H : 4
LH&H!: 5
LH&H_: 1
LH&L_: 4
LH_ : 295
LL_ : 79
F: 1200
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
Lingwistyka
Semantyka intonacji
Aplikacje
• Badania lingwistyczne: semantyka prozodycznaNa pograniczu składni i semantyki, polegające na tym, że pewne wyrażenia wykazują tendencję do występowania w kontekstach pewnego typu – opisujących zjawiska negatywne i pozytywne.
• Badania porównawcze systemów fonologii intonacyjnej w różnych językach• Segmentacja tekstu i mowy: akcentuacja, fraza syntaktyczna i prozodyczna • Klasyfikacja aktów dialogowych, dyskursu• Rozpoznawanie dialektu, identyfikacja języka• Badania psycholingwistyczne: klasyfikacja emocji, stresu, charakterystyka osobowości• Nauka języka
Prozodia w semantyce – semantyka w prozodii
Semantyka intonacji Analiza Modelowanie Aplikacje
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
Foniatria, Audiologia, Neuorologia
Semantyka intonacji
Aplikacje
Prozodia w semantyce – semantyka w prozodii
Semantyka intonacji Analiza Modelowanie Aplikacje
•Rozpoznawanie i klasyfikacja patologii głosu i mowy
•Ocena sprawności i rehabilitacja narządu słuchu i głosu
•Logopedia
•Psychologiczne i psychiatryczne analizy
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
AnalizaISC Model Technika
Semantyka intonacji
Aplikacje
• Telekomunikacja • Oprogramowanie do nauki języka • Rozpoznawanie języka• Synteza mowy• Rozpoznawanie mowy
• Modele akustyczne• Modele lingwistyczne• Rozpoznawanie i charakterystyka głosu mówcy
Prozodia w semantyce – semantyka w prozodii
Semantyka intonacji Analiza Modelowanie Aplikacje
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
AnalizaISC Model
Rozpoznawanie języka
Semantyka intonacji
Aplikacje
Figure 3: Language group classification (Slavic vs. Germanic) on the basis of f0 span and kurtosis (left panel for training, right panel for testing)
Prozodia w semantyce – semantyka w prozodii
Semantyka intonacji Analiza Modelowanie Aplikacje
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
AnalizaISC Model
Synteza mowy
Semantyka intonacji
Aplikacje
Prozodia w semantyce – semantyka w prozodii
Semantyka intonacji Analiza Modelowanie Aplikacje
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
AnalizaISC Model
Synteza mowy
Semantyka intonacji
Aplikacje
Prozodia w semantyce – semantyka w prozodii
Semantyka intonacji Analiza Modelowanie Aplikacje
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
AnalizaTechnologia mowy
Rozpoznawanie mowy
Semantyka intonacji
Aplikacje
Korpus Syntaktycznie proste zdania o fonetycznie i prozodycznie kontrolowanej strukturze
CVC trifony w kontekście dźwięcznych spółgłosek na określonej akcentowanej/nieakcentowanej pozycji Np. dla trifonu jem (w kontekście sonorantów) otrzymujemy 5 prozodycznych pozycji:Jemy dziś w restauracji.Kolacje zwykle jemy w domu.Łososia dziś jemy?Tego nie pijemy, tylko jemy.Czy ja to zjem?
Dla poszczególnych trifonów w kontekście sonorantów wygenerowano po klika pozycji prozodycznych, zależnie od frekwencji określonej struktury. Np. dla trifonu bud (kontekst dźwięcznych zwartych spółgłosek) wygenerowano 4 pozycje suprasegmentalne: Buda psa spróchniała. Taka buda jest wygodna. Zobaczyliśmy wspaniałą budę. Czy naprawiłeś budę?
Prozodia w semantyce – semantyka w prozodii
Semantyka intonacji Analiza Modelowanie Aplikacje
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
Charaktrystyka głosu i mowy
Semantyka intonacji
Aplikacje
Rys. 21. Kontur F0 dla bardzo ekspresywnej wypowiedzi (oburzenie): Nie bo ja mu wleję, ja mu pokażę panie, no chodzi za mną taka menda jedna... (Fmaks. = 675 Hz, Fmin. = 109 Hz), wysoki stopień stresu.
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
Charaktrystyka głosu i mowy
Semantyka intonacji
Aplikacje
Rys. 22. Kontur F0 w wypowiedzi pod wpływem silnego stresu (panika): Proszę szybko przyjechać, wróciłam z pracy, mój mąż wisi w garażu… (Fmaks. = 589 Hz, Fmin. = 277 Hz).
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
Charakterystyka głosu i mowy
Semantyka intonacji
Aplikacje
Rys. 23. Kontur F0 wypowiedzi kobiety w stanie depresji: (Fmaks. = 230 Hz, Fmin. = 192 Hz). Mowa powolna (3,5 syl./s).
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
Semantyka intonacji
Aplikacje
Rys. 26. Płaski kontur F0 dla wypowiedzi wytworzonej w panice: Halo, proszę pana, tu jest napad na dom! Bardzo szybkie tempo mowy (9,8 syl./s). Fmaks. = 233 Hz, Fmin. = 211 Hz.
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
Charakterystyka głosu i mowy
Semantyka intonacji
Aplikacje
Rys. 27. Stopniowy stres w wypowiedzi: a) ktoś wchodzi do domu (Fmin. = 315 Hz), b) ktoś wchodzi do pokoju, jest zamaskowany (Fmin. = 350 Hz), c) on wyszedł z pokoju, gdzieś tu jest – bezpośrednie zagrożenie (Fmin. = 400 Hz).
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
Charakterystyka głosu i mowy
Semantyka intonacji
Aplikacje
Rys. 28. Stopniowo narastający stres w wypowiedzi: a) Proszę przyjedźcie szybko na ……, oni chcą zabić mojego syna, wybili okno (Fmin. = 289 Hz), b) …….. Elżbieta, szybko, gangsterzy już są (Fmin. = 345 Hz), c) Szybko. No już się dzieje (Fmin. = 495 Hz), d) Szybko, zabijają Stacha [krzyk], (Fmin. = 495 Hz, Fmaks. = 748 Hz).
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
Charakterystyka głosu i mowy
Semantyka intonacji
Aplikacje
Stały poziom stresu w wypowiedzi: Proszę przyjechać, jest włamanie, ona śmiertelnie się boi…(Fmin. = 240 Hz, Fmaks. = 352 Hz).
Głos neutralny, minimalny stres: Dzwoniłam godzinę temu, chciałabym odwołać interwencję... (Fmin. = 167 Hz, Fmaks. = 264 Hz).
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
Charakterystyka głosu i mowy
Mama.wav
Semantyka intonacji
Kierunki badań
Zasadnicze wymogi stawiane współczesnej transkrypcji prozodycznej muszą zostać jednoznacznie określone,
•Reprezentacja prozodii powinna być obiektywna, dobrze ugruntowana teoretycznie, łatwa do interpretacji. Punktem wyjściowym mogą być badania percepcyjne odnoszące się do różnicowania zauważalnych zmian wysokości tonu. •Transkrypcję prozodyczną należy skorelować ze strukturą czasową sygnału (np. zmianami rytmu, układem pauz, pauz wypełnionych i innych elementów nielingwistycznych) oraz z widmową (np. zmianami jakości głosu, redukcjami, kooartykulacjami) i również z segmentalną transkrypcją fonetyczną.
•Transkrypcja powinna w sposób obiektywny oceniać struktury prozodyczne w dłuższych i krótszych wypowiedziach, niezależnie od mówcy oraz stylu wypowiedzi.
•transkrypcja powiązana była z określonymi funkcjami intonacji w sposób jak najbardziej jednoznaczny.
•Transkrypcja powinna uwzględniać aspekty charakterystyczne dla określonego języka oraz niezależne, uniwersalne przynajmniej dla określonej grupy językowej.
•Wskazana byłaby automatyzacja transkrypcji w jak największym stopniu, zwłaszcza w przypadku dużych korpusów danych.
•Każda transkrypcja musi być weryfikowalna statystycznie w odniesieniu do postawionych założeń. Prozodia w semantyce – semantyka w prozodii
Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
Semantyka intonacji
Recent Experiments on the Wyznaczniki akcetu
of Prosody in GermanDziękuję za Dziękuję za uwagęuwagę!
Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego
Uniwersytet Warszawski 29-30.05.2014
Semantyka intonacji Analiza Modelowanie Aplikacje
Top Related