De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

1 Modaliteit in spontane en geacteerde spraak Astrid Menninga, Frida Koopmans, Jolien Zoodsma, Henk Leo Deuzeman, Nynke Broersma, Judith Meijer, Marleen.

Verwante presentaties


Presentatie over: "1 Modaliteit in spontane en geacteerde spraak Astrid Menninga, Frida Koopmans, Jolien Zoodsma, Henk Leo Deuzeman, Nynke Broersma, Judith Meijer, Marleen."— Transcript van de presentatie:

1 1 Modaliteit in spontane en geacteerde spraak Astrid Menninga, Frida Koopmans, Jolien Zoodsma, Henk Leo Deuzeman, Nynke Broersma, Judith Meijer, Marleen Broekema, Jan-Maarten Bomhof, Jenne Klimp, Noreen Dijkmeijer, Ria Visscher, Trudy Krajenbrink, Judith Reedeker, Klarien Haan & Dicky Gilbers m.m.v. Maartje Schreuder & Laura Van Eerten Rijksuniversiteit Groningen Utrecht, Dag van de Fonetiek, 18 december 2008

2 2 Overzicht Pilot-onderzoek (Schreuder, Van Eerten & Gilbers, 2006) (Schreuder, Van Eerten & Gilbers, 2006) Modaliteit in spontane spraak –Voetbaltrainers –Olympische sporters Modaliteit in geacteerde spraak – Bert & Ernie – Soapseries: GTST & Pleidooi – Motherese/Parentese (geacteerd?) Methodologische problemen

3 3 Onvolledige literatuurlijst emotionele spraak Bezooijen, R. van (1984) Characteristics and recognizability of vocal expressions of emotion Scherer, K.R. (2003) Vocal Communication of emotion: review of research paradigms Yildirim, S. et al (2004) An acoustic study of emotions expressed in speech Schröder, M. (2004) Speech and emotion research Erickson, D. et al (2006) Exploratory study of some acoustic and articulatory characteristics of sad speech Cheang, H.S. & M.D. Pell (2008) The sound of sarcasm Vrolijke spraak in vgl. met sombere spraak: hogere pitch, grotere pitch range (eigenschappen van hyperarticulatie)

4 4 Schreuder Van Eerten & Gilbers (2006) Cook Fujisawa & Takami (2004) Onderzoek naar modaliteit in spraak

5 5 Experiment majeur/mineur: Vrolijke en verdrietige muziek: –Majeur: grote terts ( 4 semitonen: C – E) –Mineur: kleine terts ( 3 semitonen : C – Es) Ook majeur en mineur in emotionele spraak? Emotionele intonatie

6 6 Methode: 5 schoolmeesters/-juffen 4 verhaaltjes laten voorlezen van Teigetje en Iejoor (Winnie de Poeh) –Teigetje: vrolijk –Iejoor: somber Syllabedetectie (Praatscript: Nivka de Jong) Pitch vaststellen per syllabe (Praatscript Norman Cook) Clusteranalyse intonatiecontour (F0) Muziekpartituren Emotionele intonatie

7 7 Semitonen: Teigetje 2 x grote terts Gis C E Majeur! Emotionele intonatie

8 8 Semitonen: Iejoor kleine terts Mineur! F Gis Emotionele intonatie

9 9 Omgezet naar MIDI (muziekformaat) met piano Originele spraak en pianomelodie samengevoegd (Fragment van Iejoor, andere spreker) spraak piano

10 10 G b - A F - A b G# - E C# - A De partituren van spraakfragmenten incorporeren tijd als een factor in de volgorde van de tonen (niet het geval in de clusteranalyses) Partituren

11 11 Resultaten Veel Teigetje-fragmenten vertonen grotere intervallen dan tertsen, terwijl veel Iejoor-fragmenten slechts één piek laten zien. In dergelijke passages kan niet worden vastgesteld of we met mineur of met majeur te maken hebben. De majeurmodaliteit is alleen aangetroffen in fragmenten van Teigetje met tertsen, terwijl de mineurmodaliteit alleen voorkomt in fragmenten van Iejoor met tertsen. Ook al komen tertsen slechts in een minderheid van het materiaal voor, er zijn geen tegenvoorbeelden in de fragmenten met tertsen aangetroffen.

12 12 Conclusie Pilot-onderzoek In dit pilot-onderzoek heeft de meeste spraak een neutrale modaliteit. Desalniettemin: er is een tendens dat een somber gemoed in spraak wordt uitgedrukt met kleine tertsen. Als tertsen worden gebruikt in vrolijke spraak, dan zijn het grote tertsen. maar: weinig data

13 13 Mark Liberman Janis Joplin Mercedes Benz Emotionele toespraken (voorgelezen?) korte fragmenten (ivm modulaties) conclusie: modaliteit (hier: meerdere frequentiepieken)

14 14 Winnaars en Verliezers in de Sport Is er ook modaliteit te ontdekken in spontane spraak? Methode: bekervoetbalinterviews vlak na de wedstrijd (knock-outsysteem) verliezers winnaars data aangevuld met fragmenten van winnaars en verliezers bij de Olympische Spelen 1

15 15 Materialen Winnaars: –18 voetballers/trainers –20 olympische sporters Verliezers: –20 voetballers/trainers –16 olympische sporters

16 16 Resultaten Winnaars –Voetballers: 5 x modaliteit (27%); 1 x majeur –Olympisch: 11 x modaliteit (55%); 4 x mineur Verliezers –Voetballers: geen modaliteit –Olympisch: 5 x modaliteit (31%); 1 x mineur Significant verschil in modaliteit tussen V en O

17 17

18 18 Conclusie Weinig modaliteit in spontane spraak Niet altijd majeur bij vrolijk en mineur bij somber Tegenvoorbeelden

19 19 Modaliteit hoofdzakelijk te vinden in geacteerde spraak? Is er meer modaliteit in geacteerde spraak dan in spontane spraak? Zo ja, dan is (het overmatig voorkomen van) modaliteit misschien een aanwijzing voor overacting

20 20 Bert & Ernie Hypothese 1: bij zowel Bert als bij Ernie is modaliteit waar te nemen Hypothese 2: bij Bert vooral mineurachtige toonsafstanden en bij Ernie majeurachtige toonsafstanden Materiaal: 30 fragmenten van zowel Bert als Ernie –DVD ‘Het beste van Bert & Ernie’ –Diverse filmpjes van YouTube.com 2

21 21 Resultaten In elk fragment modaliteit Percentages toonafstanden: BertErnie Mineur20%13% Majeur7%27%

22 22 Resultaten Altijd modaliteit gevonden, in overeenstemming met eerste hypothese Tweede hypothese: wel meer mineur dan majeur bij Bert, en meer majeur dan mineur bij Ernie, maar ook tegenvoorbeelden

23 23 Discussie Wellicht is de emotie ‘chagrijnig/ zeurderig’ bij Bert iets anders dan ‘verdrietig’ bij Iejoor –De emoties boos en blij delen akoestische eigenschappen (Yildirim et al, 2004) boos/blij: eigenschappen van hyperarticulatie o.a. hogere pitch; kortere pauzes tussen woorden; hoge spreeksnelheid droefheid/somber: afname pitch, kleine pitch range, lage spreeksnelheid –Verschil emoties van Bert & Ernie gering

24 24 Onderzoek Soaps Kunnen we met modaliteit overacting aantonen? Onderzoeksvraag –Is er verschil in modaliteit tussen vrolijke en sombere geacteerde spraak en is hierbij onderscheid te maken tussen ‘goed’ en ‘slecht’ geacteerde spraak? Hypothese –Goed geacteerde spraak bevat minder mineur- /majeurmodaliteit dan slecht geacteerde spraak (ivm “natuurlijkheid” van de spraak) 3

25 25 Methode 60 fragmenten geanalyseerd op (mineur/majeur) modaliteit GTST (“slecht”) Pleidooi (“goed”) Vrolijk168 Somber2016 Totaal3624

26 26 Resultaten Somber Aantal fragmenten PleidooiGTST Modaliteit1520 Mineur5 (71%) Majeur2 (29%) Geen modaliteit10 Totaal1620 In bijna alle fragmenten sprake van modaliteit Iets meer modaliteit in “slecht” acteerwerk (?) Vrolijk Aantal fragmenten PleidooiGTST Modaliteit716 Mineur1 (33%)2 (33%) Majeur2 (67%)4 (67%) Geen modaliteit10 Totaal 816

27 27 Onderzoeksvraag: –Is er een majeurmodaliteit te vinden in motherese? Verwachting: –In motherese wordt modaliteit gevonden, relatief veel majeurmodaliteit en geen mineurmodaliteit Modaliteit in Motherese 4

28 28 Motherese Patricia Kuhl et al Vocalen in motherese-aanbod extremer

29 29 Resultaten Modaliteit: –125/126 samples = 99,2% Mineur: –43/126 samples = 34,1% Majeur: –25/126 samples = 19,8%

30 30 Resultaten Significant vaker modaliteit dan geen modaliteit (p <.01) Significant vaker mineurmodaliteit dan majeurmodaliteit (p <.01)

31 31 Algemene Conclusie Modaliteit (meer frequentiepieken) is kenmerkend voor geacteerde spraak Geen sterke aanwijzingen voor mineur (somber) en majeur (vrolijk) in geacteerde spraak

32 32 Methodologische problemen Veel vermeend vrolijke data klinken helemaal niet zo vrolijk Lengte fragmenten Cluster Analyse geeft geen duidelijkheid over sequentie tonen (vgl. C – Amin) Sommige clusterhistogrammen voor meerdere uitleg vatbaar Vervolgonderzoek: 5-puntsschaal voor somber-vrolijk


Download ppt "1 Modaliteit in spontane en geacteerde spraak Astrid Menninga, Frida Koopmans, Jolien Zoodsma, Henk Leo Deuzeman, Nynke Broersma, Judith Meijer, Marleen."

Verwante presentaties


Ads door Google