Modaliteit in spontane en geacteerde spraak Astrid Menninga, Frida Koopmans, Jolien Zoodsma, Henk Leo Deuzeman, Nynke Broersma, Judith Meijer, Marleen Broekema, Jan-Maarten Bomhof, Jenne Klimp, Noreen Dijkmeijer, Ria Visscher, Trudy Krajenbrink, Judith Reedeker, Klarien Haan & Dicky Gilbers m.m.v. Maartje Schreuder & Laura Van Eerten Rijksuniversiteit Groningen Utrecht, Dag van de Fonetiek, 18 december 2008

Overzicht Pilot-onderzoek (Schreuder, Van Eerten & Gilbers, 2006) Modaliteit in spontane spraak Voetbaltrainers Olympische sporters Modaliteit in geacteerde spraak Bert & Ernie Soapseries: GTST & Pleidooi Motherese/Parentese (geacteerd?) Methodologische problemen

Onvolledige literatuurlijst emotionele spraak Bezooijen, R. van (1984) Characteristics and recognizability of vocal expressions of emotion Scherer, K.R. (2003) Vocal Communication of emotion: review of research paradigms Yildirim, S. et al (2004) An acoustic study of emotions expressed in speech Schröder, M. (2004) Speech and emotion research Erickson, D. et al (2006) Exploratory study of some acoustic and articulatory characteristics of sad speech Cheang, H.S. & M.D. Pell (2008) The sound of sarcasm Vrolijke spraak in vgl. met sombere spraak: hogere pitch, grotere pitch range (eigenschappen van hyperarticulatie)

Schreuder Van Eerten & Gilbers (2006) Cook Fujisawa & Takami (2004) Onderzoek naar modaliteit in spraak

Emotionele intonatie Experiment majeur/mineur: Vrolijke en verdrietige muziek: Majeur: grote terts (4 semitonen: C – E) Mineur: kleine terts (3 semitonen: C – Es) Ook majeur en mineur in emotionele spraak? Experiment uitgevoerd door Laura van Eerten (BA-scriptie)

Emotionele intonatie Methode: 5 schoolmeesters/-juffen 4 verhaaltjes laten voorlezen van Teigetje en Iejoor (Winnie de Poeh) Teigetje: vrolijk Iejoor: somber Syllabedetectie (Praatscript: Nivka de Jong) Pitch vaststellen per syllabe (Praatscript Norman Cook) Clusteranalyse intonatiecontour (F0) Muziekpartituren

Emotionele intonatie Semitonen: Teigetje 2 x grote terts Majeur! Gis C

Emotionele intonatie Semitonen: Iejoor kleine terts Mineur! Gis F

Emotionele intonatie Omgezet naar MIDI (muziekformaat) met piano Originele spraak en pianomelodie samengevoegd spraak piano (Fragment van Iejoor, andere spreker)

Gb - A F - Ab Partituren G# - E C# - A De partituren van spraakfragmenten incorporeren tijd als een factor in de volgorde van de tonen (niet het geval in de clusteranalyses)

Resultaten Veel Teigetje-fragmenten vertonen grotere intervallen dan tertsen, terwijl veel Iejoor-fragmenten slechts één piek laten zien. In dergelijke passages kan niet worden vastgesteld of we met mineur of met majeur te maken hebben. De majeurmodaliteit is alleen aangetroffen in fragmenten van Teigetje met tertsen, terwijl de mineurmodaliteit alleen voorkomt in fragmenten van Iejoor met tertsen. Ook al komen tertsen slechts in een minderheid van het materiaal voor, er zijn geen tegenvoorbeelden in de fragmenten met tertsen aangetroffen.

Conclusie Pilot-onderzoek In dit pilot-onderzoek heeft de meeste spraak een neutrale modaliteit. Desalniettemin: er is een tendens dat een somber gemoed in spraak wordt uitgedrukt met kleine tertsen. Als tertsen worden gebruikt in vrolijke spraak, dan zijn het grote tertsen. maar: weinig data

Mark Liberman http://itre.cis.upenn.edu/~myl/languagelog/archives/003651.html Janis Joplin Mercedes Benz Emotionele toespraken (voorgelezen?) korte fragmenten (ivm modulaties) conclusie: modaliteit (hier: meerdere frequentiepieken)

Winnaars en Verliezers in de Sport 1 Winnaars en Verliezers in de Sport Is er ook modaliteit te ontdekken in spontane spraak? Methode: bekervoetbalinterviews vlak na de wedstrijd (knock-outsysteem) verliezers winnaars data aangevuld met fragmenten van winnaars en verliezers bij de Olympische Spelen

Materialen Winnaars: Verliezers: 18 voetballers/trainers 20 olympische sporters Verliezers: 20 voetballers/trainers 16 olympische sporters

Resultaten Winnaars Verliezers Voetballers: 5 x modaliteit (27%); 1 x majeur Olympisch: 11 x modaliteit (55%); 4 x mineur Verliezers Voetballers: geen modaliteit Olympisch: 5 x modaliteit (31%); 1 x mineur Significant verschil in modaliteit tussen V en O

Conclusie Weinig modaliteit in spontane spraak Niet altijd majeur bij vrolijk en mineur bij somber Tegenvoorbeelden

Modaliteit hoofdzakelijk te vinden in geacteerde spraak? Is er meer modaliteit in geacteerde spraak dan in spontane spraak? Zo ja, dan is (het overmatig voorkomen van) modaliteit misschien een aanwijzing voor overacting

2 Bert & Ernie Hypothese 1: bij zowel Bert als bij Ernie is modaliteit waar te nemen Hypothese 2: bij Bert vooral mineurachtige toonsafstanden en bij Ernie majeurachtige toonsafstanden Materiaal: 30 fragmenten van zowel Bert als Ernie DVD ‘Het beste van Bert & Ernie’ Diverse filmpjes van YouTube.com

Resultaten In elk fragment modaliteit Percentages toonafstanden: Bert Ernie Mineur 20% 13% Majeur 7% 27%

Resultaten Altijd modaliteit gevonden, in overeenstemming met eerste hypothese Tweede hypothese: wel meer mineur dan majeur bij Bert, en meer majeur dan mineur bij Ernie, maar ook tegenvoorbeelden Komen we in discussie nog op terug

Discussie Wellicht is de emotie ‘chagrijnig/ zeurderig’ bij Bert iets anders dan ‘verdrietig’ bij Iejoor De emoties boos en blij delen akoestische eigenschappen (Yildirim et al, 2004) boos/blij: eigenschappen van hyperarticulatie o.a. hogere pitch; kortere pauzes tussen woorden; hoge spreeksnelheid droefheid/somber: afname pitch, kleine pitch range, lage spreeksnelheid Verschil emoties van Bert & Ernie gering

3 Onderzoek Soaps Kunnen we met modaliteit overacting aantonen? Onderzoeksvraag Is er verschil in modaliteit tussen vrolijke en sombere geacteerde spraak en is hierbij onderscheid te maken tussen ‘goed’ en ‘slecht’ geacteerde spraak? Hypothese Goed geacteerde spraak bevat minder mineur-/majeurmodaliteit dan slecht geacteerde spraak (ivm “natuurlijkheid” van de spraak)

Methode 60 fragmenten geanalyseerd op (mineur/majeur) modaliteit GTST (“slecht”) Pleidooi (“goed”) Vrolijk 16 8 Somber 20 Totaal 36 24

Resultaten In bijna alle fragmenten sprake van modaliteit Somber Aantal fragmenten Pleidooi GTST Modaliteit 15 20 Mineur 5 (71%) Majeur 2 (29%) Geen modaliteit 1 Totaal 16 Vrolijk Aantal fragmenten Pleidooi GTST Modaliteit 7 16 Mineur 1 (33%) 2 (33%) Majeur 2 (67%) 4 (67%) Geen modaliteit 1 Totaal 8 In bijna alle fragmenten sprake van modaliteit Iets meer modaliteit in “slecht” acteerwerk (?)

Modaliteit in Motherese 4 Modaliteit in Motherese Onderzoeksvraag: Is er een majeurmodaliteit te vinden in motherese? Verwachting: In motherese wordt modaliteit gevonden, relatief veel majeurmodaliteit en geen mineurmodaliteit

Motherese Patricia Kuhl et al Vocalen in motherese-aanbod extremer

Resultaten Modaliteit: Mineur: Majeur: 125/126 samples = 99,2%

Resultaten Significant vaker modaliteit dan geen modaliteit (p < .01) Significant vaker mineurmodaliteit dan majeurmodaliteit (p < .01)

Algemene Conclusie Modaliteit (meer frequentiepieken) is kenmerkend voor geacteerde spraak Geen sterke aanwijzingen voor mineur (somber) en majeur (vrolijk) in geacteerde spraak

Methodologische problemen Veel vermeend vrolijke data klinken helemaal niet zo vrolijk Lengte fragmenten Cluster Analyse geeft geen duidelijkheid over sequentie tonen (vgl. C – Amin) Sommige clusterhistogrammen voor meerdere uitleg vatbaar Vervolgonderzoek: 5-puntsschaal voor somber-vrolijk