Prosodie en zinsbouw Vincent J. van Heuven Leiden University Centre for Linguistics, The Netherlands Leiden Institute for Brain and Cognition, The Netherlands Institute of Applied Linguistics, University of Pannonia, Hungary

20 november 2015 DNZ9, Nijmegen Road map/spoorboekje  Inleiding prosodie Wat is prosodie? Is prosodie communicatief belangrijk?  Prosodie van zinstypering (in Nederlands) Vraagmelodie en vraagtype Categoriale waarneming van grenstonen? Imperatiefmelodie? Hoe lang wordt de zin? Typering van bijzin (beperkend, uitbreidend)

20 november 2015 DNZ9, Nijmegen Intro prosodie  Prosodie Pros = ‘with’, ode = ‘zang’ Dus: ‘bij de zang’ Muzikale omlijsting van de woorden Alle eigenschappen van een (gesproken) taalbouwsel die niet direct kunnen worden herleid tot de opeenvolging van spraakklanken N.B. Niet te verwarren met de leenvertaling accent = ad cantus = ‘bij de zang’ Prosodie ≠ accentuering

20 november 2015 DNZ9, Nijmegen Intro prosodie  Intrinsieke eigenschappen Eigenschappen van de klank zelf  Coïntrinsieke eigenschappen Eigenschappen die worden opgelegd door de buurklanken  Prosodie Alles wat overblijft na aftrek van intrinsieke en coïntrinsieke eigenschappen Altijd eigenschappen van grotere gehelen (van lettergrepen of groter)

20 november 2015 DNZ9, Nijmegen Intro prosodie  Voorbeeld a.h.v. toonhoogte Intrisieke toonhoogte Hoe geslotener een klinker, des te hoger de toon Coïntrinsieke toonhoogte Toon in klinker is hoger na stemloze dan na stemhebbende obstruent Zie illustratie op volgende slides

Voorbeeld intrinsieke toonhoogte  Alle klinkers van het (Amerikaans) Engels in vaste omgeving  Now say /hVd/ again (heed, hid, hayed, head, had,...)  Met zinsklemtoon, gemiddeld over mannen en vrouwen Gesloten Open Midden

Grondtoon (=toonhoogte) (Hz) Klinkerinzet Na stemloze C Na stemhebbende C Voorbeeld coïntrinsieke toonhoogte

20 november 2015 DNZ9, Nijmegen Intro prosodie  Opsommend: Prosodie omvat Melodie: hoger ~ lager Woordtoon, zinsmelodie (= intonatie) Dynamiek: luider ~ zachter Woordklemtoon, zinsklemtoon Tempovariatie: sneller ~ langzamer Grensmarkering Geen eigenschappen van aparte klinkers of medeklinkers

20 november 2015 DNZ9, Nijmegen Intro prosodie  Prosodie verschilt van taal tot taal Zelfs van dialect tot dialect  Bv. Engels (en Duits) heeft levendiger en gevarieerder melodieën dan Nederlands Grotere toonomvang Meer verschillende patronen Zie schema op volgende slide

20 november 2015 DNZ9, Nijmegen

20 november 2015 DNZ9, Nijmegen

20 november 2015 DNZ9, Nijmegen Melodie Engels ~Nederlands  From Scarborough to Whitby is a very pleasant journey Engelse melodie Nederlandse melodie  Van Haarlem naar Zandvoort is een hele mooie treinreis Nederlandse melodie Engelse melodie

20 november 2015 DNZ9, Nijmegen Waartoe dient prosodie?  Op woordniveau Woorden onderscheiden: lexicale toon Woorden indelen in sublexica o.b.v. klemtoon Woorden scheiden: vaste klemtoon Gaan we het niet over hebben (want geen zinsbouw)  Op zinsniveau Grensmarkering: tekst/zin opdelen in brokken (bv. frases) Zinsklemtoon: markeert informatiestructuur binnen frase (focus door zinsklemtoon of prosodisch hoofd)

20 november 2015 DNZ9, Nijmegen Waartoe dient prosodie?  Op zinsniveau (vervolg) Attentioneel: markeert status van referenten Zins/frasetypering Mededeling, vraag, bevel, uitroep, continuering Signaleert attitude Hoe staat de spreker t/o de hoorder (bv. dominant, beleefd/onderworpen), en/of de verbale inhoud van zijn boodschap? (oprecht, ironisch, sarcastisch, verbaasd) Signaleert emotie Blij, bedroefd, boos, bang

20 november 2015 DNZ9, Nijmegen Is prosodie belangrijk?  Communicatief belang van prosodie vs. segmenten  Prosodie nauwelijks gecodeerd in orthografie  Is kennelijk goeddeels redundant  Dus: segmenten veel belangrijker/ informatiever dan prosodie  Informeel proefje

20 november 2015 DNZ9, Nijmegen Informeel proefje  Vijf korte Nederlands zinnen U hoort alleen de prosodie Truc 1: laag-af filteren (segmenten onherkenbaar) Truc 2: vervang segmenten door toetergeluid  Conclusie: niemand verstaat een woord

20 november 2015 DNZ9, Nijmegen Informeel proefje  Dezelfde vijf zinnen Alle prosodische variatie verwijderd Alleen de segmenten blijven overeind Truc: aaneenrijgen van los ingesproken syllaben (elk met eigen zinsklemtoon) Klinkt onnatuurlijk maar is perfect verstaan- baar

20 november 2015 DNZ9, Nijmegen Is prosodie belangrijk?  Onderzoek laat zien dat prosodie belangrijk wordt als segmentele informatie slecht is Buitenlands accent, achtergrondruis, vervorming  Prosodie krijgt dan voorrang op segmenten Zowel bij woordherkenning als bij parsering in frasen  Prosodie helpt vooral om de spraak te begrijpen (speech understanding) en niet zo zeer om de spraak te verstaan (speech recognition)

20 november 2015 DNZ9, Nijmegen Prosodie en zinstypering  Vijf onderwerpen/experimenten Vraagmelodie en vraagtype Fonetisch versus fonologisch Categoriale waarneming van grenstonen? Linguistiek versus paralinguistiek Imperatiefmelodie? Hoe lang wordt de zin? Harde versus zachte planning van spraak Typering van bijzin (beperkend, uitbreidend)

20 november 2015 DNZ9, Nijmegen Prosodie en zinstypering  Mogelijke hypothese elk zinstype dat syntactisch kan worden gesignaleerd kan ook melodisch gesignaleerd worden (in een taal op aarde)  Alle talen hebben Mededeling [~smelodie (meestal laag einde)] Vraag [~melodie (meestal iets hoogs)] Continuering[~melodie (‘zin nog niet af’] Uitroep/exclamatie [~melodie? Alleen attitude/emotie?] Bevel (kale imperat.)[~melodie? Alleen attitude?] Ontkenning (negatie)[~melodie? Alleen redundant?]  Koppeling syntactische structuur en prosodisch type is niet dwingend Mededeling kan vragend worden gesproken, vraag kan met mededelingsmelodie, etc. Heeft wel consequenties voor pragmatische betekenis/interpretatie

Vraagintonatie

20 november 2015 DNZ9, Nijmegen Vraagintonatie  Vier zinstypen Mededeling (Statement) Wh-vraag (informatievraag, vraagwoordvraag) Vraagwoord staat vooraan de zin (tenzij in situ) Soms ook onderwerp na persoonsvorm J/N-vraag (polaire vraag) Persoonsvorm na onderwerp (inversie) Declaratieve vraag Identiek aan statement, alleen prosodie  Functionele hypothese: Sterkere prosodische markering van vraag naar mate er minder lexico-syntactische aanwijzingen zijn

20 november 2015 DNZ9, Nijmegen Vraagintonatie  Sprekers 5 mannen, 5 vrouwen  80 zinnen per spreker Twee lexicale inhouden (Renée, Marina) Isolatie, voor/na mededeling, voor/na vraag Mededeling, Wh-vraag, Y/N-vraag, Declaratieve vraag Elke spreker doet alles twee keer

20 november 2015 DNZ9, Nijmegen Vraagmelodie  Akoestische metingen Begin en einde van L% of H% eindbeweging Met de hand aangewezen, kan nu ook automatisch Begintoon, hoogste toon in body van zin Gemiddelde toonhoogtetrendlijn Onderste trendlijn (lage declinatie) Bovenste trendlijn (hoge declinatie)  Toonhoogte in ERB (perceptieve maat) Zou nu liever toch maar semitoon gebruiken

Aantal eindstijgingen H%  Vrouwen meer vraagmarkeringen dan mannen  Hoe minder lexico-syntactische markering van zinstype, des te vaker eindstijging (bevestigt functionele hypothese)

20 november 2015 DNZ9, Nijmegen Vraagmelodie  Duidelijke verschillen tussen vier typen  Ook vóór de eindbeweging  In termen van Toonhoogtebereik (pitch span) Onderste en bovenste trendlijn Hoe minder lexico-syntactische aanwijzingen, des te minder declinatie (zelfs inclinatie bij declaratieve vraag) Bevestigt functionele hypothese

Globale vorm van melodie per zinstype

20 november 2015 DNZ9, Nijmegen Vraagmelodie  Detailanalyse van melodie (met de hand) Statement: Even (grote) zinsklemtonen op subject en object Wh-vraag Even (kleine) zinsklemtonen op vraagwoord en object Y/N en Declaratieve vraag Sterke reductie van zinsklemtoon op subject Inclinatie van toonhoogte bij Declaratieve vraag

20 november 2015 DNZ9, Nijmegen Vraagmelodie  Wat weet de luisteraar wanneer?  Alleen statement versus declaratieve vraag  Gating experiment zin in stappen laten aangroeien

Wat weet de luisteraar wanneer?  Hoort verschil tussen 50 en 70% correct in eerste helft van zin  Hoort verschil 90 to 100% correct na de tweede zinsklemtoon  Verschil in toonhoogtepiek van tweede min eerste zinsklemtoon geeft de beste aanwijzing

20 november 2015 DNZ9, Nijmegen Vraagmelodie  Intonatietranscriptie  ToDI (Tones of Dutch Intonation)  Alleen Statements en Declaratieve vragen  Aangevuld met ‘^’ Upstep, als tegenhanger van ‘!’ (downstep)

20 november 2015 DNZ9, Nijmegen Vraagmelodie  Fonologische typering Statement Alleen L%, nooit H% Tweede zinsklemtoon is H* of !H*, (vrijwel) nooit ^H* Declaratieve vraag Altijd H%, nooit L% Tweede zinsklemtoon is bij voorkeur ^H* (upstepped, 76%)

Grenstonen en categoriale perceptie

20 november 2015 DNZ9, Nijmegen Inleiding  Categoriale perceptie van fonemen /ba/ ~ /da/ continuüm, gesynthetiseerd Voice Onset Time varieert (bv. in 8 stappen) Perceptieve omslag (‘cross-over’ bij stap 4-5) Verschillen tussen allofonen binnen dezelfde categorie zijn moeilijk te horen Een even groot verschil over een categorie- grens heen is veel beter te horen

20 november 2015 DNZ9, Nijmegen Inleiding  Klassieke definitie van categoriale waarneming Steile omslag in identificatietaak Valt samen met een lokale piek in de discriminatiefunctie, Waarbij de discriminatiefunctie wordt opgemeten in een AB discriminatietaak Zie figuur

discriminatie identificatie

20 november 2015 DNZ9, Nijmegen Inleiding  Fonologie van tonen in de intonatie Discrete categorieën langs een melodisch continuüm  Fonetiek van tonen in de intonatie Graduele verandering van percept  Diagnostiek om de taalkundige/fonologische status van een melodisch contrast te stellen Categoriale perceptie = fonologisch contrast Ladd (1996), Ladd & Morton (1997)

20 november 2015 DNZ9, Nijmegen Inleiding  Remijsen & van Heuven (1999, 2003) vonden zwakke categorialiteit voor mededeling ~ vraag continuüm in Nederlandse finale grenstonen Betekenisvol taalkundig contrast, maar Geen duidelijke lokale discriminatiepiek bij de categoriale omslag Grote individuele verschillen in omslagpunt Correlatie tussen individuele omslagen en pieken  Hadden we een tussenliggende categorie over het hoofd gezien?

20 november 2015 DNZ9, Nijmegen Experiment  Herhaling van Remijsen & van Heuven (2003)  Nu met een 9-staps continuüm van finale grenstonen  Signaleren mogelijk drie functioneel/formele categorieën Mededeling/bevel Continuering Vraag  Met drie responsiemodaliteiten bevel ~ geen bevelbinair vraag ~ geen vraagbinair bevel ~ continuering ~ vraagternair

26-jan-2002 van Heuven & Kirsner TIN 47 Experiment  Bevel Neemt u de trein naar Wageningen!  Conditionele voorzin Neemt u de trein naar Wageningen (, dan …)  Vraag (polair, J/N) Neemt u de trein naar Wageningen?

20 november 2015 DNZ9, Nijmegen Stimuli  Lexico-syntactisch ambigue zin Neemt u de trein naar Wageningen (., ?)  Eén manlijke Nederlandse spreker  PSOLA-resynthese met 9 verschillende finale dalingen/stijgingen  Stappen zijn perceptief gelijk: 0.25 ERB  Stap 1 eindigt bij 80 Hz

20 november 2015 DNZ9, Nijmegen Luisteraars & taken  20 Nederlandse luisteraars universitaire studenten  vier taken Identificatie (drie verschillende taken, zie boven, vijf tokens per type) drie-categorie taak altijd als laatste Discriminatie (9 identieke paren, 8 verschillende paren, 4 tokens per type)

20 november 2015 DNZ9, Nijmegen Analyse & resultaten  Resultaten van identificatie eerst bevel ~ geen bevel vraag ~ geen vraag bevel ~ continuering ~ vraag  Waar ligt de omslag (categoriegrens)?  Steilheid van de sigmoide (S-curve)  Discrepantie tussen categoriegrenzen?  Daarna resultaten discriminatietest Pieken in de discriminatiefunctie?

Categoriegrens bij 2.75Grensbreedte 1.5 Taak: Bevel ~ Geen bevel

Categoriegrens bij 3.45Grensbreedte 2.6 Taak: Vraag ~ Geen vraag

Grenzen bij drievoudige keuze ‘Vraag – Geen vraag’ ligt fout‘Bevel – Geen bevel’ ligt goed

Discriminatiepiek valt samen met categoriegrensGeen goede discriminatiepiek

20 november 2015 DNZ9, Nijmegen Conclusies  Grens tussen ‘bevel’ en ‘geen-bevel’ is goed gedefinieerd en valt samen met een enorme piek in de discriminatiefunctie  Dus: Categoriale perceptie Contrast is taalkundig/fonologisch

20 november 2015 DNZ9, Nijmegen Conclusies  Grens tussen ‘continuering’ en ‘vraag’ is onscherp en valt (misschien) samen met een zwak piekje in de discriminatiefunctie  Contrast is paralinguistisch/fonetisch Zwakke ~ sterke graad van ‘appeal’ van spreker op luisteraar: ‘Doe mij een plezier’ ‘Blijf luisteren’ … ‘Geef antwoord/help mij’  Ohala’s frequentiecode is hier mogelijk van toepassing (hoge toon maakt spreker klein)

20 november 2015 DNZ9, Nijmegen Conclusies  Hybride opdeling van het grenstoon- continuüm linguistisch: ‘geen appeal ~ appeal’ paralinguistisch: ‘zwakke ~ sterke appeal’  Categoriale perceptie als diagnostiek om linguistische status van een contrast te bepalen lijkt te werken

Imperatiefintonatie Bij tijdnood springen naar dia 74, eventueel meteen naar 78

20 november 2015 DNZ9, Nijmegen Inleiding  Bestaat er een imperatiefintonatie / bevelmelodie?  Guittart (1925): Dalende intonatie is regel bij bevelende zinnen Stijgende intonatie komt ook voor (bij heftig bevel) Stijg-daal-stijg-intonatie maakt bevel kleinerend of vriendelijke waarschuwing  Dalende intonatie is regel bij mededelende zinnen  Kirsner, Van Heuven & Caspers (1998): fonologische effecten Stijg-daalcontour (punthoed, H*L) is geschikter voor imperatief dan alleen stijging (%L H*) of alleen daling (%H L*) Imperatief wordt afgezwakt door hoge grenstoon H%

20 november 2015 DNZ9, Nijmegen Inleiding  Van Heuven & Kirsner (1999): fonetische effecten Verhoogd F0 register verzwakt imperatief (‘frequency code’) Kleine toonhoogtebewegingen verzwakken imperatief (‘effort code’)  Conclusie Uit voorgaande onderzoeken is gebleken wat men juist niet moet doen om een bevel te geven.  Vraag Wat moet de spreker dan wel doen om een goede imperatief te maken?

20 november 2015 DNZ9, Nijmegen Aanpak  Algemeen Vergelijking van imperatief met mededeling Drie verschillende attitudes: autoritair, vriendelijk en neutraal Productie-experiment Meten van a priori kansrijke akoestische eigenschappen Lineaire discriminant-analyse (LDA) om attitudes te scheiden  Opmerking Verkennend onderzoek Geen transcripties, geen luisteroordelen Alleen automatisch vaststelbare akoestische maten

20 november 2015 DNZ9, Nijmegen Veronderstellingen  Duur Bevel gaat samen met een hoger spreektempo (snel = mannelijk = dominant, cf. Biemans 2000) duur doelzin, duur pauze voor doelzin  Toonhoogte Bevel gaat samen met lage toonhoogte (= dominant, frequency code) Bevel gaat samen met grote toonbewegingen (= dominant, zie van Bezooijen 1988) gem. F0, max. F0, min F0, variatiecoëficiënt F0 (=sd/gem)  Intensiteit Bevel gaat samen met luidheid (= dominant) gemiddelde intensiteit, piekintensiteit

20 november 2015 DNZ9, Nijmegen Materiaal  Modus:imperatief, mededeling  Zin:2 korte en 2 langere basiszinnen  Attitude:neutraal, vriendelijk, autoritair Hij zei ({vriendelijk, streng}): ‘(ik) ga naar huis’ Hij zei ({vriendelijk, streng}): ‘(ik) lees de krant’ Hij zei ({vriendelijk, streng}): ‘(ik) doe altijd de deur op slot’ Hij zei ({vriendelijk, streng}): ‘(ik) neem de trein naar Leiden’

20 november 2015 DNZ9, Nijmegen Materiaal  Sprekers 4 mannen, 4 vrouwen (leeftijd tussen 20 en 50 jaar) elke proefpersoon produceerde 2 (korte)  2 (lange) zinnen  2 modi (mededeling, imperatief)  3 (attitudes)  2 (herhalingen) = 48 zinnen  Instructie ‘lees zinnen voor alsof u een (stuk uit een) roman inspreekt t.b.v. blindenbibliotheek’ Meteen naar dia 74 of 78?

20 november 2015 DNZ9, Nijmegen Resultaten  Duur van zin in directe rede Neutraal ca. 400 ms sneller dan vriendelijk en autoritair Mededeling ca. 150 ms langer dan imperatief (triviaal, want geen ik)

20 november 2015 DNZ9, Nijmegen Resultaten  Duur van pauze vóór directe rede pauze voor neutraal ca. 150 ms korter dan voor {vriendelijk, autoritair}; klopt met hoger spreektempo bij neutraal pauze voor imperatief 50 à 150 ms korter dan voor mededeling Dus toch niet-triviaal: imperatief wordt sneller gesproken

20 november 2015 DNZ9, Nijmegen Resultaten  Gemiddelde F0 (in directe rede) Imperatief hogere F0 dan mededeling {Neutraal, vriendelijk} > autoritair Interactie niet significant Effect strijdig met frequency code (?)

20 november 2015 DNZ9, Nijmegen Resultaten  Maximum F0 Iets hogere F0 voor imperatief (niet significant) autoritaire mededeling ca. 15 Hz lager dan andere 5 condities (significant)

20 november 2015 DNZ9, Nijmegen Resultaten  Minimum F0 Alleen autoritaire mededeling lager minimum dan andere 5 condities Dus: toonregister voor autoritaire mededeling (max & min) lager Interpretatie: laag = autoritair, maar niet nodig als het zinstype zelf al autoritair is

20 november 2015 DNZ9, Nijmegen Resultaten  F0-variatiecoëfficiënt Alleen neutrale imperatief heeft vlakker F0-verloop

20 november 2015 DNZ9, Nijmegen Resultaten  Gemiddelde Intensiteit Imperatief ca. 1 à 3 dB sterker dan mededeling Vriendelijk < {neutraal, autoritair} Interactie niet significant

20 november 2015 DNZ9, Nijmegen Resultaten  Piekintensiteit Imperatief 1 à 2 dB sterker dan mededeling Vriendelijk < neutraal < autoritair in stappen van 2 dB

20 november 2015 DNZ9, Nijmegen Samenvatting verschillen  Imperatief heeft hogere piekintensiteit heeft hogere gemiddelde intensiteit is sneller wordt voorafgegaan door kortere pauze heeft hogere gemiddelde F0 (=toonhoogte)  Autoritair heeft hogere piekintensiteit heeft hogere gemiddelde intensiteit heeft lagere gemiddelde F0 (=toonhoogte)

20 november 2015 DNZ9, Nijmegen Automatische classificatie  Lineaire discriminantanalyse (LDA)  Geen onderscheid bevel ~mededeling  Wél voor attitude vriendelijk, neutraal, autoritair Algoritme voorspelt bedoelde attitude gemiddeld op 1e plaats Gemiddeld 56% correct over alle 8 sprekers Regelmatige verwarringsstructuur (zie dia) Maar sprekers lopen sterk uiteen in acteertalent: 88%, 77%, 75%, 73%, 69%, 67%, 67%, 38% correct

20 november 2015 DNZ9, Nijmegen Automatische classificatie  Vriendelijk en autoritair gaan ruim boven kans  Bevelintonatie is vooral autoritair

20 november 2015 DNZ9, Nijmegen Conclusie  Er is geen categoriale, linguistische bevelintonatie  Imperatief wordt alleen paralinguistisch gesignaleerd  Met behulp van autoritair/dominant (=attitude)

Afronding

20 november 2015 DNZ9, Nijmegen Afronding  Voor het Nederlands hebben we het volgende gevonden Er zijn geen harde koppelingen tussen syntactische zinstypen en prosodie We vinden slechts één hard linguistisch contrast: ‘zin af’ vs. ‘zin niet af’ Zin af = {mededeling, bevel} = no appeal Zin niet af = {continuering, vraag} = appeal

20 november 2015 DNZ9, Nijmegen Afronding  Voor het Nederlands hebben we het volgende gevonden (vervolg) Er is geen specifieke imperatiefmelodie Geen linguïstisch verschil tussen mededeling en bevel Wel paralinguïstische samenhang tussen bevel en autoritaire attitude