Prosodie en zinsbouw Vincent J. van Heuven Leiden University Centre for Linguistics, The Netherlands Leiden Institute for Brain and Cognition, The Netherlands.

Presentatie over: "Prosodie en zinsbouw Vincent J. van Heuven Leiden University Centre for Linguistics, The Netherlands Leiden Institute for Brain and Cognition, The Netherlands."— Transcript van de presentatie:

1

2 Prosodie en zinsbouw Vincent J. van Heuven Leiden University Centre for Linguistics, The Netherlands Leiden Institute for Brain and Cognition, The Netherlands Institute of Applied Linguistics, University of Pannonia, Hungary

3 20 november 2015 DNZ9, Nijmegen 2015 2 Road map/spoorboekje  Inleiding prosodie Wat is prosodie? Is prosodie communicatief belangrijk?  Prosodie van zinstypering (in Nederlands) Vraagmelodie en vraagtype Categoriale waarneming van grenstonen? Imperatiefmelodie? Hoe lang wordt de zin? Typering van bijzin (beperkend, uitbreidend)

4 20 november 2015 DNZ9, Nijmegen 2015 3 Intro prosodie  Prosodie Pros = ‘with’, ode = ‘zang’ Dus: ‘bij de zang’ Muzikale omlijsting van de woorden Alle eigenschappen van een (gesproken) taalbouwsel die niet direct kunnen worden herleid tot de opeenvolging van spraakklanken N.B. Niet te verwarren met de leenvertaling accent = ad cantus = ‘bij de zang’ Prosodie ≠ accentuering

5 20 november 2015 DNZ9, Nijmegen 2015 4 Intro prosodie  Intrinsieke eigenschappen Eigenschappen van de klank zelf  Coïntrinsieke eigenschappen Eigenschappen die worden opgelegd door de buurklanken  Prosodie Alles wat overblijft na aftrek van intrinsieke en coïntrinsieke eigenschappen Altijd eigenschappen van grotere gehelen (van lettergrepen of groter)

6 20 november 2015 DNZ9, Nijmegen 2015 5 Intro prosodie  Voorbeeld a.h.v. toonhoogte Intrisieke toonhoogte Hoe geslotener een klinker, des te hoger de toon Coïntrinsieke toonhoogte Toon in klinker is hoger na stemloze dan na stemhebbende obstruent Zie illustratie op volgende slides

7 Voorbeeld intrinsieke toonhoogte  Alle klinkers van het (Amerikaans) Engels in vaste omgeving  Now say /hVd/ again (heed, hid, hayed, head, had,...)  Met zinsklemtoon, gemiddeld over mannen en vrouwen Gesloten Open Midden

8 Grondtoon (=toonhoogte) (Hz) Klinkerinzet Na stemloze C Na stemhebbende C Voorbeeld coïntrinsieke toonhoogte

9 20 november 2015 DNZ9, Nijmegen 2015 8 Intro prosodie  Opsommend: Prosodie omvat Melodie: hoger ~ lager Woordtoon, zinsmelodie (= intonatie) Dynamiek: luider ~ zachter Woordklemtoon, zinsklemtoon Tempovariatie: sneller ~ langzamer Grensmarkering Geen eigenschappen van aparte klinkers of medeklinkers

10 20 november 2015 DNZ9, Nijmegen 2015 9 Intro prosodie  Prosodie verschilt van taal tot taal Zelfs van dialect tot dialect  Bv. Engels (en Duits) heeft levendiger en gevarieerder melodieën dan Nederlands Grotere toonomvang Meer verschillende patronen Zie schema op volgende slide

11 20 november 2015 DNZ9, Nijmegen 2015 10

12 20 november 2015 DNZ9, Nijmegen 2015 11

13 20 november 2015 DNZ9, Nijmegen 2015 12 Melodie Engels ~Nederlands  From Scarborough to Whitby is a very pleasant journey Engelse melodie Nederlandse melodie  Van Haarlem naar Zandvoort is een hele mooie treinreis Nederlandse melodie Engelse melodie

14 20 november 2015 DNZ9, Nijmegen 2015 13 Waartoe dient prosodie?  Op woordniveau Woorden onderscheiden: lexicale toon Woorden indelen in sublexica o.b.v. klemtoon Woorden scheiden: vaste klemtoon Gaan we het niet over hebben (want geen zinsbouw)  Op zinsniveau Grensmarkering: tekst/zin opdelen in brokken (bv. frases) Zinsklemtoon: markeert informatiestructuur binnen frase (focus door zinsklemtoon of prosodisch hoofd)

15 20 november 2015 DNZ9, Nijmegen 2015 14 Waartoe dient prosodie?  Op zinsniveau (vervolg) Attentioneel: markeert status van referenten Zins/frasetypering Mededeling, vraag, bevel, uitroep, continuering Signaleert attitude Hoe staat de spreker t/o de hoorder (bv. dominant, beleefd/onderworpen), en/of de verbale inhoud van zijn boodschap? (oprecht, ironisch, sarcastisch, verbaasd) Signaleert emotie Blij, bedroefd, boos, bang

16 20 november 2015 DNZ9, Nijmegen 2015 15 Is prosodie belangrijk?  Communicatief belang van prosodie vs. segmenten  Prosodie nauwelijks gecodeerd in orthografie  Is kennelijk goeddeels redundant  Dus: segmenten veel belangrijker/ informatiever dan prosodie  Informeel proefje

17 20 november 2015 DNZ9, Nijmegen 2015 16 Informeel proefje  Vijf korte Nederlands zinnen U hoort alleen de prosodie Truc 1: laag-af filteren (segmenten onherkenbaar) Truc 2: vervang segmenten door toetergeluid  Conclusie: niemand verstaat een woord

18 20 november 2015 DNZ9, Nijmegen 2015 17 Informeel proefje  Dezelfde vijf zinnen Alle prosodische variatie verwijderd Alleen de segmenten blijven overeind Truc: aaneenrijgen van los ingesproken syllaben (elk met eigen zinsklemtoon) Klinkt onnatuurlijk maar is perfect verstaan- baar

19 20 november 2015 DNZ9, Nijmegen 2015 18 Is prosodie belangrijk?  Onderzoek laat zien dat prosodie belangrijk wordt als segmentele informatie slecht is Buitenlands accent, achtergrondruis, vervorming  Prosodie krijgt dan voorrang op segmenten Zowel bij woordherkenning als bij parsering in frasen  Prosodie helpt vooral om de spraak te begrijpen (speech understanding) en niet zo zeer om de spraak te verstaan (speech recognition)

20 20 november 2015 DNZ9, Nijmegen 2015 19 Prosodie en zinstypering  Vijf onderwerpen/experimenten Vraagmelodie en vraagtype Fonetisch versus fonologisch Categoriale waarneming van grenstonen? Linguistiek versus paralinguistiek Imperatiefmelodie? Hoe lang wordt de zin? Harde versus zachte planning van spraak Typering van bijzin (beperkend, uitbreidend)

21 20 november 2015 DNZ9, Nijmegen 2015 20 Prosodie en zinstypering  Mogelijke hypothese elk zinstype dat syntactisch kan worden gesignaleerd kan ook melodisch gesignaleerd worden (in een taal op aarde)  Alle talen hebben Mededeling [~smelodie (meestal laag einde)] Vraag [~melodie (meestal iets hoogs)] Continuering[~melodie (‘zin nog niet af’] Uitroep/exclamatie [~melodie? Alleen attitude/emotie?] Bevel (kale imperat.)[~melodie? Alleen attitude?] Ontkenning (negatie)[~melodie? Alleen redundant?]  Koppeling syntactische structuur en prosodisch type is niet dwingend Mededeling kan vragend worden gesproken, vraag kan met mededelingsmelodie, etc. Heeft wel consequenties voor pragmatische betekenis/interpretatie

22 Vraagintonatie

23 20 november 2015 DNZ9, Nijmegen 2015 22 Vraagintonatie  Vier zinstypen Mededeling (Statement) Wh-vraag (informatievraag, vraagwoordvraag) Vraagwoord staat vooraan de zin (tenzij in situ) Soms ook onderwerp na persoonsvorm J/N-vraag (polaire vraag) Persoonsvorm na onderwerp (inversie) Declaratieve vraag Identiek aan statement, alleen prosodie  Functionele hypothese: Sterkere prosodische markering van vraag naar mate er minder lexico-syntactische aanwijzingen zijn

24 20 november 2015 DNZ9, Nijmegen 2015 23 Vraagintonatie  Sprekers 5 mannen, 5 vrouwen  80 zinnen per spreker Twee lexicale inhouden (Renée, Marina) Isolatie, voor/na mededeling, voor/na vraag Mededeling, Wh-vraag, Y/N-vraag, Declaratieve vraag Elke spreker doet alles twee keer

25

26

27 20 november 2015 DNZ9, Nijmegen 2015 26 Vraagmelodie  Akoestische metingen Begin en einde van L% of H% eindbeweging Met de hand aangewezen, kan nu ook automatisch Begintoon, hoogste toon in body van zin Gemiddelde toonhoogtetrendlijn Onderste trendlijn (lage declinatie) Bovenste trendlijn (hoge declinatie)  Toonhoogte in ERB (perceptieve maat) Zou nu liever toch maar semitoon gebruiken

28

29 Aantal eindstijgingen H%  Vrouwen meer vraagmarkeringen dan mannen  Hoe minder lexico-syntactische markering van zinstype, des te vaker eindstijging (bevestigt functionele hypothese)

30 20 november 2015 DNZ9, Nijmegen 2015 29 Vraagmelodie  Duidelijke verschillen tussen vier typen  Ook vóór de eindbeweging  In termen van Toonhoogtebereik (pitch span) Onderste en bovenste trendlijn Hoe minder lexico-syntactische aanwijzingen, des te minder declinatie (zelfs inclinatie bij declaratieve vraag) Bevestigt functionele hypothese

31 Globale vorm van melodie per zinstype

32 20 november 2015 DNZ9, Nijmegen 2015 31 Vraagmelodie  Detailanalyse van melodie (met de hand) Statement: Even (grote) zinsklemtonen op subject en object Wh-vraag Even (kleine) zinsklemtonen op vraagwoord en object Y/N en Declaratieve vraag Sterke reductie van zinsklemtoon op subject Inclinatie van toonhoogte bij Declaratieve vraag

33

34 20 november 2015 DNZ9, Nijmegen 2015 33 Vraagmelodie  Wat weet de luisteraar wanneer?  Alleen statement versus declaratieve vraag  Gating experiment zin in stappen laten aangroeien

35 Wat weet de luisteraar wanneer?  Hoort verschil tussen 50 en 70% correct in eerste helft van zin  Hoort verschil 90 to 100% correct na de tweede zinsklemtoon  Verschil in toonhoogtepiek van tweede min eerste zinsklemtoon geeft de beste aanwijzing

36 20 november 2015 DNZ9, Nijmegen 2015 35 Vraagmelodie  Intonatietranscriptie  ToDI (Tones of Dutch Intonation)  Alleen Statements en Declaratieve vragen  Aangevuld met ‘^’ Upstep, als tegenhanger van ‘!’ (downstep)

37

38 20 november 2015 DNZ9, Nijmegen 2015 37 Vraagmelodie  Fonologische typering Statement Alleen L%, nooit H% Tweede zinsklemtoon is H* of !H*, (vrijwel) nooit ^H* Declaratieve vraag Altijd H%, nooit L% Tweede zinsklemtoon is bij voorkeur ^H* (upstepped, 76%)

39

40

41 Grenstonen en categoriale perceptie

42 20 november 2015 DNZ9, Nijmegen 2015 41 Inleiding  Categoriale perceptie van fonemen /ba/ ~ /da/ continuüm, gesynthetiseerd Voice Onset Time varieert (bv. in 8 stappen) Perceptieve omslag (‘cross-over’ bij stap 4-5) Verschillen tussen allofonen binnen dezelfde categorie zijn moeilijk te horen Een even groot verschil over een categorie- grens heen is veel beter te horen

43 20 november 2015 DNZ9, Nijmegen 2015 42 Inleiding  Klassieke definitie van categoriale waarneming Steile omslag in identificatietaak Valt samen met een lokale piek in de discriminatiefunctie, Waarbij de discriminatiefunctie wordt opgemeten in een AB discriminatietaak Zie figuur

44 discriminatie identificatie

45 20 november 2015 DNZ9, Nijmegen 2015 44 Inleiding  Fonologie van tonen in de intonatie Discrete categorieën langs een melodisch continuüm  Fonetiek van tonen in de intonatie Graduele verandering van percept  Diagnostiek om de taalkundige/fonologische status van een melodisch contrast te stellen Categoriale perceptie = fonologisch contrast Ladd (1996), Ladd & Morton (1997)

46 20 november 2015 DNZ9, Nijmegen 2015 45 Inleiding  Remijsen & van Heuven (1999, 2003) vonden zwakke categorialiteit voor mededeling ~ vraag continuüm in Nederlandse finale grenstonen Betekenisvol taalkundig contrast, maar Geen duidelijke lokale discriminatiepiek bij de categoriale omslag Grote individuele verschillen in omslagpunt Correlatie tussen individuele omslagen en pieken  Hadden we een tussenliggende categorie over het hoofd gezien?

47 20 november 2015 DNZ9, Nijmegen 2015 46 Experiment  Herhaling van Remijsen & van Heuven (2003)  Nu met een 9-staps continuüm van finale grenstonen  Signaleren mogelijk drie functioneel/formele categorieën Mededeling/bevel Continuering Vraag  Met drie responsiemodaliteiten bevel ~ geen bevelbinair vraag ~ geen vraagbinair bevel ~ continuering ~ vraagternair

48 26-jan-2002 van Heuven & Kirsner TIN 47 Experiment  Bevel Neemt u de trein naar Wageningen!  Conditionele voorzin Neemt u de trein naar Wageningen (, dan …)  Vraag (polair, J/N) Neemt u de trein naar Wageningen?

49 20 november 2015 DNZ9, Nijmegen 2015 48 Stimuli  Lexico-syntactisch ambigue zin Neemt u de trein naar Wageningen (., ?)  Eén manlijke Nederlandse spreker  PSOLA-resynthese met 9 verschillende finale dalingen/stijgingen  Stappen zijn perceptief gelijk: 0.25 ERB  Stap 1 eindigt bij 80 Hz

50 9 8 7 6 5 4 3 2 1

51 20 november 2015 DNZ9, Nijmegen 2015 50 Luisteraars & taken  20 Nederlandse luisteraars universitaire studenten  vier taken Identificatie (drie verschillende taken, zie boven, vijf tokens per type) drie-categorie taak altijd als laatste Discriminatie (9 identieke paren, 8 verschillende paren, 4 tokens per type)

52 20 november 2015 DNZ9, Nijmegen 2015 51 Analyse & resultaten  Resultaten van identificatie eerst bevel ~ geen bevel vraag ~ geen vraag bevel ~ continuering ~ vraag  Waar ligt de omslag (categoriegrens)?  Steilheid van de sigmoide (S-curve)  Discrepantie tussen categoriegrenzen?  Daarna resultaten discriminatietest Pieken in de discriminatiefunctie?

53 Categoriegrens bij 2.75Grensbreedte 1.5 Taak: Bevel ~ Geen bevel

54 Categoriegrens bij 3.45Grensbreedte 2.6 Taak: Vraag ~ Geen vraag

55 Grenzen bij drievoudige keuze ‘Vraag – Geen vraag’ ligt fout‘Bevel – Geen bevel’ ligt goed

56 Discriminatiepiek valt samen met categoriegrensGeen goede discriminatiepiek

57 20 november 2015 DNZ9, Nijmegen 2015 56 Conclusies  Grens tussen ‘bevel’ en ‘geen-bevel’ is goed gedefinieerd en valt samen met een enorme piek in de discriminatiefunctie  Dus: Categoriale perceptie Contrast is taalkundig/fonologisch

58 20 november 2015 DNZ9, Nijmegen 2015 57 Conclusies  Grens tussen ‘continuering’ en ‘vraag’ is onscherp en valt (misschien) samen met een zwak piekje in de discriminatiefunctie  Contrast is paralinguistisch/fonetisch Zwakke ~ sterke graad van ‘appeal’ van spreker op luisteraar: ‘Doe mij een plezier’ ‘Blijf luisteren’ … ‘Geef antwoord/help mij’  Ohala’s frequentiecode is hier mogelijk van toepassing (hoge toon maakt spreker klein)

59 20 november 2015 DNZ9, Nijmegen 2015 58 Conclusies  Hybride opdeling van het grenstoon- continuüm linguistisch: ‘geen appeal ~ appeal’ paralinguistisch: ‘zwakke ~ sterke appeal’  Categoriale perceptie als diagnostiek om linguistische status van een contrast te bepalen lijkt te werken

60 Imperatiefintonatie Bij tijdnood springen naar dia 74, eventueel meteen naar 78

61 20 november 2015 DNZ9, Nijmegen 2015 60 Inleiding  Bestaat er een imperatiefintonatie / bevelmelodie?  Guittart (1925): Dalende intonatie is regel bij bevelende zinnen Stijgende intonatie komt ook voor (bij heftig bevel) Stijg-daal-stijg-intonatie maakt bevel kleinerend of vriendelijke waarschuwing  Dalende intonatie is regel bij mededelende zinnen  Kirsner, Van Heuven & Caspers (1998): fonologische effecten Stijg-daalcontour (punthoed, H*L) is geschikter voor imperatief dan alleen stijging (%L H*) of alleen daling (%H L*) Imperatief wordt afgezwakt door hoge grenstoon H%

62 20 november 2015 DNZ9, Nijmegen 2015 61 Inleiding  Van Heuven & Kirsner (1999): fonetische effecten Verhoogd F0 register verzwakt imperatief (‘frequency code’) Kleine toonhoogtebewegingen verzwakken imperatief (‘effort code’)  Conclusie Uit voorgaande onderzoeken is gebleken wat men juist niet moet doen om een bevel te geven.  Vraag Wat moet de spreker dan wel doen om een goede imperatief te maken?

63 20 november 2015 DNZ9, Nijmegen 2015 62 Aanpak  Algemeen Vergelijking van imperatief met mededeling Drie verschillende attitudes: autoritair, vriendelijk en neutraal Productie-experiment Meten van a priori kansrijke akoestische eigenschappen Lineaire discriminant-analyse (LDA) om attitudes te scheiden  Opmerking Verkennend onderzoek Geen transcripties, geen luisteroordelen Alleen automatisch vaststelbare akoestische maten

64 20 november 2015 DNZ9, Nijmegen 2015 63 Veronderstellingen  Duur Bevel gaat samen met een hoger spreektempo (snel = mannelijk = dominant, cf. Biemans 2000) duur doelzin, duur pauze voor doelzin  Toonhoogte Bevel gaat samen met lage toonhoogte (= dominant, frequency code) Bevel gaat samen met grote toonbewegingen (= dominant, zie van Bezooijen 1988) gem. F0, max. F0, min F0, variatiecoëficiënt F0 (=sd/gem)  Intensiteit Bevel gaat samen met luidheid (= dominant) gemiddelde intensiteit, piekintensiteit

65 20 november 2015 DNZ9, Nijmegen 2015 64 Materiaal  Modus:imperatief, mededeling  Zin:2 korte en 2 langere basiszinnen  Attitude:neutraal, vriendelijk, autoritair Hij zei ({vriendelijk, streng}): ‘(ik) ga naar huis’ Hij zei ({vriendelijk, streng}): ‘(ik) lees de krant’ Hij zei ({vriendelijk, streng}): ‘(ik) doe altijd de deur op slot’ Hij zei ({vriendelijk, streng}): ‘(ik) neem de trein naar Leiden’

66 20 november 2015 DNZ9, Nijmegen 2015 65 Materiaal  Sprekers 4 mannen, 4 vrouwen (leeftijd tussen 20 en 50 jaar) elke proefpersoon produceerde 2 (korte)  2 (lange) zinnen  2 modi (mededeling, imperatief)  3 (attitudes)  2 (herhalingen) = 48 zinnen  Instructie ‘lees zinnen voor alsof u een (stuk uit een) roman inspreekt t.b.v. blindenbibliotheek’ Meteen naar dia 74 of 78?

67 20 november 2015 DNZ9, Nijmegen 2015 66 Resultaten  Duur van zin in directe rede Neutraal ca. 400 ms sneller dan vriendelijk en autoritair Mededeling ca. 150 ms langer dan imperatief (triviaal, want geen ik)

68 20 november 2015 DNZ9, Nijmegen 2015 67 Resultaten  Duur van pauze vóór directe rede pauze voor neutraal ca. 150 ms korter dan voor {vriendelijk, autoritair}; klopt met hoger spreektempo bij neutraal pauze voor imperatief 50 à 150 ms korter dan voor mededeling Dus toch niet-triviaal: imperatief wordt sneller gesproken

69 20 november 2015 DNZ9, Nijmegen 2015 68 Resultaten  Gemiddelde F0 (in directe rede) Imperatief hogere F0 dan mededeling {Neutraal, vriendelijk} > autoritair Interactie niet significant Effect strijdig met frequency code (?)

70 20 november 2015 DNZ9, Nijmegen 2015 69 Resultaten  Maximum F0 Iets hogere F0 voor imperatief (niet significant) autoritaire mededeling ca. 15 Hz lager dan andere 5 condities (significant)

71 20 november 2015 DNZ9, Nijmegen 2015 70 Resultaten  Minimum F0 Alleen autoritaire mededeling lager minimum dan andere 5 condities Dus: toonregister voor autoritaire mededeling (max & min) lager Interpretatie: laag = autoritair, maar niet nodig als het zinstype zelf al autoritair is

72 20 november 2015 DNZ9, Nijmegen 2015 71 Resultaten  F0-variatiecoëfficiënt Alleen neutrale imperatief heeft vlakker F0-verloop

73 20 november 2015 DNZ9, Nijmegen 2015 72 Resultaten  Gemiddelde Intensiteit Imperatief ca. 1 à 3 dB sterker dan mededeling Vriendelijk < {neutraal, autoritair} Interactie niet significant

74 20 november 2015 DNZ9, Nijmegen 2015 73 Resultaten  Piekintensiteit Imperatief 1 à 2 dB sterker dan mededeling Vriendelijk < neutraal < autoritair in stappen van 2 dB

75 20 november 2015 DNZ9, Nijmegen 2015 74 Samenvatting verschillen  Imperatief heeft hogere piekintensiteit heeft hogere gemiddelde intensiteit is sneller wordt voorafgegaan door kortere pauze heeft hogere gemiddelde F0 (=toonhoogte)  Autoritair heeft hogere piekintensiteit heeft hogere gemiddelde intensiteit heeft lagere gemiddelde F0 (=toonhoogte)

76 20 november 2015 DNZ9, Nijmegen 2015 75 Automatische classificatie  Lineaire discriminantanalyse (LDA)  Geen onderscheid bevel ~mededeling  Wél voor attitude vriendelijk, neutraal, autoritair Algoritme voorspelt bedoelde attitude gemiddeld op 1e plaats Gemiddeld 56% correct over alle 8 sprekers Regelmatige verwarringsstructuur (zie dia) Maar sprekers lopen sterk uiteen in acteertalent: 88%, 77%, 75%, 73%, 69%, 67%, 67%, 38% correct

77 20 november 2015 DNZ9, Nijmegen 2015 76 Automatische classificatie  Vriendelijk en autoritair gaan ruim boven kans  Bevelintonatie is vooral autoritair

78 20 november 2015 DNZ9, Nijmegen 2015 77 Conclusie  Er is geen categoriale, linguistische bevelintonatie  Imperatief wordt alleen paralinguistisch gesignaleerd  Met behulp van autoritair/dominant (=attitude)

79 Afronding

80 20 november 2015 DNZ9, Nijmegen 2015 79 Afronding  Voor het Nederlands hebben we het volgende gevonden Er zijn geen harde koppelingen tussen syntactische zinstypen en prosodie We vinden slechts één hard linguistisch contrast: ‘zin af’ vs. ‘zin niet af’ Zin af = {mededeling, bevel} = no appeal Zin niet af = {continuering, vraag} = appeal

81 20 november 2015 DNZ9, Nijmegen 2015 80 Afronding  Voor het Nederlands hebben we het volgende gevonden (vervolg) Er is geen specifieke imperatiefmelodie Geen linguïstisch verschil tussen mededeling en bevel Wel paralinguïstische samenhang tussen bevel en autoritaire attitude