Computationele Taalkunde (taal- en spraaktechnologie)

Presentatie over: "Computationele Taalkunde (taal- en spraaktechnologie)"— Transcript van de presentatie:

1 Computationele Taalkunde (taal- en spraaktechnologie)
Gerrit Bloothooft

2 De computer kan meer dan tekstverwerken alleen tellen en rekenen
logisch redeneren (regels toepassen) > rekenen met, en redeneren over taal en spraak

3 Digitalisatie Maakt teksten en spraak toegankelijk op de computer
Maakt analyse van enorme hoeveelheid gegevens mogelijk geeft een beter beeld van feitelijk taal- en spraakgebruik

4 Leren Gegevens verzamelen Structuur noodzakelijk Voorbeelden Imitatie
Taal Klanken Geldt voor mens en voor computer

5 Voorwaarden Taalmodel en spraakmodel nodig Trainingsmateriaal nodig
Voorbeelden (veel) Supervisie (zeker in het begin) Tellen van verschijnselen > Statistische modellen

6 Belang voor taalkunde/fonetiek
Analyseren en modelleren van taal- en spraakprocessen Inventariseren/trainen: welke verschijnselen komen voor hoe vaak? (kansrekening) Begrijpen: via model/theorie voorspellen van verschijnselen (niet alles is van te voren al vast te leggen) Toepassen: automatisering van taal- en spraakprocessen Toetssteen van theoriën Wisselwerking

7 Toepassingen (tekst) Spellingscontrole Afbreekregels
Automatisch vertalen Taal herkennen Samenvatten van teksten Begrijpen van natuurlijke taal Dialoogsystemen Slim zoeken (Google)

8 Toepassingen (spraak)
Spraaksynthese Spraakherkenning Spraakcodering Gesproken dialoogsystemen in combinatie met systemen voor natuurlijke taalverwerking

9 Een voorbeeld Spellingscontrole De reiziger vertrekt moregn
Waar zit een fout? Wat is het correcte woord?

10 Spellingscontrole Wat heb je nodig Woordenlijst Woordfrequentie
komt een woord voor? welke alternatieven zijn er? maar: hoe groot is de lijst? Woordfrequentie welk alternatief is het waarschijnlijkst? Verschilmaat tussen woord en alternatief moregn | morgen, moren, mogen, moeren ….

11 Spellingscontrole als het woord niet voorkomt in de woordenlijst
spelfout (vervoegingsfout) of lijst niet compleet vervoegingen, getallen, eigennamen,… niet-Nederlands woord

12 Spelfout invoeging, verwijdering, verwisseling moregn
moren (1 invoeging) moreen (1 verwisseling) morren (2 verwisselingen) morden (2 verwisselingen) morgen (2 verwisselingen of 1 omwisseling) Welk woord had het moeten zijn, hoe kies je? hoe vind je alle alternatieven, wat is “lijken op”? welke fouten worden het meest gemaakt welke alternatieven zijn het waarschijnlijkst

13 Waarschijnlijkheid hoe vaak komt iets voor computer laten tellen
een letter een woord woordcombinatie taalkundige structuren

14 Woordfrequentie Sommige woorden zijn heel frequent
welke? Heel veel woorden zijn infrequent Shakespeare gebruikte Engelse woorden (de gemiddelde Nederlandse student kent er 3.000; in het Van Dale Engels woordenboek staan er )

15 Woordfrequentie in Wikipedia
the, of , and, … Frequentie → Rangorde →

16 Grote tekstcorpora [voor elke taal]
Tot honderden miljoenen woorden Corpus Gesproken Nederlands: 300M Van diverse aard Kranten Boeken Wetenschappelijke publicaties, handleidingen Online teksten De tekst van spontane spraak Vlaams/Nederlands

17 Structuur in tekst (intermezzo)
Handelingen van de Tweede Kamer 150 jaar vrijwel letterlijke weergave van parlementaire debatten (digitaal) Vaste manier om te noteren wie spreekt en wat er gebeurt (annotaties) Bijvoorbeeld, het teken □ betekent interruptie dat maakt analyse van interruptiegedrag mogelijk

18 Attackogram (interruptie overzicht)
Political Mashup project (Maarten Marx / Rianne Kaptein) Algemene beschouwingen 2008 GroenLinks D66 PVV Christen Unie SP VVD PvdA CDA PvdDieren TON SGP

19 Meer woorden tellen! Woordcombinaties (collocatie)
meer informatie (ook syntactisch/semantisch) zeer grote corpora nodig om woordcombinaties tegen te komen

20 Spellingscontrole is de vervoeging goed? (vertraagt, vertraagd)
regels > syntactische analyse gebruik buurwoorden (collocaties) (bv is … vertraagd, hij vertraagt )

21 Spellingscontrole samenvattend
woordenlijsten met frequenties collocatielijsten met frequenties regels voor frequente typefouten regels voor syntactische analyse beslissingsstrategie

22 Taal herkennen (kenmerken van een taal)
Jan van Wageningen Dieter Schlierensauer Ioannis Archontakis Mohammed Ouazzani Benhaddou John MacAllister Zhiang Van Tranh Eva Fonseca Aranda de Pereira Rodriguez Olga Ivanovna Kutsnetsova Majbritt Olavsdottir Fadma Űmmügülsüm

23 Taal herkennen (door te tellen!)
karakteristieke letters Nederlands: à é ë ï Fries: ê ô ú û Duits: Ö Ü ä ö ü ß Italiaans: à é è ì ò ù overige karakteristieken Nederlands lettercombinatie ij, ei, dubbele klinkers, kw, sch, woorden: het, op, en, een, voor (en samenstellingen met voor). [topnamen: de, van, een, en, het, in, is, te, niet, op, dat, die, voor, hij, ik, zijn, was] woordeinde: -tje, -sje, -ing, -en, -lijk, woordbegin: z-, v-, ge- t/m 3 tot 5 woorden >90%, 10 woorden ~100% (de kleine jongen)

24 Automatisch vertalen Van brontaal naar doeltaal Google vertaling
   Automatisch vertalen Van brontaal naar doeltaal vertalen is meer dan andere codering toepassen is meer dan woordelijk vertalen problemen met niet-bestaande woorden en constructies training: bv vertalingen in Europese parlement Israel vows no let-up over Gaza Israeli Defence Minister Ehud Barak has said Palestinian militant group Hamas had sustained a "hard blow", but the offensive in Gaza would continue. Israël laat geen geloften-up over Gaza Israëlische minister van Defensie Ehud Barak heeft gezegd Palestijnse militante groep Hamas had aanhoudende een "harde klap", maar het offensief in de Gazastrook zou blijven. Israël belooft niet te stoppen in Gaza De Israëlische minister van Defensie Ehud Barak heeft gezegd dat de Palestijnse militante groep Hamas een harde klap te verduren heeft gehad, maar dat het offensief in de Gazastrook zal doorgaan. Google vertaling

25 Taal- en spraaktechnologie
Spreken en verstaan door een computer Informatiediensten (KPN,NS,..) Reserveren (hotel) Kopen (Wehkamp) Hands-free taken Computerinterface (in en uit) Sprekende krant (blinden) Gesproken Spraak-naar-spraak vertalen

26 de spraakketen bedoelen begrijpen formuleren verstaan spreken horen
spreker luisteraar bedoelen begrijpen taal-kennis formuleren verstaan spreken Omdat we geen taalkennis hebben van een vreemde taal verstaan we die niet horen spraakgeluid

27 de spraakketen (computer)
handelen (bv vertalen) resultaat begrijpen talen kennis spraak herkennen formuleren spraak synthese geluid analyseren Omdat we geen taalkennis hebben van een vreemde taal verstaan we die niet spraakgeluid-uit spraakgeluid-in

28 dialoog initiatief handelen (bv vertalen) resultaat begrijpen
formuleren (computer) talen kennis spraak herkennen spraak synthese geluid analyseren Omdat we geen taalkennis hebben van een vreemde taal verstaan we die niet spraakgeluid-uit spraakgeluid-in (gebruiker)

29 Spraakherkenning onbekende spraak vergelijken met in het geheugen opgeslagen ‘modellen’ spraakklank woord problemen klank- en woordsegmentatie slordige spraak (doen we allemaal) sprekerverschillen omgevingslawaai

30 Het leven is mooi als de zon schijnt
geen pauzes, slordigheden, sprekereigenschappen, verstoringen

31 Spraaksynthese lange geschiedenis
replica (talking head) - vanaf 18e eeuw akoestisch-elektronisch digitaal ‘een vliegtuig klapt niet met de vleugels’

32 Von Kempelen (1791) mond-keelholte long articulatoren /mama, papa/
neus

33 Twee methoden spraaksynthese door regels
model van spraakproductie (formant synthese, articulatorische synthese) spraak opbouwen uit bouwstenen vooropgenomen spraak(stukjes) difoonsynthese (twee-fonemen) synthese door keuze van (grotere) spraakeenheden uit zeer grote verzameling

34 Difonen Meeste stabiliteit in midden van spraakklank
di = twee foon = klank Van midden naar midden attentie > #AtEntsi# > #A At tE En nts tsi i# constante toonhoogte (dat wordt later geregeld)

35 Voorbeelden difoonsynthese
attentie: schimmel: Engels: Frans: Fluency:

36 Grotere eenheden gebruiken
Uren spraak opnemen kan alleen als je zeer grote bestanden kunt verwerken; sinds 10 jaar Segmenteren in woorden en klanken Nieuwe zin: kijk of je je stukken al opgenomen hebt (van een heel woord tot een difoon) Plak stukken aan elkaar

37 Voorbeelden unit-selection
Loquendo (Willem) RealSpeak (NL in Engels)

38 Verschillende talen (engels, frans, duits, italiaans, noors,pools, portugees, russisch, spaans, zweeds, turks)

39 Van tekst naar spraak tekst voorbewerken letter-naar-foneem
afkortingen, getallen letter-naar-foneem fonetische transcriptie door regels c kan klanken s, k, S (sj), X (g) worden verleden: zelfde schrijfwijze, drie klanken paal, palen: zelfde klank, twee schrijfwijzen duur en melodie toekennen woordklemtoon, zinsaccent, vraagzin,…

40 Duur en melodie Fluency Speech Editor demonstratie (fldsed)
Woordklemtoon Zinsaccent (hoog/laag) Algemene daling van toonhoogte over de zin Alles op basis van taalkundige analyse Functiewoorden versus inhoudswoorden Syntactische / semantische analyse

41 Modellen zijn procedures in taal- en spraaktechnologie een afspiegeling van menselijke taalverwerking? ook al benaderen ze menselijke prestaties: nee, niet noodzakelijk onze hersenen werken complexer dan een hedendaagse computer

42 Opdrachten Zie de leeswijzer Aantal vragen uit het boek
Vraag over spraaksynthese

43 Meer over taal- en spraaktechnologie
Niveau 1 Taal en Computer (blok 3) Niveau 3 Taal- en Spraaktechnologie (blok 4) Computationele grammatica’s (blok 2)

44 Vragen?