Gerrit Bloothooft Gerrit.Bloothooft@let.uu.nl Spraaktechnologie Gerrit Bloothooft Gerrit.Bloothooft@let.uu.nl http://www.let.uu.nl/~Gerrit.Bloothooft/personal/onderwijs/TST

Taal- en Spraaktechnologie Communicatie tekens van taal waren er eerst als spraak en gebaar (multimodaal) spraak akoestische representatie van boodschap, van taal nadruk, emotie (supra-linguistisch) overdracht snel draagt ver alle richtingen (geen oogcontact nodig) gebaar mimiek, lichaamstaal, gebarentaal aanwijzen lipbewegingen ondersteunend (doven) Taal- en Spraaktechnologie

Taal- en Spraaktechnologie Schrift relatief recente, technologische ontwikkeling schrift in relatie tot spraak en gebaar: spraak akoestische representatie van boodschap, van taal lastige relatie nadruk beperkt , emotie (supra-linguistisch) nauwelijks overdracht snel langzaam draagt ver beperkt alle richtingen (geen oogcontact nodig) beperkt gebaar mimiek, lichaamstaal nauwelijks , gebarentaal lastige relatie aanwijzen omslachtig lipbewegingen ondersteunend (doven) Taal- en Spraaktechnologie

Taal- en Spraaktechnologie Spreken en begrijpen taal moet zo geproduceerd worden dat ze begrepen kan worden. interactie tussen eigenschappen van taal en spraak/gebaar contekstafhankelijke nauwkeurigheid in spraak/gebaar hypercorrecte articulatie is onnatuurlijk (en kost ook teveel energie) meestal geen issue in schrift Taal- en Spraaktechnologie

Taal- en Spraaktechnologie De spraakketen bedoelen > formuleren > spreken > overdracht > horen/kijken begrijpen < verstaan < Taal- en Spraaktechnologie

Communicatievoorwaarden spreker en luisteraar hebben toegang tot elkaar lucht lucht + telefoon (elektromagnetische golven | analoog of digitaal) kennen elkaars taalcode drukken boodschap op dezelfde manier uit in codering / decodering niet noodzakelijk de moedertaal Taal- en Spraaktechnologie

Wetenschap en Technologie Begrijpen van fundamentele processen bij de mens psycholinguistiek fonetiek taalwetenschap Communicatieprocessen met machines luisteren naar machines spreken tot machines dialoog met machines Modellen nodig voor elk onderdeel van de spraakketen Sterke wisselwerking tussen wetenschap en technologie Taal- en Spraaktechnologie

Taal- en Spraaktechnologie Modelkeuze Niet noodzakelijk de modellen uit psycholinguistiek en fonetiek Copiëren spraaksynthese (18e eeuw) plaatjes Imiteren Zelfde functie, maar (gedeeltelijk) via andere processen een vliegtuig klapwiekt niet spraaksynthese voorbeelden Taal- en Spraaktechnologie

Hoofdlijnen in spraaktechnologie Spraaksynthese audiovisuele spraak spraakgeneratie Spraakherkenning spraakbegrijpen Dialoogsystemen multimodale systemen Spraak-naar-spraakvertalen Sprekerherkenning verificatie identificatie Taalherkenning Spraakcodering 64 Kb/s naar 2 Kb/s Taal- en Spraaktechnologie

Taal- en Spraaktechnologie Toepassingen Voorleesmachines voor blinden E-mail reader, SMS-reader informatie (stations, vliegvelden) Hands-free bediening gehandicapten ingewikkelde besturingen, consumentenelectronica Gesproken informatie invoer computer RealSpeak, Naturally Speaking,..(RSI preventie) Dialoogsystemen (multi-modaal, multi-linguaal) interactieve informatie- en besteldiensten (IVR, girofoon, koerslijn) Computer-Aided (Language) Learning Zoeksystemen (audio-archieven) Toegangs- en transactiebeveiligingen Taal- en Spraaktechnologie

Spraak- en taaltechnologie Spraaksynthese Letter-klanksymbool omzetting Morfologische analyse voor klemtoontoekenning Zinsontleding voor ritme en melodie Semantische ontleding voor herkennen van oude en nieuwe informatie met effect op ritme en melodie Spraakherkenning Taalmodel Taal- en Spraaktechnologie

Taal- en Spraaktechnologie Tekst en spraak Tekst is informatie in de vorm van een verzameling symbolen Spraak is een geluidsignaal dat (dezelfde) informatie bevat of niet helemaal… Taal- en Spraaktechnologie

Taal- en Spraaktechnologie Symbool naar signaal conversie Signaal naar symbool conversie Regels? Statistiek? Tekst Spraak Taal- en Spraaktechnologie

Taal- en Spraaktechnologie Zeven lagen Taal- en Spraaktechnologie

Taal- en Spraaktechnologie Spraak in deze cursus Basis spraakanalyse Spraaksynthese (difoonsynthese) Grafeem-foneem regels Prosodie regels Statistische benaderingen van spraak en taal Taal- en Spraaktechnologie