De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

PRATEN MET MENS EN MACHINE Louis C.W. Pols Leerstoelgroep Fonetische Wetenschappen (IFA) Herengracht 338, 1016 CG Amsterdam Amsterdam Center for Language.

Verwante presentaties


Presentatie over: "PRATEN MET MENS EN MACHINE Louis C.W. Pols Leerstoelgroep Fonetische Wetenschappen (IFA) Herengracht 338, 1016 CG Amsterdam Amsterdam Center for Language."— Transcript van de presentatie:

1 PRATEN MET MENS EN MACHINE Louis C.W. Pols Leerstoelgroep Fonetische Wetenschappen (IFA) Herengracht 338, 1016 CG Amsterdam Amsterdam Center for Language and Communication (ACLC)/LOT Opleiding Taalwetenschap (Ba/Ma Linguistics) Afdeling/OW-instituut Taal- en Letterkunde Faculteit der Geesteswetenschappen (voorheen Letteren) Universiteit van Amsterdam Lezing TUD, do. 15 april 2004 Jaffalaan 5 Fac. Techniek, Bestuur en Management

2 April 15, 2004Fac. TBM - TUD2 Overzicht praten is communiceren via gesproken taal pratende computers = spraaksynthese luisterende computers = spraakherkenning spraaksignaalanalyse software ‘praat’ 10 M woorden Corpus Gesproken Nederlands conclusies informatie over taal- en spraaktechnologie, zie o.a. en

3 April 15, 2004Fac. TBM - TUD3 Praten praten is communiceren, meestal met anderen, voornamelijk via gesproken taal klanken, woorden, zinnen, grammatica, taal spreekstijl, stemkwaliteit, tempo, emotie, dialect, taalvaardigheid, beurtgedrag, aarzelingen, versprekingen woordklemtoon, zinsaccent, frasering disambigueren ga naar/Ghana, koninklijke/koleke, kanon, verspringen Daan zei de baas is te laat  wie is er te laat?

4 April 15, 2004Fac. TBM - TUD4 Mens vs. machine menselijke communicatieketen: concept, uiting selecteren, articulatie, spraakgeluid, transmissiekanaal, geluidwaarneming, interpretatie spraaksignaal commun. kanaal spreker luisteraar mens spraaksynthese automatische spraakherkenning machine

5 April 15, 2004Fac. TBM - TUD5 Spraaksynthese pratende machine = spraaksynthese database-info, concept, tekst in  spraak uit evt. taalgeneratie, orthografie tekstanalyse (drs.; §; TUD; € 10,-; herv gem) grafeem/foneem conversie (lexicon en regels) extra  /’Ekstra:/wegnemen  woordklemtoon, zinsaccent, pauzes prosodie (co-articulatie, F0, duur) akoestische realisatie (difonen)

6 April 15, 2004Fac. TBM - TUD6 Demonstratie Fluent Dutch Fluent Dutch Text-To-Speech ontwikkeld door A. Dirksen en L. Mehnert eerst Fluency Speech Technology, Utrecht toen van Dale Lexicografie, Utrecht o.a. sprekend woordenboek, gesproken nu Fluency weer eenmansbedrijf andere Nederlandse synthesesystemen: IPO, Nijmeegse allofoonsynthese, Polderland, Speechworks RealSpeak, Infovox, NEXTENS

7 April 15, 2004Fac. TBM - TUD7 Toepassingen spraaksynthese sprekende computer info per telefoon ( , banktegoed, koers) sprekend woordenboek hulpmiddel voor visueel gehandicapten toetsenbord, polshorloge, thermostaat, etc. onderdeel van dialoogsysteem (OVIS, IMIX) miniaturisatie (onleesbare schermpjes) volledige taal/spraak kennis  perfekte synth.

8 April 15, 2004Fac. TBM - TUD8 Spraakherkenning luisterende computer = autom. spraakherk. woorden herkennen vs. spraakverstaan geluidsinvoer (microfoon, ADC) kenmerkrepresentatie (filterwaarden/10 ms) herk. woordsjablonen (templates, DTW), òf getrapte herkenning (en evt. interpretatie) fonemen: HMM phone like units (PLU’s) of ANN woorden: woordmodellen, norm. uitspraak wrd. zinnen: taalmodellering (n-gram)

9 2 5 Time (s) 0

10 5-state HMM phone or word model a ii = selfloop probability; a ij = between state transition prob.; b j (o t ) = observation probabilityfrom Wang (1997)

11 Ranks of words predicted by a trigram language model (from Jelinek, in Furui & Sondhi (1992))

12 April 15, 2004Fac. TBM - TUD12 Aspekten van ASH spreekstijl (woord voor woord, continu) woordenschat ( woorden, onbeperkt) sprekerpopulatie (een, meerdere, dialect, taal) training (spreker en vocab. (on)afh., spr. adaptief) dialoogstructuur (simpel  pseudo-natuurlijk) robuustheid in gebruik (spreker, micr., omgeving, leeftijd, taalvaardigheid, gespreksonderwerp) out-of-vocabulary words (OOV) foutenscore (substitutie, deletie, insertie; begrip)

13 April 15, 2004Fac. TBM - TUD13 Demonstratie Dragon Naturally Speaking ontwikkeld door Dragon Dictate, ook Ned.Dragon Dictate opgekocht door (nu zelf failliete) L&H, nu Scansoft sprekerspecifiek (urenlange training) vlotte invoer, real-time op snelle PC taalmodel heel belangrijk, evenals training tekstinvoer naast commando’s andere systemen voor het Nederlands: Philips Freespeech IBM ViaVoice Scansoft SpeechWorks VoCon

14 April 15, 2004Fac. TBM - TUD14 Toepassingen van spraakherkenning dicteersysteem, tekstverwerker systeemcontrole (industrie, speelgoed, beveiliging, huishouden) iedere telefoon een terminal computer assisted language learning (CALL) hulpmiddelen voor gehandicapten onderdeel van een dialoogsysteem (OVIS, tel ; IMIX) spraak naast andere modaliteiten miniaturisatie (te kleine knopjes)

15 April 15, 2004Fac. TBM - TUD15 spraaksignaalanalyse in-huis ontwikkeld software pakket ‘praat’ wereldwijd verspreid, open source mogelijkheden voor opname, generatie, weergave, selectie, analyse (spectrum, duur, toonhoogte), manipulatie, segmentatie en labeling, statistiek, etc. werken met scripts uitstekende grafische uitvoermogelijkheden en nog veel meer, zie site praat.org (demo)demo

16 April 15, 2004Fac. TBM - TUD16 Corpus Gesproken Nederlands Vlaams-Nederlands initiatief 10 Mƒ, 10 M woorden (ca uur spraak) start juni 1998, 5 jaar, 7 releases (audio + annotaties) allerlei spreekstijlen ook over telefoon, volwassenen, wel varianten ABN geen dialect t.b.v. taalkundigen, T/S technologie, en anderen rechten bij NTU (http://www.taalunie.nl/) voor informatie zie

17 April 15, 2004Fac. TBM - TUD17 Onderdelen CGN corpusontwerp en -opbouw opname en digitalisering orthografische transcriptie lemmatisering en (POS) part-of-speech tagging lexicologische koppeling (CGN lexicon) brede fonetische transcriptie signaalkoppeling syntactische annotatie prosodische annotatie exploitatiesoftware COREX

18

19 April 15, 2004Fac. TBM - TUD19 Conclusies menselijke spraakproduktie en -perceptie minstens zo interessant als machinale spraaktechnologie is niet alleen synth. / herk. spraakcodering, taalherkenning, sprekerverificatie, keyword spotting, document retrieval, vertalen, web avatars, etc. zeer interdisciplinair vakgebied veel potentie in toepassingssfeer, maar… bedankt voor jullie aandacht


Download ppt "PRATEN MET MENS EN MACHINE Louis C.W. Pols Leerstoelgroep Fonetische Wetenschappen (IFA) Herengracht 338, 1016 CG Amsterdam Amsterdam Center for Language."

Verwante presentaties


Ads door Google