S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak WP2 Detectie en behandeling van OOV woorden l OOV woorden detecteren door betrouwbaarheid van herkenning na te gaan  betrouwbaarheidsmaten (WP2.2, ESAT) l Foneemstring produceren (ESAT) en omzetten naar grafeemstring (CNTS)

S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak Betrouwbaarheidsmaten: doelstellingen l Jaar 1: maten uit de literatuur, als referentie l Jaar 2: maten gebaseerd op foneemherkenning

S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak Betrouwbaarheidsmaten: werkzaamheden l Literatuurstudie: referentiematen nodig, combinatie van verschillende maten, evaluatie van maten: genormaliseerde kruisentropie (NIST standaard) l Implementatie van maten uit literatuur: nodige gegevens gehaald uit zoekalgoritme: zoekbreedte (8.5%), taalmodelscore (8.4%), akoestische score (2.4%)

S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak Betrouwbaarheidsmaten: werkzaamheden (vervolg) l Combinatie van maten: logit model, geeft samen 18.5% l Achterwaarts taalmodel: 8.8%, gecombineerd met andere maten: 23.3%

S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak Betrouwbaarheidsmaten: werkzaamheden (vervolg)

S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak Betrouwbaarheidsmaten: werkzaamheden (vervolg) l Foneemherkenningssyteem: –later nodig voor betrouwbaarheidsmaten –foneemsequentiemodel (NL): 5-gram –error rate (substitutie+deletie+insertie) 25.6%

S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak Betrouwbaarheidsmaten: toekomst l Andere maten: –gefundeerde theoretische methode –gebruik van totale probabiliteit –maten gebaseerd op prosodie l Ontwikkeling en evaluatie van maten gebaseerd op foneemnetwerk

S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak Betrouwbaarheidsmaten: deliverables l T12: toolkit voor analyse van woordgrafen: werd toolkit voor analyse van informatie uit het zoekalgoritme (functioneel equivalent); is klaar l T12: implementatie van betrouwbaarheidsmaten uit de literatuur als referentie: is klaar

S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak WP3: detectie en herstel van problemen bij spontane spraak l Statistisch taalmodel voor spontane spraak

S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak Statistisch taalmodel voor spontane spraak: werkzaamheden l Eigenlijk voor jaren 3 en 4 l Baseline taalmodel (trigram) als referentie, voor Switchboard corpus

S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak Statistisch taalmodel voor spontane spraak: werkzaamheden (vervolg) l Akoestische modellen voor Switchboard: –context-onafhankelijk: 58% WER –context-afhankelijk (basisversie): 42% WER –toevoeging van parameterdecorrelatie, meer gaussianen, positie-afhankelijke modellering: 39% WER –modellering van functiewoorden: helpt niet

S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak Statistisch taalmodel voor spontane spraak: toekomst l Akoestische modellen en referentietaalmodel voor Nederlands l Onderzoek naar en ontwikkeling van taalmodellen voor spontane spraak