S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak WP2 Detectie en behandeling van OOV woorden l OOV woorden detecteren door betrouwbaarheid van.

Presentatie over: "S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak WP2 Detectie en behandeling van OOV woorden l OOV woorden detecteren door betrouwbaarheid van."— Transcript van de presentatie:

1 S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak WP2 Detectie en behandeling van OOV woorden l OOV woorden detecteren door betrouwbaarheid van herkenning na te gaan  betrouwbaarheidsmaten (WP2.2, ESAT) l Foneemstring produceren (ESAT) en omzetten naar grafeemstring (CNTS)

2 S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak Betrouwbaarheidsmaten: doelstellingen l Jaar 1: maten uit de literatuur, als referentie l Jaar 2: maten gebaseerd op foneemherkenning

3 S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak Betrouwbaarheidsmaten: werkzaamheden l Literatuurstudie: referentiematen nodig, combinatie van verschillende maten, evaluatie van maten: genormaliseerde kruisentropie (NIST standaard) l Implementatie van maten uit literatuur: nodige gegevens gehaald uit zoekalgoritme: zoekbreedte (8.5%), taalmodelscore (8.4%), akoestische score (2.4%)

4 S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak Betrouwbaarheidsmaten: werkzaamheden (vervolg) l Combinatie van maten: logit model, geeft samen 18.5% l Achterwaarts taalmodel: 8.8%, gecombineerd met andere maten: 23.3%

5 S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak Betrouwbaarheidsmaten: werkzaamheden (vervolg)

6 S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak Betrouwbaarheidsmaten: werkzaamheden (vervolg) l Foneemherkenningssyteem: –later nodig voor betrouwbaarheidsmaten –foneemsequentiemodel (NL): 5-gram –error rate (substitutie+deletie+insertie) 25.6%

7 S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak Betrouwbaarheidsmaten: toekomst l Andere maten: –gefundeerde theoretische methode –gebruik van totale probabiliteit –maten gebaseerd op prosodie l Ontwikkeling en evaluatie van maten gebaseerd op foneemnetwerk

8 S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak Betrouwbaarheidsmaten: deliverables l T12: toolkit voor analyse van woordgrafen: werd toolkit voor analyse van informatie uit het zoekalgoritme (functioneel equivalent); is klaar l T12: implementatie van betrouwbaarheidsmaten uit de literatuur als referentie: is klaar

9 S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak WP3: detectie en herstel van problemen bij spontane spraak l Statistisch taalmodel voor spontane spraak

10 S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak Statistisch taalmodel voor spontane spraak: werkzaamheden l Eigenlijk voor jaren 3 en 4 l Baseline taalmodel (trigram) als referentie, voor Switchboard corpus

11 S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak Statistisch taalmodel voor spontane spraak: werkzaamheden (vervolg) l Akoestische modellen voor Switchboard: –context-onafhankelijk: 58% WER –context-afhankelijk (basisversie): 42% WER –toevoeging van parameterdecorrelatie, meer gaussianen, positie-afhankelijke modellering: 39% WER –modellering van functiewoorden: helpt niet

12 S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak Statistisch taalmodel voor spontane spraak: toekomst l Akoestische modellen en referentietaalmodel voor Nederlands l Onderzoek naar en ontwikkeling van taalmodellen voor spontane spraak