S1S1 S2S2 S3S3 WP2 OOV woorden in herkenners WP2.2 Betrouwbaarheidsmaten Jacques Duchateau ESAT – PSI - Spraakgroep

S1S1 S2S2 S3S3 28 oktober 2002K.U.Leuven – ESAT – PSI - Speech Betrouwbaarheidsmaten: overzicht Doel: aanwijzen verkeerd herkende woordenDoel: aanwijzen verkeerd herkende woorden InformatiebronnenInformatiebronnen zoekalgoritme zoekalgoritme taalmodel taalmodel akoestische modellen akoestische modellen Scores op woordniveauScores op woordniveau Combinatie scores: logit modelCombinatie scores: logit model Evaluatie: genormaliseerde kruisentropie ; ROCEvaluatie: genormaliseerde kruisentropie ; ROC Herkenningstaak: WSJHerkenningstaak: WSJ 20k woorden - 1.9% OOV - 8.0% WER 20k woorden - 1.9% OOV - 8.0% WER

S1S1 S2S2 S3S3 28 oktober 2002K.U.Leuven – ESAT – PSI - Speech Informatiebronnen: overzicht ZoekalgoritmeZoekalgoritme verloopt de herkenning moeilijk? verloopt de herkenning moeilijk? goede indicator: aantal onderzochte opties goede indicator: aantal onderzochte opties TaalmodelTaalmodel past het woord in de zin? past het woord in de zin? achterwaarts taalmodel toevoegen aan voorwaarts achterwaarts taalmodel toevoegen aan voorwaarts paper op ICASSP-02 paper op ICASSP-02 Akoestisch modelAkoestisch model past het woord akoestisch gezien? past het woord akoestisch gezien? goede normalisatie likelihood nodig goede normalisatie likelihood nodig paper op ICSLP-02 paper op ICSLP-02

S1S1 S2S2 S3S3 28 oktober 2002K.U.Leuven – ESAT – PSI - Speech Akoestisch model: normalisatie 1 ReferentieReferentie zoekalgoritme + taalmodellen19.3% zoekalgoritme + taalmodellen19.3% Normalisatie met onconditionele likelihoodNormalisatie met onconditionele likelihood referentie + akoestisch model24.8% referentie + akoestisch model24.8% Normalisatie met likelihoods uit foneemherkenner met 2-gram of 5-gramNormalisatie met likelihoods uit foneemherkenner met 2-gram of 5-gram referentie + akoestisch model (2-gram)23.9% referentie + akoestisch model (2-gram)23.9% referentie + akoestisch model (5-gram)22.9% referentie + akoestisch model (5-gram)22.9%

S1S1 S2S2 S3S3 28 oktober 2002K.U.Leuven – ESAT – PSI - Speech Akoestisch model: normalisatie 2 ReferentieReferentie zoekalgoritme + taalmodellen19.3% zoekalgoritme + taalmodellen19.3% Normalisatie met onconditionele likelihoodNormalisatie met onconditionele likelihood referentie + akoestisch model24.8% referentie + akoestisch model24.8% Extra normalisatie met verwachte waarde, geschat uit dev. test set of uit alle traindataExtra normalisatie met verwachte waarde, geschat uit dev. test set of uit alle traindata referentie + ak. model (dev. test)24.5% referentie + ak. model (dev. test)24.5% referentie + ak. model (traindata)24.5% referentie + ak. model (traindata)24.5%

S1S1 S2S2 S3S3 28 oktober 2002K.U.Leuven – ESAT – PSI - Speech Combinatie van scores via gaussianen ReferentieReferentie zoekalgoritme + taalmodellen18.1% zoekalgoritme + taalmodellen18.1% Normalisatie met onconditionele likelihoodNormalisatie met onconditionele likelihood referentie + akoestisch model22.0% referentie + akoestisch model22.0% Normalisatie via foneemherkennerNormalisatie via foneemherkenner referentie + akoestisch model (2-gram)19.9% referentie + akoestisch model (2-gram)19.9% referentie + akoestisch model (5-gram)20.9% referentie + akoestisch model (5-gram)20.9% Extra normalisatie met verwachte waardeExtra normalisatie met verwachte waarde referentie + ak. model (dev. test)22.4% referentie + ak. model (dev. test)22.4%

S1S1 S2S2 S3S3 28 oktober 2002K.U.Leuven – ESAT – PSI - Speech Integratie deeltaken WP2 Conversie foneem naar grafeem (CNTS)Conversie foneem naar grafeem (CNTS) - duid onzekere woorden aan - doe foneemherkenning - converteer in grafeemstring - duid onzekere woorden aan - doe foneemherkenning - converteer in grafeemstring paper op ICASSP-02 paper op ICASSP-02 Probleem samengestelde woorden (CCL)Probleem samengestelde woorden (CCL) integratie in herkenner ESAT integratie in herkenner ESAT WER van 14.8% naar 13.2% (automatisch) of 11.4% (manueel samenstellen van woorddelen) WER van 14.8% naar 13.2% (automatisch) of 11.4% (manueel samenstellen van woorddelen) paper op ICSLP-02 paper op ICSLP-02

S1S1 S2S2 S3S3 28 oktober 2002K.U.Leuven – ESAT – PSI - Speech Toekomst Onderzoek i.v.m. betrouwbaarheidsmaten in WP2: afgerondOnderzoek i.v.m. betrouwbaarheidsmaten in WP2: afgerond Onderzoek i.v.m. taalmodellen voor spontane spraak in WP3Onderzoek i.v.m. taalmodellen voor spontane spraak in WP3 volgende twee jaren volgende twee jaren pilootexperiment uitgevoerd pilootexperiment uitgevoerd