ATRaNoS T1-T6 CNTS Team: Bart Decadt Erik Tjong Kim Sang Walter Daelemans.

Slides:



Advertisements
Verwante presentaties
KWALITEITSZORG november 2012
Advertisements

De arbeidszorgmedewerker in Vlaanderen in beeld - enkele cijfers Globaal beeld van 'de arbeidszorgmedewerker' 2012 (algemene cijfers, profiel, context)
‘SMS’ Studeren met Succes deel 1
Hier en hiernamaals.
Wat was toen het grootste het grootste probleem van de van de FOD?
FOD VOLKSGEZONDHEID, VEILIGHEID VAN DE VOEDSELKETEN EN LEEFMILIEU 1 Controle en doorsturen van de gegevens voor Finhosta via PORTAHEALTH FOD Volksgezondheid,
NEDERLANDS WOORD BEELD IN & IN Klik met de muis
BRIDGE Vervolgcursus Vervolg op starterscursus Bridgeclub Schiedam ‘59 info: Maandagavond: 19: – of
1 Resultaten marktonderzoek RPM Zeist, 16 januari 2002 Door: Olga van Veenendaal, medew. Rothkrans Projectmanagement.
November 2013 Opinieonderzoek Vlaanderen – oktober 2013 Opiniepeiling Vlaanderen uitgevoerd op het iVOXpanel.
Uitgaven aan zorg per financieringsbron / /Hoofdstuk 2 Zorg in perspectief /pagina 1.
1 - RA patiënten – Februari 2009 REUMATOÏDE ARTRITIS KENNIS – OPVOLGING – PERSOONLIJKE EVALUATIE Patiëntenonderzoek Initiatief van met de steun van nv.
H 14: Enkelvoudige interest
Global e-Society Complex België - Regio Vlaanderen e-Regio Provincie Limburg Stad Hasselt Percelen.
Record Linkage: Simulatie Resultaten Adelaide Ariel Biolink NL 28 maart 2014.
Opdrachttaak kennissystemen:
STAPPENPLAN GRAMMATICUS.
Een Concert van het Nederlands Philharmonisch Orkest LES 4 1.
1 © GfK 2013 | Supermarktkengetallen | februari 2013 GFK SUPERMARKTKENGETALLEN ‘Wat is de omzet van de supermarkten op weekniveau?’ ‘Hoe ontwikkelt het.
INITIATIE DEFINITIESELECTIECONCIPIËREN INBEDDING IN ORGANISATIE ONDERHOUD Opdrachtgever/ Projectleider Eigenaar Architect en zijn team Stakeholders INITIATIEDEFINITIESELECTIECONCIPIËRENINBEDDINGONDERHOUD.
© BeSite B.V www.besite.nl Feit: In 2007 is 58% van de organisaties goed vindbaar op internet, terwijl in 2006 slechts 32% goed vindbaar.
Gepresenteerd door Melissa Billiau o.l.v.: Dr. F. Martens P. Dedeckere 1.
Nooit meer onnodig groen? Luuk Misdom, IT&T
Hoofdstuk 6: Controle structuren
Evaluatie en toetsing: examens met open vragen (corrigeren/scoringssleutels) PSY ZAP-dag III
Katholieke Universiteit Leuven - ESAT, BELGIUM ATraNoS - 4 mei 2004 Modellering van spontane spraak Jacques Duchateau
S1S1 S2S2 S3S3 Atranos Gebruikerscommissie 11 mei 2001.
S1S1 S2S2 S3S3 22 november 2001K.U.Leuven-ESAT/PSI Spraak WP2 Detectie en behandeling van OOV woorden l OOV woorden detecteren door betrouwbaarheid van.
Katholieke Universiteit Leuven - ESAT, BELGIUM ATraNoS - 22 oktober 2003 Statistische Taalmodellen voor Spontane Spraak Jacques Duchateau
Katholieke Universiteit Leuven - ESAT, BELGIUM ATraNoS Workshop 17 september 2004 Patrick Wambacq.
S1S1 S2S2 S3S3 Atranos Gebruikerscommissie 22 november 2001.
S1S1 S2S2 S3S3 WP2 OOV woorden in herkenners WP2.2 Betrouwbaarheidsmaten Jacques Duchateau ESAT – PSI - Spraakgroep.
Katholieke Universiteit Leuven - ESAT, BELGIUM ATraNoS Workshop 17 september 2004 Patrick Wambacq.
S1S1 S2S2 S3S3 Atranos Gebruikerscommissie 28 oktober 2002.
FOD VOLKSGEZONDHEID, VEILIGHEID VAN DE VOEDSELKETEN EN LEEFMILIEU 1 Kwaliteit en Patiëntveiligheid in de Belgische ziekenhuizen anno 2008 Rapportage over.
Elke 7 seconden een nieuw getal
1 Datastructuren Sorteren: alleen of niet alleen vergelijkingen College 5.
Visibility-based Probabilistic Roadmaps for Motion Planning Tim Schlechter 13 februari 2003.
Opdracht 2. premisse: het Nederlandse over in contexten waarin het vertaald wordt door about is een instantiatie van de focus-of- attention sense incorrecte.
Centrummaten gemiddelde
Oefeningen F-toetsen ANOVA.
Wat levert de tweede pensioenpijler op voor het personeelslid? 1 Enkele simulaties op basis van de weddeschaal B1-B3.
TUDelft Knowledge Based Systems Group Zuidplantsoen BZ Delft, The Netherlands Caspar Treijtel Multi-agent Stratego.
Kim J. H. Dirkx, Liesbeth Kester, Paul A. Kirschner
In dit vakje zie je hoeveel je moet betalen. Uit de volgende drie vakjes kan je dan kiezen. Er is er telkens maar eentje juist. Ken je het juiste antwoord,
1 7 nov Rijnsburg 7 nov Rijnsburg. 2 Hebreeën 7 15 En nog veel duidelijker wordt het, als naar het evenbeeld van Melchisedek een andere priester.
13 maart 2014 Bodegraven 1. 1Korinthe Want gelijk het lichaam één is en vele leden heeft, en al de leden van het lichaam, hoe vele ook, een lichaam.
Mattheüs: Jezus de Zoon van Abraham, van David Marcus: Jezus de dienstknecht, de obed-JHWH Lucas: Jezus is de Zoon van Adam Johannes: Jezus is de Zoon.
1. 33 GERECHTIGHEID GODS 21 Thans is echter buiten de wet om GERECHTIGHEID GODS openbaar geworden, waarvan de wet en de profeten getuigen, 34.
Seminarie 1: Pythagoreïsche drietallen
College Schrijfvaardigheid
ribwis1 Toegepaste wiskunde – Differentieren Lesweek 7
Inger Plaisier Marjolein Broese van Groenou Saskia Keuzenkamp
SAMENWERKING WO EN HBO BIJ AANSLUITINGSONDERZOEK V0-HO Rob Andeweg DAIR 7 en 8 november 2007.
EFS Seminar Discriminatie van pensioen- en beleggingsfondsen
Hoe gaat dit spel te werk?! Klik op het antwoord dat juist is. Klik op de pijl om door te gaan!
Eerst even wat uitleg. Klik op het juiste antwoord als je het weet.
Effecten van visualisatie van participatie tijdens CSCL
STIMULANS KWALITEITSZORG juni 2014.
Gebruik grafische rekenmachine bij M&O via de TVM-solver
Christen zijn in de maatschappij Hilversum, 9 november
Centrummaten en Boxplot
Maarten Van Lier 2 e Master Computerwetenschappen.
Lucas 15: 11 En Hij zeide: Iemand had twee zonen
1 Week /03/ is gestart in mineur De voorspellingen van alle groten der aarden dat de beurzen zouden stijgen is omgekeerd uitgedraaid.
Openbaar je talent Service public, talent particulier.
Zondag 7 HC Franeker 21 februari 2010
23 mei 2013 Bodegraven vanaf hoofdstuk 6: hoofdst.1: de wijsheid van de wereld hoofdst.2: de wijsheid van God hoofdst.3: Gods akker en Gods bouwwerk.
Vind mijn boek: Gebruikers gidsen doorheen de bibliotheek Laurien Bal Master Computerwetenschappen - HCI Promotor: Erik Duval.
Transcript van de presentatie:

ATRaNoS T1-T6 CNTS Team: Bart Decadt Erik Tjong Kim Sang Walter Daelemans

CNTS taak voor T1+6 WP2: Ontdekken en verwerken van Out-Of- Vocabulary-items (OOV) –Specifieke taak = foneem-naar-grafeem omzetting –Doeleinden: T1+6: Baseline omzetter T1+6: Rapport

Overzicht Waarom foneem-naar-grafeem omzetting? Haalbaarheidsexperimenten met CELEX –Resultaten + fouten-analyse Experimenten met ‘echte’ data –Resultaten + fouten-analyse Conclusies + TODO

Spraak Herkenner spraaktekst Confidence threshold Vermoedelijk OOV-item Foneemherkenner (ESAT) Foneemstring + context (voorgaande en volgende woorden in spelling) Omzetter (TiMBL) Spelling Spelling corrector met omvangrijk vocabularium Training Data WP2: Taak: foneem-naar-grafeem omzetting

(1) Onderzoek naar haalbaarheid Wat is de haalbaarheid van foneem-naar-grafeem omzetting? –Experimenten met CELEX –Memory Based Learning (TiMBL) als machine learning methode Hoe groot is de invloed van ruis in de data? –Typische error rate van een foneem-herkenner ~ 25 tot 30%

Voorbereiden van CELEX –Spelling en uitspraak moeten gealigneerd worden (met Expectation Maximization (EM) algoritme [ILKAlign]) “nul” symbool/tAksi/taxitax_i samengestelde grafemen/slap/slaapslAp –Voordeel van EM: geen tuning nodig –Gerandomiseerd op woordniveau Voorbereiden van de data (1)

Voorbereiden van de data (2) Toevoegen van ruis –Gebeurde op woordniveau –Simulatie van substituties: fonemen werden vervangen door hun nearest phonemes Confusion matrix a.h.v. MVDM (Modified Value Difference Metric) –Van 0 tot 50% ruis

Experimenten met TiMBL Memory Based Learning experimenten –Classification-based –Similarity-based –Gebruikte algoritmes: IB1 (standaard) met k=1,3,5 IGTree (decision tree based optimization) –Metriek om similarity te berekenen: Overlap metric met Gain Ratio weighting –Experimenten met 10-fold cross-validation Resultaten (accuraatheid) –Vrij van fouten: 99.1 (grafemen)91.4 (woorden) –25% fouten: 93.1 (grafemen) 53.0 (woorden) –30% fouten:92.0 (grafemen)47.7 (woorden)

Resultaten van experimenten met CELEX

Fouten-analyse Analyse van fouten in de output van algoritme IB1, k=1 op dataset zonder ruis 2 soorten fouten: –Fouten door ambiguïteit –Fouten door atypische spelling

Fouten door ambiguïteit Ambiguïteit door spellingsconventies –/k/  c of k? /INkledIN/  incleding  voetbalkompetitie –/i/  i of y?  fyle /elEktrolitis/  elektrolitisch Ambiguïteit door assimilatie –/n/ wordt /m/ voor /b/ /embanswEx/  eembaansweg Ambiguïteit door zelfde uitspraak, andere spelling –/ledikAnt/  ladikant  ladykiller, ladyshave, ladylike

Fouten door atypische spelling FonemenTiMBLCorrect /sikorK/SykcurijCichorei /fwAje/FoyeeFoyer /bazuka/BazoekaBazooka

(2) Experimenten met data van foneemherkenner Data van ESAT: – woorden – grafemen –8913 OOV-items –Enkele voorbeelden: grafeemstring:ze veegde de tranen uit haar ooghoeken veGe Lt har grafeemstring:het was een spel geworden spEl grafeemstring:cathy had haar uiterste best gedaan foneemstring:kYdi hAt hAr bEs

Aligneren met “nul” symbolen + samengestelde grafemen Problemen bij het aligneren van de data: –Door deleties in de foneemstrings werkt het EM algoritme niet Oplossing: –Ander aligneer-algoritme: Dynamic Programming (DP) (of Dynamic Time Warping) –Nadeel: tuning nodig! –Voordeel: kan deleties aligneren Voorbereiden van de ESAT-data (1)

Deleties staan niet aangeduid in de input van omzetter  deleties werden verwijderd uit dataset Heeft spelling voorgaande/volgende woord invloed? Vier verschillende datasets: 1.Woorden met deleties verwijderd, geen spelling als context 2.Woorden met deleties verwijderd, wel spelling als context 3.Instanties met deleties verwijderd, geen spelling als context 4.Instanties met deleties verwijderd, wel spelling als context Experimenten: (1) 10 CV op volledige dataset, en (2) alleen OOV-items als testmateriaal Voorbereiden van de ESAT-data (2)

Resultaten met hele dataset - grafeemniveau DatasetIB1, k=1IB1, k=3IB1, k=5IGTREE -spelling -woorden spelling -woorden spelling -instanties spelling -instanties

Resultaten met hele dataset - woordniveau DatasetIB1, k=1IB1, k=3IB1, k=5IGTREE -spelling -woorden spelling -woorden spelling -instanties spelling -instanties

Voorbeeld van output TiMBL’s output: cafe zag en wild zwaaien haar vader stak zijn dan omhoog fassaf hij wilde zeggen het komt we goed jog haar maar klefde bijnae tegen ik aultoeraanpiee aan Correcte versie: cathy zag hen wild zwaaien haar vader stak zijn duim omhoog alsof hij wilde zeggen het komt wel goed joch haar moeder kleefde bijna tegen het autoraampje aan

Foutenanalyse: hoe goed worden OOV-items omgezet? Alle OOV-items uit de tien test-bestanden van 10 CV experimenten gehaald (8913 woorden) Resultaten berekend op grafeem- en woordniveau Geteld hoeveel woorden 0, 1, 2, … fouten per woord hebben

Resultaten op grafeemniveau DatasetIB1, k=1IB1, k=3IB1, k=5IGTREE -spelling -woorden spelling -woorden spelling -instanties spelling -instanties

Resultaten op woordniveau MAAR  verzameling OOV-words bevat 3985 (44.7%) woorden met deleties  deze woorden kunnen nooit volledig correct herkend worden DatasetIB1, k=1IB1, k=3IB1, k=5IGTREE -spelling -woorden spelling -woorden spelling -instanties spelling -instanties

Voorbeeld van output TiMBL’s output: het komt wel goed jog bijna tegen het aultoeraampiee aan haar neus werd pladvedrukt cathy zag de belleen langzaam verdwijnen cathy staarde hem bevreemd aan Correcte versie: het komt wel goed joch bijna tegen het autoraampje aan haar neus werd platgedrukt cathy zag de bmw langzaam verdwijnen cathy staarde hem bevreemd aan

Fouten-analyse OOV-items De meeste woorden hebben 2 tot 5 fouten per woord (gemiddelde is 3.03)

(3) Conclusie Experimenten op volledige ESAT dataset (max. 47.0) komen in de buurt van de resultaten van de experimenten met artificiële ruis (47.7 – 53.0% op woordniveau) Resultaten bij de OOV-items (max. 6.9%) liggen ver beneden de resultaten van de experimenten met artificiële ruis

(4) TODO Verdere optimalisering van de leertechniek op deze taak Oplossing voor probleem van deleties Spelling corrector met omvangrijk vocabularium als post-processing Evaluatie van omzetter in combinatie met de confidence measures ontwikkeld door ESAT