De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Spreekvaardigheidstraining met behulp van Automatische Spraak-Herkenning (ASH) Helmer Strik Afdeling Taalwetenschap Centre for Language and Speech Technology.

Verwante presentaties


Presentatie over: "Spreekvaardigheidstraining met behulp van Automatische Spraak-Herkenning (ASH) Helmer Strik Afdeling Taalwetenschap Centre for Language and Speech Technology."— Transcript van de presentatie:

1

2 Spreekvaardigheidstraining met behulp van Automatische Spraak-Herkenning (ASH) Helmer Strik Afdeling Taalwetenschap Centre for Language and Speech Technology (CLST) Radboud Universiteit Nijmegen Radboud University Nijmegen

3 IvTI, Rotterdam, 20-11-20082 Overview Introductie ASH: automatische spraakherkenning ASH & CALL (computer assisted language learning) ASH & spreekvaardigheid Projecten Conclusies

4 Radboud University Nijmegen IvTI, Rotterdam, 20-11-20083 Introductie Studenten die 1-op-1 instructie krijgen presteren even goed als de top 2% van de studenten die traditionele klassikale instructie krijgen [Bloom 1984] Een privé docent voor iedere leerling is niet haalbaar  computertutor CALL: computer assisted language learning Toenemende belangstelling Veel tekst-gebaseerde systemen Hoe zit het met spraak?

5 Radboud University Nijmegen IvTI, Rotterdam, 20-11-20084 TNS: tekst-naar-spraak Er zijn wel applicaties met ‘spraak’: Reading pen Screen readers [  ] Mobiele telefoon: foto + OCR + TNS Enkele zijn ook bruikbaar voor CALL TNS: tekst-naar-spraak TTS: text-to-speech Kwaliteit goed genoeg?

6 Radboud University Nijmegen IvTI, Rotterdam, 20-11-20085 TNS: tekst-naar-spraak (vervolg) Applicaties met ‘spraak’ Screen readers, reading pen, etc. Enkele zijn ook bruikbaar voor CALL Echter, meestal kan de leerling alleen luisteren (TNS: tekst-naar-spraak) of, ook spreken, maar … geen evaluatie, of de leerling moet zelf de evaluatie doen bijv. door te vergelijken met voorbeelden Automatische evaluatie en feedback  gebruik ASH, spraaktechnologie Wat zijn de mogelijkheden?

7 Radboud University Nijmegen IvTI, Rotterdam, 20-11-20086 ASH: automatische spraakherkenning Decoder Acoustic Models Lexicon Language Model Speech Signal Input W 1 W 2 W 3 W 4 Words Output

8 Radboud University Nijmegen IvTI, Rotterdam, 20-11-20087 ASH: automatische spraakherkenning Wat is ASH? spraak-naar-tekst conversie Applicaties: Dicteren (spreken i.p.v. typen) Command and control (PC besturen) Gesproken dialoogsystemen (informatie) etc. ASH is niet perfect, zal dat waarschijnlijk nooit worden, zeker niet voor niet-moedertaal sprekers Dit is ook het geval voor mensen!

9 Radboud University Nijmegen IvTI, Rotterdam, 20-11-20088 Spraakherkenning cgn2-s vb nn mii

10 Radboud University Nijmegen IvTI, Rotterdam, 20-11-20089 ASH & CALL Wat is al gedaan? TNS: tekst-naar-spraak de PC ´ spreekt ´ De leerling luistert Reading tutors de leerling leest de PC luistert [  ] Interactive Books Vnl. leesvaardigheid

11 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200810 ASH & spreekvaardigheid Niet-moedertaal sprekers; projecten: Computergestuurde Spreekvaardigheidstoets Dutch-CAPT DISCO TST-AAP Mensen met communicatieve beperkingen Trainen van spreekvaardigheid Feedback over fouten => ASH ASH is niet perfect, en zal dat waarschijnlijk nooit zijn met name voor niet-moedertaal sprekers Weten wat wel / niet mogelijk is met ASH en daar goed rekening mee houden! afge- lopen nog lopend deze presentatie

12 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200811 Dutch-CAPT Dutch-CAPT project (Computer Assisted Pronunciation Training) Trainen van spreekvaardigheid: uitspraak

13 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200812 Video: een voorbeeld

14 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200813

15 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200814 Maximaal 3 keer proberen

16 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200815

17 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200816

18 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200817 Een les Dialoog: wat voorbeelden van uitingen. CursistCursistCursistVoorbeeld Uiting: “Ik heb iets voor je gekocht. Hier!”

19 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200818 Een les Dialoog: wat voorbeelden van uitingen. Uiting: “Vind je echt?” VoorbeeldCursistCursistVoorbeeld

20 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200819

21 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200820 Dutch-CAPT (vervolg) (CAPT: Computer Assisted Pronuciation Training) Evaluatie Exp. group: used the Dutch-CAPT system Control group: didn’t use Dutch-CAPT  Studenten positief (leuk, nuttig, etc.)  De verbetering (reductie in het aantal uitspraakfouten) was significant groter voor de exp. groep die het Dutch-CAPT systeem gebruikte. Training: slechts 4 weken x 1 sessie van 30-60 minuten

22 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200821 Percentage fouten 0.00% 5.00% 10.00% 15.00% 20.00% 25.00% Exp.NiBuExp.NiBu 11 doelklankenandere klanken % errors (relative to type) pre-test post-test

23 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200822 2 Stevin projecten: DISCO: NT2, spreekvaardigehid TST-AAP: NT2, alfabetisering Stevin stimuleringsprogramma voor TST voor het Nederlands gefinancierd door de Vlaamse en Nederlandse overheid gecoördineerd door de Nederlandse Taalunie (NTU)

24 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200823 Stevin project DISCO Trainen van spreekvaardigheid uitspraak, morfologie, syntax  Correct VoorbeeldIk loop naar huis  Fouten UitspraakIk lop nar guis MorfologieIk lopen naar huis SyntaxIk naar huis lopen Fouten automatisch detecteren m.b.v. spraaktechnologie

25 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200824 ASR Display Logic Prompt Generator Words Segmentation Error Detection Grading Feedback Generation

26 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200825 Stevin demonstratie-project TST-AAP Alfabetisering met een luisterende computer Bestaand methode: Auteur: Ad Bakker Uitgeverij: Boom Spraaktechnologie toevoegen: Detecteren of woorden & klanken (correct) uitgesproken zijn

27 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200826 ASH & leren Voordelen van spraak (t.o.v. schrijven) ‘Self-explanation’ Extra informatie: Prosodie (klemtoon, accent, vraag, etc.) Emoties ‘Houding’ Andere bruikbare technieken: VTH: virtual talking head [  ]

28 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200827 Conclusies ASH is niet perfect Leren m.b.v. ASH is mogelijk (beperkt domein) Algemene onderwerpen: rekenen, fysica, etc. Taal i.h.a. Spreekvaardigheid Nodig: Mix van expertise: techn., pedagogie, design, … Verbeterde ASH, spraak technologie Meer projecten: R&D

29 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200828 Questions?

30 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200829

31 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200830 Dutch CAPT: overzicht Het programma bevat 4 lessen die ieder bestaan uit: Video: soap-opera met Nederlandse acteurs (uit Nieuwe Buren, een communicatieve multimediale leermethode) 3 verschillende soorten oefeningen: 22 dialogen: rol spelen 46 oefeningen: vragen beantwoorden 38 oefeningen: woorden uitspreken

32 Radboud University Nijmegen IvTI, Rotterdam, 20-11-200831


Download ppt "Spreekvaardigheidstraining met behulp van Automatische Spraak-Herkenning (ASH) Helmer Strik Afdeling Taalwetenschap Centre for Language and Speech Technology."

Verwante presentaties


Ads door Google