TRIARII Strategie, Innovatie, Implementatie 1 Meningen van experts over de TGN SZW bijeenkomst TGN 12 december 2013 Ron Overgoor

TRIARII 2 Onderwerpen Achtergrond Gedeelde meningen Verschillende meningen Conclusies

TRIARII 3 Achtergrond Verzamelde en geïnventariseerde meningen Van primair door SZW bepaalde populatie experts op het gebied van taalverwerving, taaltoetsing, (taal)psychometrie en spraaktechnologie. In meerderheid TGN-critici Vaak combinatie van 1 e en 2 e hands. Niet alle experts hebben hands-on ervaring met de TGN Niet altijd even ontwikkeld tgv zijdelingse betrokkenheid, gedateerde / vervaagde ervaring

TRIARII 4 Gedeelde meningen Taal is erg complex, examineren van taalvaardigheden dus ook Spraaktechnologie is nimmer perfect maar ten minste een heel waardevolle technologie voor ondersteuning van taalverwerving TGN voldoende onderscheidend voor extremen in kennis van / vaardigheid met Nederlandse taal: – zij zonder enige kennis / vaardigheid zakken – zij met ruim voldoende kennis / vaardigheid slagen

TRIARII 5 Verschillende meningen Verschillende meningen tav 1.Spraaktechnologie-beoordeling vs menselijke beoordeling 2.TGN validiteit 3.Luistervaardigheid in NVT-omgeving 4.Gecombineerd examineren

TRIARII 6 Validiteit TGN (1) TGN is onvoldoende valideTGN is voldoende valide Onvoldoende aansluiting bij CEF: Geen (volledige) spreekvaardigheid: "Na-papagaaien" Geen context, welwillende gesprekspartner Geen gespreksvaardigheid CEF is raamwerk, geen wet Representatief voor luister- en spreekvaardigheid Spreekvaardigheid weer gerelateerd aan gespreksvaardigheid Echt taalgebruik (niet voor MC) Oost-aziaten, Spaans- /Portugeestaligen worden benadeeld. Suggereert bias Oost-aziaten, Spaans- /Portugeestaligen hebben intrinsiek meer moeite met NL-uitspraak Terugslag bedreigt validiteitIedere toets heeft terugslag, bedreigt taalverwerving niet Items liggen inmiddels op straatDesondanks verwerft kandidaat woordenschat en spreekervaring

TRIARII 7 Validiteit TGN (2) TGN is onvoldoende valideTGN is voldoende valide Geen voorspelling van taalpotentieGeen enkel examen kan dat Onnatuurlijke afname setting werkt stress-verhogend Geldt in zeker mate voor ieder examen. Telefoon wereldwijd bekend Geen feedback op onderdelen, geen menselijke herbeoordeling Feedback op onderdelen per 1 juli 2013 ingevoerd Niet nauwkeurig genoeg om A2 scherp in te schatten Omvat hele CEF spectrum, schat A2 net zo scherp in als andere niveaus Sluit op NVT-A1 onvoldoende aan bij belevingswereld kandidaat -

TRIARII 8 Automatische beoordeling dmv Spraaktechnologie Automatische beoordeling dmv spraaktechnologie: nee Automatische beoordeling dmv spraaktechnologie: ja Taalniveau beoordelen is complex door grote variëteit in input, ST kan dit niet aan Taalniveau beoordelen door goed getrainde ST kan, mits met vangnet obv menselijke (her)beoordeling Menselijke beoordeling is met strakke protocollen, "geijkte" beoordelaars en segmentatie voldoende betrouwbaar Menselijke beoordeling blijft minder betrouwbaar dan beoordeling dmv ST, bovendien duurder en minder efficiënt Directe examinering via praten met een mens dichter bij praktijk - In het TGN geval is de feitelijke beoordeling een "black box" TGN beoordeling onafhankelijk getoetst en in specificaties

TRIARII 9 Luistervaardigheid A1 / Gecombineerd examineren Luistervaardigheidsexamen NVT-A1: nee Luistervaardigheidsexamen NVT-A1: ja A1 iha moeilijk te examineren tgv beperkte taalvaardigheid A1 luistervaardigheidseisen kan, levert bijdrage aan taalontwikkeling Gecombineerd examineren: nee Gecombineerd examineren: ja A1 en A2 spreekvaardigheid apart: A1 kandidaat niet geconfronteerd met uitingen van te hoog niveau A1 en A2 spreekvaardigheid in hetzelfde examen methodologisch geen probleem en efficiënter Luister- en spreekvaardigheid apart meer valide per vaardigheid want anders luistervaardigheid bepalend voor spreekvaardigheid Luister- en spreekvaardigheid in hetzelfde examen dichter bij praktijk / functioneel taalgebruik en efficiënter Niet geëxamineerde taalvaardig- heden correleren positief met wel getoetste in bv Cloze toetsen

TRIARII 10 Conclusies Hardheid meningen varieert Indruksvaliditeit en automatische beoordeling echte breekpunten Combinatie-examens meer onderhevig aan afwegingen 3 Toekomstvisies op het optimale spreekvaardigheidsexamen 1.TGN handhaven voor NVT-A1 en NT2-A2 –TGN aanpak blijft de beste obv betrouwbaarheid en voldoende valide, maar ruimte voor verdere verbetering 2.TGN vervangen voor zowel NVT-A1 als NT2-A2 –Validiteit TGN onvoldoende en behept met te veel nadelen, terwijl er goede alternatieven denkbaar zijn voor zowel NVT-A1 als NT2-A2 3.TGN vervangen voor NT2-A2 maar handhaven voor NVT-A1 –Algemeen anti-TGN gelijk aan visie 2 maar beter om NVT-A1 zo te laten want erg moeilijk te examineren en gegeven dat TGN wel enige taalvaardigheid examineert

TRIARII 11 Overzicht gesprekken (1) Geraadpleegde experts Ad Appel (Ad Appel Taaltraining) Bart Bossers (VU) Annelies Braams (Nedles) Annemarie de Groot (CINOP) John de Jong (Pearson Knowledge Technologies / VU) Hanneke de Weger (Taalunie) Jan Erik Grezel (onafhankelijk taaldocent) Elwine Halewijn (ITTA) Jan Hulstijn (UVA) Judith Janssen (CITO) Martine Jetter (CITO) Anne Kerkhoff (Fontys) Judith Kessens (TNO) Jeanne Kurvers (Tilburg University / ROC Tilburg) Jo Fond Lam (CINOP) Martin Nuttel (ALTE)

TRIARII 12 Overzicht gesprekken (2) Geraadpleegde experts (vervolg) Mirna Pit (Bureau ICE) Anne Poppema (DUO) Inge Rogiers (Huis van het Nederlands, BE) Helmer Strik (RUN CLST) Franke Teunisse (Bureau ICE) Yolanda Thurkow (BuiZa) Jeanine Treep (CITO) Piet van Avermaet (ALTE / Universiteit Gent, BE) Ineke van de Craats (RUN) Marja van den Dungen (CINOP) Teun van Iperen (Flevotaal) Bernard Veldkamp (RCEC) Simon Verhallen (CvE) Bert Werkman (DUO)