Grammaticatoets en -remediëring voor opleidingen Moderne Talen Els Rose, Departement Moderne Talen Universiteit Utrecht

Voorbeeld taalkundig ontleden Tot welke woordsoort behoort het vetgedrukte deel van de onderstaande zin? De wiskundige vergaapte zich aan de rijkdom en complexiteit van de Mandelbrotverzameling vragend voornaamwoord onbepaald voornaamwoord wederkerend voornaamwoord wederkerig voornaamwoord Antw: wederkerend voornaamwoord

Voorbeeld redekundig enkelvoudig ontleden Wat is de functie van het vetgedrukte deel van de onderstaande zin? Als je jezelf iets meer tijd zou hebben gegund dan liep je nu niet in de ziektewet. lijdend voorwerp meewerkend voorwerp bijwoordelijke bepaling bijvoeglijke bepaling Antw: Meewerkend voorwerp

Voorbeeld redekundig samengesteld ontleden Wat is de functie van het vetgedrukte deel van de onderstaande zin? Wie deze zinnen niet kan ontleden, raad ik een opfriscursus aan. meewerkend voorwerpszin bijwoordelijke bijzin bijvoeglijke bijzin lijdend voorwerpszin Antw: Meewerkend voorwerpszin

Programma Aanleiding en doelstelling De grammaticatoets Resultaten pilot Blackboard als toetsomgeving Implementatie grammaticatoets

Achtergronden project Aanleiding Onvoldoende kennis elementaire grammaticale begrippen bij eerstejaars studenten moderne talen Belemmeringen op het gebied van taalverwerving in doeltaal:  Cursus aanpassen aan niveau studenten?

Maatregelen voor eerstejaarsstudenten Diagnostische grammaticatoets Toetsing van instromende eerstejaars op hun kennis van elementaire grammaticale begrippen Remediëringsmodules Studenten die onvoldoende scoren op de toets moeten kennis bijspijkeren/opfrissen Materiaal Blackboard Aanbevolen literatuur Bezemklas Voor studenten die toets bij herkansing niet hebben gehaald

De grammaticatoets Alle eerstejaarsstudenten die een opleiding aan DMT volgen, alsook studenten Nederlands en TCS Deelname 2010/2011 (nog) niet verplicht Toets bestaat uit 100 vragen Studenten krijgen een uur de tijd om toets te maken Gehanteerde norm 70% 20 minuten per onderdeel

Inhoudelijke uitgangspunten Er wordt getoetst op de toepassing van grammaticale kennis die leerlingen aan het eind van de onderbouw van het VO dienen te hebben De toets is gericht op de toepassing van het grammaticale begrippenapparaat bij het benoemen van woordsoorten en zinsdelen begrippen op woord-/zinsniveau kunnen benoemen i.p.v. concrete invuloefening Toets is gericht op het heractiveren van grammaticale kennis Diagnostische toets: Niet gehaald? Conclusie: Bijspijkeren grammaticale kennis!!

Voorbeeld algemene taaltoets VU Selecteer het juiste woord. "Het feit dat zij hoger op de sociale ladder staat dan ______ geeft haar nog niet het recht zich zo arrogant op te stellen."   0 hij 0 hem Antwoord: Bijvoeglijk naamwoord

Inhoudelijke uitgangspunten Er wordt getoetst op de toepassing van grammaticale kennis die leerlingen aan het eind van de onderbouw van het VO dienen te hebben De toets is gericht op de toepassing van het grammaticale begrippenapparaat bij het benoemen van woordsoorten en zinsdelen begrippen op woord-/zinsniveau kunnen benoemen i.p.v. concrete invuloefening Toets is gericht op het heractiveren van grammaticale kennis Diagnostische toets: Niet gehaald? Conclusie: Bijspijkeren grammaticale kennis!!

Logistieke uitgangspunten De toets moet: in 2010/2011 onder alle eerstejaars die een opleiding aan DMT volgen, worden afgenomen ontwikkeld worden uit bestaand materiaal VU Amsterdam/ Universiteit Leiden ontwikkeld worden binnen bestaande systemen UU (Blackboard) QMP materiaal via Respondus converteren naar Blackboard individuele toetsresultaten per toetscategorie kunnen genereren

Inhoud grammaticatoets 100 meerkeuzevragen in de categorieën Taalkundig ontleden (30) Enkelvoudig redekundig ontleden (40) Samengesteld redekundig ontleden (30)

Pilot grammaticatoets 22 en 26 maart 2010 Afgenomen onder in totaal 114 studenten, die zich niet hadden voorbereid op de toets Afkomstig uit opleidingen: Engels (83) Italiaans (6) Literatuurwetenschap (25)

Resultaten pilot grammaticatoets Categorie Aantal studenten Percentage studenten Onvoldoende (< 70% ) 90 79 % Voldoende (> 70%) 24 21 % Moet nog worden ingevuld!!

Resultaten pilot per onderdeel gemiddelde score per onderdeel Taalkundig 65/100 Enkelvoudig redekundig 55/100 Samengesteld redekundig 53/100 Moet nog worden ingevuld!!

Conclusies n.a.v. pilot Toets voorbereiden is essentieel Kennis grammaticale begrippen van groot belang  Toepassen kunnen studenten wel Extra aandacht grammatica is nodig Bij verplichtstelling toets moet ondersteuning worden geboden Aandachtspunt: eenduidigheid gehanteerde grammaticale begrippen

Blackboard als toetsomgeving In essentie leeromgeving Toetsmogelijkheden Inhoudelijk: Wat heb je in BB wel en niet kunnen realiseren qua toetsing, feedback en resultaten? Praktisch: Vragen makkelijk bewerken? Resultaten makkelijk te bewerken? Hoe werkt randomisatie van vragen? Voldoet dit aan vooraf gestelde eisen? Evt. technische problemen?

Bewerken vragen in BlackBoard In BlackBoard kunnen vragen eenvoudig worden bewerkt Zo kan de vraag of (een van) de antwoorden worden aangepast, antwoorden worden toegevoegd of verwijderd.

Bewerken vragen in BlackBoard Per categorie kunnen vragen worden toegevoegd of verwijderd, al bestaande vragen kunnen worden aangepast Zo kan de vraag of (een van) de antwoorden worden aangepast, antwoorden worden toegevoegd of verwijderd.

Bewerken resultaten in BlackBoard In BlackBoard kunnen alle resultaten van alle studenten worden gevonden in het Grade Center Download in GC via manage>download Resultaat nu ook te sorteren op studie, maar alleen als elke studie een andere toets heeft.

Bewerken resultaten in BlackBoard Alle resultaten kunnen gedownload worden in een Excelbestand Deze resultaten zijn eenvoudig te sorteren, bijvoorbeeld op totaal resultaat of het resultaat van een deeltoets Zo is ook te zien welke student de toets nog niet gemaakt heeft Download in GC via manage>download Resultaat nu ook te sorteren op studie, maar alleen als elke studie een andere toets heeft.

Bewerken resultaten in BlackBoard Download in GC via manage>download Resultaat nu ook te sorteren op studie, maar alleen als elke studie een andere toets heeft.

Randomisatie van vragen in BlackBoard Met een “random block” maakt BlackBoard een willekeurige selectie uit het beschikbare materiaal: Drie random blocks: taalkundig, redekundig enkelvoudig, redekundig samengesteld Per random block aangeven hoeveel vragen uit welke categorieën Overkoepelende pool met handmatig geselecteerde vragen uit verschillende categorieën waaruit BB een willekeurige toets genereert Elke student krijgt een andere, gerandomiseerde toets Hierdoor is het mogelijk dat uit een groep vragen zowel oefen- als toetsmateriaal gehaald kan worden Toets/test verwarrend? Verduidelijking: wij hebben dus 3 overkoepelende pools: eentje taalkundig met erg veel vragen waaruit er 30 geselecteerd worden voor het random block, dan redekundig enkelvoudig met 40, dan redekundig samengesteld met 30. Wij zetten dus niet de random blocks na elkaar, dit levert 1 toets op (wel met eerst 30tk, dan 40rk_e, dan 30 re_sm). Wij maken 1 toets taalkundig met 1 random block, etcetera. Misschien dit op slide ipv wat er nu staat?

Uitbreiding van de toetsmogelijkheden in BlackBoard Op het moment bestaat de toets uit drie delen De toets kan eenvoudig worden uitgebreid: Nieuwe vragen toevoegen binnen de drie delen Nieuwe delen toevoegen, zodat de toets uit meer dan 3 delen bestaat. Voor elke nieuwe categorie kan een nieuwe pool gemaakt worden Het nieuwe testdeel bestaat uit een random block met vragen uit de nieuwe categorieën

Wat ziet de student? Bij het maken van een test kun je een instructie schrijven die studenten te zien krijgen bij het maken van de toets Denk aan algemene instructie; tijdslimiet; benodigde score Er loopt een timer mee die aangeeft hoeveel tijd is verstreken De toets bestaat uit drie delen; de student vult alle vragen van een deel achter elkaar in en stuurt het geheel in Terugkijken naar eerdere vragen binnen een deel is dus mogelijk Terugkijken naar vragen uit een eerder deel is niet mogelijk

Wat ziet de student?

Blackboard als toetsomgeving Nadelen BB: Resultaten alleen per toetsonderdeel, niet op niveau van vraag Resultaten per grammaticaal onderdeel kunnen niet direct worden teruggekoppeld Deze informatie is niet op studentniveau en niet op groepsniveau te verkrijgen Systeem schiet tekort als het gaat om direct terugkoppelen van resultaten naar bijspijkermateriaal je kunt in BB op basis van het resultaat van een toets niet iemand direct verwijzen naar die onderdelen die onvoldoende zijn gescoord

Implementatie grammaticatoets September 2010 Alle instromende eerstejaars ontvangen brief met aankondiging toets en voorbereidingsmateriaal Toets 2010/2011 nog niet verplicht Bestuurlijke overwegingen verplichtstelling 2011/2012