1 Toetsontwikkeling en kwaliteit AOC-raad presentatie Silvester Draaijer (Onderwijscentrum VU)

2 Issue  Assessment of Learning  Summatief (cijfer, score, studiepunten, afronden, na afloop van leertraject)  “Lage inhoud”  Assessment for Learning  Formatief toetsen (vooraf, gedurende leertraject) om te leren om te diagnosticeren om vooruit te kunnen kijken om te sturen “Rijke inhoud”

3 ICT: Toetsing van competenties  Veel ‘zelftests’ op verschillende terreinen via internet (DiA)  360 graden feedback, (MyCQ)  Peer-review beoordeling van eigen handelen (DiviDU)  Peer-review beoordeling van groepswerk (SPARK)  Portfolio

4 ICT: Unconstrained Response vragen  (Semi)automatisch nakijken van essayvraagstukken  CODAS  Criterion  Diverse Plagiaatdetectoren (Urkund, Safe Assignment, Ephorus, Turnitin etc.)  Peer-Assessment systemen  Patiënt simulatoren  Management Games  

5 ICT: MC, MR, drag-and- drop, math

6 ICT: Lineair question

7 ICT: Animation, Simulation, Video

8 Quizzing – studentgericht formatief toetsen  Toets met diagnostische functie tbv toets  Toets om te leren/oefenen

9 Voorbeeld 2a: opfrissen van voorkennis  Faculteit Aard- en Levenswetenschappen VU, cursus Plantenfysiologie

10 Voorbeeld 3a: Actieve verwerking van collegestof  Faculteit Pedagogiek en Psychologie VU, cursussen Algemene Methodologie en Functieleer

11 Doel en belang van toetsen Toetsen sturen het leergedrag Het toetsprogramma stuurt het leergedrag

12 Doel en belang van toetsen  Toets beoogt te meten of de student is geslaagd  bezitten de studenten de bedoelde kennis?  Daardoor  kwaliteit van geslaagden waarborgen  Toets beoogt te meten of onderwijs is geslaagd:  bezitten de studenten de bedoelde kennis?  Zonder deugdelijke toets weet je niet of het onderwijs is geslaagd  belang van kwaliteit toetsen  Daardoor:  kwaliteit van het onderwijs waarborgen  kwaliteit van het diploma waarborgen  Belang (interne) kwaliteitszorg

13 Wat is een deugdelijke toets  Valide  Betrouwbaar

14 Validiteit Toetsen ontwikkelen op basis van  Curriculum doelstellingen  Competentiebeschrijvingen  Leerdoelomschrijvingen  Eindtermen  Zoek een passende toetsvorm!

15 Validiteit  Face-validity  Concurrent validity  Content validity  Predictive validity

16 Validiteit bij ‘kennis’ toetsen Representativiteit

17 Betrouwbaarheid en cesuur raadscore cijfer 1 10 maximale scorecesuurscore Proportie studenten die slaagt. 0,0 (of 1,0) 5,5 (of 6,0) score

18 Factoren die uitslag op een toets beïnvloeden  Wat kan er mis gaan bij een toets? – uitslag toont ruis  Leerling geen kennis  Voorbereiding leerling  Onderwijs  Toetsvragen niet de bedoelde kennis of kennisniveau meten  Omstandigheden v.d. toets

19 Welke invloeden zijn er zoal?

20 Wat zijn goede toetsvragen?  Ontlokken het bedoelde cognitief gedrag  Maken onderscheid tussen de wel- en niet-weters  Stimuleren tot inspanning  De stimulus van een vraag bepaalt het denkproces dat de student moet uitvoeren, niet de vorm

21 Ontwikkelen van een toets

22 Een goed proces  Een goede toets? 1. Specificatietabel maken 2. Vragen construeren 3. Toets afnemen 4. Nakijken en analyseren 5. Cijfers geven 6. Evalueren orienteer bedenk schaaf bij orienteer bedenk schaaf bij

23 Vragen en toetsen maken een kunst?  Het ontwikkelen van toetsvragen is een creatief probleemoplossings proces  Ill-structured  Probleem is niet eenduidig  Route er naartoe niet eenduidig  Uitkomst is onzeker  Geen harde criteria  Computertoetsing maakt aantal vrijheidsgraden nog groter  Er is geen empirisch onderzoek gedaan naar toetsvraagontwikkeling  Je kan het of je kan het niet …  Maar training helpt …

24 Vragen en toetsen maken een kunst?  Gestructureerd en gezamenlijk ontwikkelen van toetsvragen helpt  Training helpt  Veelvuldige review toepassen helpt  Aandacht voor toets- en vraaganalyse is essentieel