Dr Gerard Tel Lid ToetsAdviesCommissie Vz ExamenCommissie DocentenOverleg 3 april 2013

 Grootschaligheid ◦ Toetsvormen geschikt voor 200 studenten? ◦ Mag toetskwaliteit lijden onder schaalbaarheid? ◦ Wat is toetskwaliteit? ◦ Excel tips  Procesbewaking ◦ Eis dat we goed toetsen en dat we dat ook kunnen verantwoorden ◦ Transparantie, Validiteit, Betrouwbaarheid ◦ Toezicht Examencommissie

 Schriftelijke toets ◦ Dominante vorm, twee a drie per vak  Project(je)  Paper(tje)  Presentatie(tje)  Programma  Huiswerk Verschil O(1) versus O(n)

Voordelen:  Opstellen en afnemen is O(1)  Voor elke deelnemer gelijk: Betrouwbaar  Bewaar 2 jaar: Transparant, bespreekbaar, vergelijkbaar Nadelen:  Niet elk leerdoel (vioolspelen, programmeren?)  En dat nakijken … (is niet helemaal te voorkomen!)

 Gesloten vraag: niet zelf formuleren ◦ Meerkeuze ABCD ◦ In welke volgorde … ◦ Welke van deze hebben … (meerdere mogelijk) ◦ Juist/Onjuist ◦ Hoeveel is (1/2 – 1/3) / (1/6 – 1/12)  Niet altijd makkelijker  “Lagere cognitieve vaardigheden” (weetjes)  Snel nakijken maar weinig nuance (kan zelfs met computers)

 Open vraag met kort antwoord ◦ Wat zijn de operaties van ADS PriorityQueue? ◦ Welke Kortste Pad algoritmen ken je? ◦ Welk design pattern ga je toepassen?  Ideaal: veel kennis/inzicht, kort antwoord

 Geef een algoritme voor  Bewijs dat  Leg uit waarom  Enige type voor veel van onze leerdoelen  Weet niet precies wat verwacht wordt  Beoordelen is intensief en specialistisch  Beantwoorden kost veel tijd, minder vragen (1 woord: 1 minuut, ½ pagina: 10 minuten)

 Op vragenblad is invulruimte Voordelen:  Student weet hoeveel wordt verwacht  Verhalen worden niet te lang  Je hoeft niet te zoeken

 Nakijkmodel ◦ Goed antwoord ◦ Alternatieven en foute antwoorden, inclusief puntentoekenning ◦ Geef die elk een “foutcode”, schrijf bij werk  Horizontaal of Vertikaal nakijken? ◦ Per student of per vraag? ◦ Per vraag beter voor Betrouwbaarheid (halo) ◦ Sneller want je zit “in” de vraag  Nakijken Verdelen ◦ Best horizontaal ◦ Docent zorgt voor waterdicht nakijkmodel

 Op papier optellen en Toetscijfer invoeren  Per toets en vraag punten invoeren, cijferberekening in Excel ◦ Meer werk ?? Minder fouten ?? ◦ Gedetailleerder feedback, minder naloop ◦ Gewicht van vragen nog aan te passen ◦ Toetsanalyse mogelijk (inzicht in vragen) ◦ Naar verzamelblad met VLOOKUP

 Beoordelingsmodel on line  Deelcijfers per vraag on line  Verplicht bekijken voor nabespreking  Nabespreker weet ◦ welke punten zijn blijven liggen ◦ wat de goede antwoorden zijn  Tot zover schriftelijke toets

 Begeleiden en beoordelen intensief  Groepsgrootte++, lengte--?  Presentatie voor 200 studenten?  Security: Project is optioneel (voor 9+) Cijferregeling inspireerde 3Hoog  2012: 10 uit 80  Concurrency: Presentatie van Capita  Wat kun je met presentaties?

 Combinatie Toetsing/Training  Training: samenwerken is goed!  Toetsing: samenwerken is fraude!  Concurrency: 2/3 opdrachten in 2/3-tal  Algoritmiek: 6 opdrachten, alleen ◦ DomJudge, meervoudig inleveren, auto-check ◦ Communicatie en Feedback tijdens maken ◦ DJ test WAT hij doet, niet HOE

 Vaker Formatief dan Summatief (feedback vs prestatiemeting)  Peer Assessment, Self Assessment ◦ Bespaart veel nakijkwerk ◦ Maar goed antwoordmodel nodig (oude toets) ◦ Uitgebreidere feedback ◦ Laagdrempelige bespreking van werk ◦ Nakijker leert antwoorden evalueren ◦ Docent: begeleiden ipv nakijken (q-time)

 Formules slepen ◦ Regel per client ◦ $ voorkomt oplopen van verwijzingen  Import ander blad: VLOOKUP ◦ Tekst versus getal: =“”&b5 en sleep ◦. versus,: CTRL-H  W:/secure/cijfers/

 Leerdoelen: basis van toetsontwerp  Toetsmatrijs: koppel toets aan leerdoelen  Proeftoets: Transparantie naar student  Voorbespreken: Validiteit  Antwoord- en beoordelingsmodel: Transparantie  Analyse: Betrouwbaarheid  Deze documenten uploaden naar Caracal

 Toetsvormen voor de massa ◦ Schriftelijke toets: vlotte vragen, model ◦ Praktikum: DomJudge ◦ Peer Assessment ◦ Excel-tips  Verantwoording: documentjes uploaden  Discussie: Cijferregeling (nav klachten bij ExCom)

 Reparatietoets bij voldoende?  Max 6 in reparatie?  Reparatie: geheel of vervangt delen  Minimumcijfer voor onderdeel A om onderdeel B mee te laten tellen  Strategisch handelen: “Als ik me ziek meld kan ik nog in de reparatie maar als ik het verpruts niet” (Betere) prestatie geeft risico