Aan de hand van de volgende dia’s laten wij u zien hoe een computerprogramma, geheel automatisch, uit een opgavenbank een toets samenstelt die zo goed mogelijk is afgestemd op de vaardigheid van de kandidaat die op dat moment getoetst wordt. Computergestuurd Adaptief Toetsen

De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. Vak 1 In vak 1 laten we steeds zien welke actie het computerprogramma op dat moment uitvoert.

Omdat zowel de moeilijkheidsgraad van een opgave als de geschatte vaardigheid van een kandidaat op één en dezelfde schaal kunnen worden afgebeeld, is het mogelijk beide nauwgezet op elkaar af te stemmen. Dit gebeurt tijdens de toetsafname na elke beantwoording van een opgave. In het 2e vak laten we dit afstemmingsproces op grafische wijze zien. Vak 2

In het 3e vak geven we middels enkele belangrijke kengetallen het verloop van een fictieve toetsafname weer. VaardigheidGoed/fout?MoeilijkheidVolgnummer item Vak 3

De fictieve toetsafname wordt nu gestart.

De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. Moeilijk- heid Volgnummer itemMoeilijkheidGoed/fout?Vaardigheid 155

De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. Moeilijk- heid Volgnummer itemMoeilijkheidGoed/fout?Vaardigheid 155 G Vaardig- heid 65

De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Kan er al gestopt worden? De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. Moeilijk- heid Volgnummer itemMoeilijkheidGoed/fout?Vaardigheid 155G65 Vaardig- heid Onder- grens Boven- grens Nee, er kan nog niet gestopt worden. We zien dat de schatting van de vaar- digheid erg onnauwkeurig is. De ware vaardigheid (dat is de vaardigheid waar we naar op zoek zijn) ligt met 90 procent zekerheid tussen de onder- en de bovengrens van de geschatte vaardigheid. Dat betekent in dit geval dat de ware vaardigheid zowel in het groene (voldoende vaar- digheid) als in het rode (onvoldoende vaardigheid) gebied op de vaardig- heidsschaal kan liggen. Een eendui- dige beslissing is dus nog niet te nemen. Daarom moeten we doorgaan met de toets.

De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Presenteer een opgave die past bij de geschatte vaardigheid. Kan er al gestopt worden? De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. Moeilijk- heid Vaardig- heid Volgnummer itemMoeilijkheidGoed/fout?Vaardigheid 155G65 266

De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Presenteer een opgave die past bij de geschatte vaardigheid. Kan er al gestopt worden? De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. Moeilijk- heid Volgnummer itemMoeilijkheidGoed/fout?Vaardigheid 155G F Vaardig- heid 61

De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Presenteer een opgave die past bij de geschatte vaardigheid. Kan er al gestopt worden? De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. Volgnummer itemMoeilijkheidGoed/fout?Vaardigheid 155G65 266F61 Vaardig- heid Onder- grens Boven- grens Nee, er kan nog steeds niet gestopt worden. We zijn wel iets zekerder van de geschatte vaardigheid, maar er kan nog niet met voldoende zekerheid een uitspraak gedaan worden over het voldoende of onvoldoende zijn van de vaardigheid. Daarom moeten we doorgaan met de toets.

De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Presenteer een opgave die past bij de geschatte vaardigheid. Kan er al gestopt worden? De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. Moeilijk- heid Volgnummer itemMoeilijkheidGoed/fout?Vaardigheid 155G65 266F Vaardig- heid

De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Presenteer een opgave die past bij de geschatte vaardigheid. Kan er al gestopt worden? De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. Moeilijk- heid Volgnummer itemMoeilijkheidGoed/fout?Vaardigheid 155G65 266F F Vaardig- heid 48

De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Presenteer een opgave die past bij de geschatte vaardigheid. Kan er al gestopt worden? De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. Moeilijk- heid Volgnummer itemMoeilijkheidGoed/fout?Vaardigheid 155G65 266F61 359F48 Vaardig- heid Onder- grens Boven- grens Nee, we mogen nog niet stoppen. Wèl is de onzekerheid weer verder afgenomen (het gebied tussen onder- en bovengrens is kleiner geworden). Maar er is nog steeds niet met voldoende zekerheid te zeggen of er sprake is van voldoende of onvoldoende vaardigheid. Daarom moeten we doorgaan met de toets.

De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Presenteer een opgave die past bij de geschatte vaardigheid. Kan er al gestopt worden? De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. Moeilijk- heid Volgnummer itemMoeilijkheidGoed/fout?Vaardigheid 155G65 266F61 359F48 4 Vaardig- heid

De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Presenteer een opgave die past bij de geschatte vaardigheid. Kan er al gestopt worden? De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. Moeilijk- heid Volgnummer itemMoeilijkheidGoed/fout?Vaardigheid 155G65 266F61 359F48 4 F Vaardig- heid 43

De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Presenteer een opgave die past bij de geschatte vaardigheid. Kan er al gestopt worden? De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. Moeilijk- heid Volgnummer itemMoeilijkheidGoed/fout?Vaardigheid 155G65 266F61 359F48 4 F43 Vaardig- heid Onder- grens Boven- grens Ja, nu kunnen we stoppen met de toets. De onzekerheid over de geschatte vaardigheid is met het antwoord op het 4e item weer kleiner geworden. We zijn er nu voldoende zeker van dat deze persoon onvoldoende vaardigheid heeft.

De computer beoordeelt het antwoord van de kandidaat als goed of fout en schat de vaardigheid op grond van gegeven antwoord(en). Presenteer een opgave die past bij de geschatte vaardigheid. Kan er al gestopt worden? De computer presenteert een opgave van gemiddelde moeilijkheidsgraad. Moeilijk- heid Volgnummer itemMoeilijkheidGoed/fout?Vaardigheid 155G65 266F61 359F48 4 F43 Vaardig- heid Onder- grens Boven- grens De kandidaat krijgt nu de uitslag te zien, eventueel aangevuld met een advies voor studie of voor overleg met zijn docent. Rapportage en stop

U zag zojuist een simulatie van een adaptieve toetsafname. In werkelijkheid komt het niet vaak voor dat toetsen al na 4 opgaven worden afgebroken omdat de vaardigheid voldoende nauwkeurig geschat zou zijn. Wèl is het zo dat adaptieve toetsen met aanzienlijk minder items toekunnen dan conventionele toetsen om met een bepaalde zekerheid beslissingen te kunnen nemen.