Expertiseteam Toetsenbank Digitaal toetsen Alex van Essen Prinsentuin College 15 november 2011

Expertiseteam Toetsenbank Toets is een steekproef, een momentopname. Er kan van alles misgaan, hoeft niet aan de toets te liggen. Toetsen

Expertiseteam Toetsenbank Toetsen

Expertiseteam Toetsenbank Een goede toets is: Betrouwbaar Valide Bruikbaar Toetsen - criteria

Expertiseteam Toetsenbank Kwaliteit van toets zelf Vragen eenduidig geformuleerd Toets en toetsvragen moeten discrimineren (onderscheid tussen goede en zwakke leerlingen) Voldoende aantal vragen Omstandigheden Ruimte en rust Beschikbaarheid hulpmiddelen Beschikbare tijd Beoordeling resultaat (voorkomen van invloed door de beoordelaar) Gesloten vragen met eenduidig antwoord Open vragen met antwoordmodel Toetsen – criteria: betrouwbaarheid Betrouwbaar = bij herhaalde afname onder dezelfde omstandigheden geeft een zelfde resultaat Betrouwbaar = bij herhaalde afname onder dezelfde omstandigheden geeft een zelfde resultaat

Expertiseteam Toetsenbank Begripsvaliditeit Is de toets representatief voor de leerdoelen? Inhoudsvaliditeit Is de toets representatief voor de leerstof? Criteriumvaliditeit Heeft de toets een voorspellende waard? (met name van belang bij centrale examens, toelatingsexamens) Toetsen – criteria: validiteit Valide = meet wat je wilde weten

Expertiseteam Toetsenbank Is de toets doelmatig (efficient)? De inspanningen (voorbereidingen, afname en beoordeling door docenten en leerlingen) moeten opwegen tegen de winst aan validiteit en betrouwbaarheid van de resultaten. Is de toets transparant? Is direct duidelijk wat gevraagd wordt? Goede instructie? Nette lay-out? Afname, waardering, correctie, bekendmakingen helder? Toetsen – criteria: bruikbaarheid Bruikbaarheid = mate van efficiency en doorzichtigheid van de toets Bruikbaarheid = mate van efficiency en doorzichtigheid van de toets

Expertiseteam Toetsenbank Maak een analyse van de leerstof Maak een toetsmatrijs Bepaal welke wijze van toetsen het meest geschikt is Bepaal het soort vragen die het meest geschikt zijn (op onderdelen) Stel de vragen samen Stel de toets samen Bepaal de cesuur Toetsafname, analyseer, evalueer en stel bij Toetsvragen ontwikkelen

Expertiseteam Toetsenbank Creatief proces Eerst grof, dan verfijnen Bijschaven Overleg en feedback zijn zeer belangrijk (laat collega’s, vakgenoten de toetsvragen afnemen) Toetsvragen ontwikkelen

Expertiseteam Toetsenbank Wat is een goede vraag? Goede vragen ontlokken een ‘gericht’ denkproces Goede vragen maken onderscheid tussen leerlingen die de stof wel en die de stof niet begrijpen Goede vragen zijn in principe niet te moeilijk en niet te makkelijk Goede vragen stimuleren de leerling om zijn of haar best te doen Toetsvragen ontwikkelen

Expertiseteam Toetsenbank Is het de leerling duidelijk wat gevraagd wordt? (algemene basisregel) Houd het taalgebruik eenvoudig. Richt de vraag op de leerling. Bevat de vraag een duidelijk probleem? Staan alle gegevens vermeld die nodig zijn om de vraag te kunnen beantwoorden? Is de vraag kort en zakelijk geformuleerd? Vraag niet naar een mening of vermeld in ieder geval wiens mening weergegeven wordt (men vindt iets is niet voldoende). Leer de leerling niet iets nieuws in de vraag. Het gaat om het testen van reeds verworven kennis. Wees je constant bewust van het niveau waarop je de leerlingen wilt bevragen (feitenkennis, toepassen van kennis, kritisch denken, probleem oplossen). Wees nauwkeurig in grammatica, spelling en interpunctie. Voorkom het weggeven van het antwoord door grammaticale fouten of aanduidingen (zoals bijv. het weggeven van het type lidwoord voor een gevraagd begrip: schrijf de/het..). Stel geen strikvragen (maar neem wel misconcepties op in de alternatieven). Toetsvragen ontwikkelen - basisregels

Expertiseteam Toetsenbank Toetsvragen ontwikkelen - basisregels Gebruik de checklijst ! Specifieke (digitale) vraagtypen

Expertiseteam Toetsenbank Meervoudig antwoord vragen Aandachtspunten Dezelfde regels als bij meerkeuzevragen. Kunnen op verschillende manieren gescoord worden: Bij alle correcte antwoorden geselecteerd een score (= dichotome scoring) Toepassen als echt alle antwoorden nodig zijn om de vraag correct te beantwoorden. Per correct antwoord een (deel-) score (=polytome scoring) Toepassen als elk antwoord een toegevoegde waarde van kennis van de leerling weergeeft. Het kan een keuze zijn om aan te geven hoeveel correcte antwoorden er zijn. Afhankelijk van het doel en vereiste mate van inzicht van de leerling.

Expertiseteam Toetsenbank Matching/Combineren Aandachtspunten Gebruik alleen gelijksoortige feiten, concepten, principes of theorieën in één vraag. Geef duidelijke aanwijzingen op basis van welke gegevens de matching/combinatie plaats moet vinden. Geef duidelijke aanwijzingen of een antwoorditem wel of niet voor meerdere stimuli gebruikt mag worden of vice versa. Elke stimulus moet plausibel zijn voor elk antwoorditem. Biedt meer alternatieven aan dan stimuli. Hou de lijst met stimuli onder de 10 stuks. Geef geen antwoorden weg door grammaticale fouten.

Expertiseteam Toetsenbank Ordening Aandachtspunten Zorg ervoor dat geheel duidelijk is wat de sorteervolgorde moet zijn (van laag naar hoog, van vroeger naar later, van stap 1 naar stap 4 etc.) Vul zo nodig stap 1 en de laatste al in. Geef duidelijk aan hoe de vraag gescoord wordt (dicotoom of polytoom).

Expertiseteam Toetsenbank Invulvragen Aandachtspunten Laat alleen betekenisvolle woorden weg en niet zoveel dat er onduidelijkheid kan ontstaan over de wijze van beantwoording. Zorg dat het duidelijk is dat er maar naar één antwoord gevraagd wordt. Zorg dat de gaten in de tekst allemaal optisch ‘even lang zijn’ zodat de grootte van het gat geen informatie bevat over het mogelijke antwoord. Zorg dat het lidwoord voorafgaand aan het gat zo gegeven wordt dat dit geen informatie geeft over mogelijk goede antwoorden. Neem dus in de tekst op de/het (i.p.v. alleen de of het). Zorg er bij voorkeur voor dat het in te vullen woord als laatste wordt aangegeven in de stam.

Expertiseteam Toetsenbank Drag-and-drop/Hotspot Aandachtspunten Zorg ervoor dat eventuele plaatsingboxen op de afbeelding (waar de markers op moeten worden geplaatst) allemaal even groot zijn (zodat de omvang ervan niet een indicatie geeft van de eventueel correct te plaatsen marker). Geef expliciet aan hoeveel markers gebruikt moeten worden voor volledige beantwoording. Geef dus ook aan dat er bijvoorbeeld afleiders tussen zitten (markers die helemaal niet nodig zijn om de vraag te beantwoorden). Geef expliciet aan of er meerdere markers op één plek geplaatst mogen worden of dat er op elke plek maar één marker geplaatst mag worden. Geef expliciet aan hoe wijzigingen in de plaatsing van de markers mogelijk is (of laat leerlingen hier in ieder geval een keer mee oefenen).

Expertiseteam Toetsenbank

Cesuur - kenmerken Cesuur = die score die de grens vormt tussen een voldoende (= slagen) en een onvoldoende (= zakken) Cesuur = die score die de grens vormt tussen een voldoende (= slagen) en een onvoldoende (= zakken) Er zijn vele methoden, geen van allen is perfect. De cesuurmethode bestaat niet. Ze hebben allemaal voor- en nadelen. De methoden zijn vaak moeilijk met complexe berekeningen. Of ze vragen om grote steekproeven of grote aantallen resultaten. Ze zijn niet allemaal of (bijna) allemaal niet objectief. Combinaties van methoden kunnen de nadelen minimaliseren. Er zijn wel consequenties aan verbonden. Genomen beslissingen zijn in zekere mate altijd arbitrair en subjectief. Overleg (met collega’s en/of andere ervaringsdeskundigen) kan een deel van deze subjectiviteit wegnemen. Wat is realistisch? Wat is in de praktijk haalbaar?

Expertiseteam Toetsenbank Cesuur - methoden A. Absolute bepaling (vooraf) Angoff methode Nedelsky methode Ebel methode Kernitem methode Bookmark methode Intuïtieve methode (Jan Boerenfluitjes methode) B. Relatieve bepaling (achteraf) Grens-groep methode Contrast-groep methode Grading on the curve C. Compromis methoden (combinatie van beide) Methode van Beuk Methode van Hofstee

Expertiseteam Toetsenbank Cesuur – methoden: Jan Boerenfluitje Intuïtieve methode (Jan Boerenfluitjesmethode) De docent bepaalt waar de grens getrokken moet worden tussen voldoende en onvoldoende. Waar de grens ligt bepaalt de docent zelf op basis van intuïtie en ervaring. Vaak wordt 60% gehanteerd, of 55% of 56%. Deze methode houdt geen rekening met de haalbaarheid van extreme toetsscores. De veronderstelling is: goede leerling  10 slechte leerling  1 Deze extremen worden echter vaak niet behaald. Deze methode houdt geen rekening met verschil tussen makkelijke en moeilijke toets. Bij moeilijke toets zal dit vaak leiden tot aanpassingen achteraf.

Expertiseteam Toetsenbank Cesuur – methoden: Angoff Angoff methode De meest onderzochte en gebruikte methode. Beoordelaars nemen een zesjesleerling in gedachte en bepalen voor ieder item de kans dat deze leerling het item correct zal beantwoorden. (oftewel: “Wat denkt u wat de gemiddelde score op dit item zal zijn als 100 zesjesleerlingen dit item beantwoorden?) De cesuur = som van die kansen (of som van gemiddelde kansen) BeoordelaarGemiddelde ItemMaximale score Cesuur

Expertiseteam Toetsenbank Cesuur – methoden: Grens-groep Grens-groep methode Van een groep leerlingen het niveau inschatten (op basis van voorgaande ervaringen) Groep leerlingen die, volgens beoordelaars, juist op de grens van voldoende/onvoldoende zitten (zesjesleerlingen).

Expertiseteam Toetsenbank Cesuur – methoden: Contrast-groep Contrast-groep methode Twee groepen inschatten op niveau (op basis van voorgaande ervaringen): A Groep leerlingen die de stof niet beheersen B Groep leerlingen die de stof wel beheersen

Expertiseteam Toetsenbank Betrouwbaarheid en cesuur raadscore cijfer 1 10 maximale scorecesuurscore Proportie leerlingen die slaagt. 0,0 (of 1,0) 5,5 (of 6,0) score

Expertiseteam Toetsenbank ….