Dick Hennink Kees Beers De toets der kritiek Dick Hennink Kees Beers Studiedag Nijmegen 8 april 2014

Algemene eisen aan een toets Lengte aantal vragen aantal punten aantal woorden Inhoud relevant - toetsmatrijs juist context Formulering/presentatie helder taalgebruik duidelijke lay-out gebruik van afbeeldingen Objectiviteit maximumscore bij vraag aangeven correctievoorschrift

Schriftelijke toets Vraagsoorten - 1 Open vraag Gesloten vraag in- en aanvulvragen kort-antwoordvragen lang-antwoordvragen opstelvragen Gesloten vraag meerkeuze goed/fout rangschikvraag matchvraag

Gedragscategorieën Bloom K – I – T RTTI OBIT Reproductie – Productie

Bloom Hiërarchisch – zes categorieën: Kennis: feiten weergeven Begrip: informatie vertalen Toepassing: kennis gebruiken in nieuwe situatie Analyseren: opsplitsen in onderdelen Synthetiseren: info samenvoegen tot nieuw concept Evalueren: beoordelen aan de hand van criteria

K – I – T Kennis Inzicht Toepassen

RTTI Reproductie Toepassing 1 (bekende situaties) Toepassing 2 (nieuwe situaties) Inzicht (zelf methode/ontwerp construeren)

OBIT Onthouden Begrijpen Integreren Toepassen

Reproductie en productie Reproductie - Gebruikelijke vraagstelling Kennis - RA Routines – RB Productie - Ongebruikelijk Toepassen van kennis/vaardigheden Oplosroute niet routinematig Gegevens niet voor de hand

Toetsmatrijs Verdeling over leerstof en gedrag vooraf – blauwdruk achteraf - controle

totaal per vakonderdeel Toetsmatrijs Voorbeeld blauwdruk leerstof gedrag totaal per vakonderdeel reproductie productie par 1 8 par 2 par 3 7 par 4 Totaal 10 20 30 punten

Toetsmatrijs opgave vraag max sc par 1 par 2 par 3 par 4 R P 1 3 2 4 5   2 4 5 6 7 8 9 10 11 12 30 9 (8) 8 (8) 6 (7) 7 (7) 11(10) 19 (20)

Het construeren van open vragen Formulering van vraag en antwoord Correctievoorschrift Analyse Revisie

1. Formuleren van vraag én antwoord Vraag mag niet voor meer uitleg vatbaar zijn Splits vraag op in informatiegedeelte en vraaggedeelte Antwoord Maak gebruik van duidelijke antwoordinstructies/handelingswerkwoorden Maak duidelijk hoe volledig het antwoord moet zijn Zet een leerling niet op het verkeerde spoor

1. Formuleren van vraag én antwoord Voorbeeld ter discussie Waarom worden grote raketten vlak voor de start geladen met vloeibare waterstof en vloeibare zuurstof, elk in aparte tanks?

1. Formuleren van vraag én antwoord Vraag is voor meer uitleg vatbaar Waarom (1) worden grote raketten (2) vlak voor de start (3) geladen met vloeibare (4) waterstof (5) en vloeibare (4) zuurstof (5), elk in aparte tanks (6)?

1. Formuleren van vraag én antwoord Opsplitsing in informatiegedeelte en vraaggedeelte Grote raketten worden vlak voor de start geladen met vloeibare waterstof en vloeibare zuurstof, elk in aparte tanks. Geef een reden waarom die stoffen in vloeibare vorm worden geladen. Geef een reden waarom die stoffen in aparte tanks worden opgeslagen.

1. Formuleren van vraag én antwoord Voorbeeld ter discussie Hoe kun je met behulp van een titratie het azijnzuurgehalte in tafelazijn bepalen?

1. Formuleren van vraag én antwoord Hoe kun je met behulp van een titratie het azijnzuurgehalte in tafelazijn bepalen? Onduidelijk wat van de leerling wordt verwacht Onduidelijk hoe ver het antwoord moet gaan “in”??

1. Formuleren van vraag én antwoord Zo beter? Het azijnzuurgehalte in tafelazijn kan worden bepaald door middel van een titratie met natronloog. 4p Beschrijf hoe je deze titratie kunt uitvoeren. Vermeld in je antwoord ook welke meetgegevens je voor de bepaling nodig hebt. Je hoeft de berekeningswijze niet te beschrijven.

1. Formuleren van vraag én antwoord Onduidelijke antwoordinstructies Probeer eens uit te leggen waarom … Kun je aangeven op welke manier … Welke factoren beïnvloeden … Waarom gebruikt de onderzoeker … Zal dit leiden tot een stijging of een daling … Geef minstens twee redenen … Geef enkele voorbeelden van …

2. Correctievoorschrift Een correctievoorschrift is een lijst met richtlijnen voor een zo objectief mogelijke beoordeling. Een correctievoorschrift bestaat uit: antwoordmodel en scoringsvoorschrift per vraag 1 punt per antwoordelement beoordelaarsinstructie algemeen scoringsvoorschrift

2. Correctievoorschrift Vraag Het azijnzuurgehalte in tafelazijn kan worden bepaald door middel van een titratie met natronloog. 5p Beschrijf hoe je deze titratie kunt uitvoeren. Let op: Je hoeft de berekeningswijze niet te beschrijven. Vermeld in je antwoord ook: de meetgegevens de benodigdheden (o.a. het soort glaswerk)

2. Correctievoorschrift Antwoordmodel Antwoord Meet met een pipet een bekende hoeveelheid tafelazijn af en breng deze in een erlenmeyer. Voeg hieraan vanuit een buret natronloog met een bekende molariteit toe totdat alle azijnzuur heeft gereageerd. Zorg ervoor dat waarneembaar is wanneer dit (equivalentie)punt is bereikt. / Gebruik een (geschikte) indicator om dit (equivalentie)punt te bepalen. Bepaal het volume van de toegevoegde natronloog.

2. Correctievoorschrift Antwoordmodel Scoringsvoorschrift Juist gebruik van glaswerk: erlenmeyer, pipet, buret 1 Volume van gebruikte tafelazijn moet bekend zijn 1 Molariteit van natronloog moet bekend zijn 1 Volume van gebruikte natronloog moet bekend zijn 1 Vaststellen van het equivalentiepunt / methode om het equivalentiepunt vast te stellen 1

3. Analyse p-waarde (gem score/max score x 100): “moeilijkheidsgraad” Rit en Rir (relatie tussen gem p-waarde van vraag en gem p-waarde van de toets): kwaliteit van de vragen, “determinering” Kwartielen (p-waarden per kwartiel): kwaliteit van de vragen

3. Analyse   In 1862 onderzochten de Franse onderzoekers Marcellin Berthelot en Péan de St. Gilles het volgende homogene evenwicht CH3COOH + C2H5OH CH3COOC2H5 + H2O Bij één van hun proeven lieten ze 1,000 mol ethaanzuur reageren met 0,500 mol ethanol. Toen het evenwicht zich had ingesteld, bleek dat 0,414 mol ethylacetaat was ontstaan. Wat volgt hieruit voor de evenwichtsconstante, K, voor dit evenwicht? A K = 0,12 B K = 0,29 C K = 0,62 D K = 0,81 E K = 1,2 F K = 1,6 G K = 3,4 H K = 8,2

3. Analyse Kwartiel I: p = 45 Kwartiel II: p = 31 Kwartiel III: p = 18 Kwartiel IV: p = 54 Gehele populatie: p = 37

4. Revisie Maak tijdens de vraagconstructie een antwoordmodel. Laat collega de vragen beantwoorden, zonder inzage van het correctievoorschrift. Als veel (goede) leerlingen allemaal hetzelfde foute antwoord geven, is dit aanleiding om de vraag te bekijken. Schrap vragen die te moeilijk zijn en/of een te lage Rit waarde hebben.