Dick Hennink Kees Beers De toets der kritiek Dick Hennink Kees Beers Studiedag Nijmegen 8 april 2014

Opzet workshop Inleiding over toetsconstructie ca. 20 min. Opgave verbeteren en (globaal) CV maken ca. 20 min. Plenaire bespreking van opgave en CV ca. 20 min.

Algemene eisen aan een toets Lengte (in relatie tot de beschikbare tijd) aantal vragen aantal punten aantal woorden Inhoud relevant - toetsmatrijs juist context kettingeffect vermijden Formulering/presentatie helder taalgebruik duidelijke lay-out gebruik van afbeeldingen Objectiviteit maximumscore bij vraag aangeven correctievoorschrift

Schriftelijke toets Vraagsoorten Open vraag Gesloten vraag in- en aanvulvragen kort-antwoordvragen lang-antwoordvragen opstelvragen Gesloten vraag meerkeuze goed/fout rangschikvraag matchvraag

Gedragscategorieën Beheersingsniveaus Bloom K – I – T RTTI OBIT Reproductie – Productie

Bloom Hiërarchisch – zes categorieën: Kennis: feiten weergeven Begrip: informatie vertalen Toepassing: kennis gebruiken in nieuwe situatie Analyseren: opsplitsen in onderdelen Synthetiseren: info samenvoegen tot nieuw concept Evalueren: beoordelen aan de hand van criteria

K – I – T Kennis Inzicht Toepassen

RTTI Reproductie Toepassing 1 (bekende situaties) Toepassing 2 (nieuwe situaties) Inzicht (zelf methode/ontwerp construeren)

OBIT Onthouden Begrijpen Integreren Toepassen

Reproductie en productie Reproductie - Gebruikelijke vraagstelling Kennis - RA Routines – RB Productie - Ongebruikelijk Toepassen van kennis/vaardigheden Oplosroute niet routinematig Gegevens niet voor de hand

Toetsmatrijs Verdeling over leerstof en gedrag vooraf – blauwdruk achteraf - controle

totaal per vakonderdeel Toetsmatrijs Voorbeeld blauwdruk leerstof gedrag totaal per vakonderdeel reproductie productie par 1 8 par 2 par 3 7 par 4 Totaal 10 20 30 punten

Toetsmatrijs opgave vraag max sc par 1 par 2 par 3 par 4 R P 1 3 2 4 5   2 4 5 6 7 8 9 10 11 12 30 9 (8) 8 (8) 6 (7) 7 (7) 11(10) 19 (20)

Het construeren van open vragen Formulering van vraag en antwoord Correctievoorschrift Analyse Revisie

1. Formuleren van vraag én antwoord Vraag mag niet voor meer uitleg vatbaar zijn Splits vraag op in informatiegedeelte en vraaggedeelte Antwoord Maak gebruik van duidelijke antwoordinstructies/handelingswerkwoorden Maak duidelijk hoe volledig het antwoord moet zijn Zet een leerling niet op het verkeerde spoor

1. Formuleren van vraag én antwoord Onduidelijke antwoordinstructies/handelingswerkwoorden Probeer eens uit te leggen waarom … Kun je aangeven op welke manier … Welke factoren beïnvloeden … Waarom gebruikt de onderzoeker … Zal dit leiden tot een stijging of een daling … Geef minstens twee redenen … Geef enkele voorbeelden van … Zoek in Binas de systematische naam van azijnzuur op.

1. Formuleren van vraag én antwoord Voorbeeld 1 Waarom worden grote raketten vlak voor de start geladen met vloeibare waterstof en vloeibare zuurstof, elk in aparte tanks?

1. Formuleren van vraag én antwoord Vraag is voor meer uitleg vatbaar Waarom (1) worden grote raketten (2) vlak voor de start (3) geladen met vloeibare (4) waterstof (5) en vloeibare (4) zuurstof (5), elk in aparte tanks (6)?

1. Formuleren van vraag én antwoord Opsplitsing in informatiegedeelte en vraaggedeelte Grote raketten worden vlak voor de start geladen met vloeibare waterstof en vloeibare zuurstof, elk in aparte tanks. Geef een reden waarom die stoffen in vloeibare vorm worden geladen. Geef een reden waarom die stoffen in aparte tanks worden opgeslagen.

1. Formuleren van vraag én antwoord Voorbeeld 2 Hoe kun je met behulp van een titratie het azijnzuurgehalte in tafelazijn bepalen? Onduidelijk wat van de leerling wordt verwacht Onduidelijk hoe ver het antwoord moet gaan “in”??

1. Formuleren van vraag én antwoord Het azijnzuurgehalte in tafelazijn kan worden bepaald door middel van een titratie met natronloog. 4p Beschrijf hoe je deze titratie kunt uitvoeren. Let op: Je hoeft de berekeningswijze niet te beschrijven. Vermeld in je antwoord ook: de meetgegevens de benodigdheden (o.a. het soort glaswerk)

2. Correctievoorschrift Een correctievoorschrift is een lijst met richtlijnen voor een zo objectief mogelijke beoordeling. Per vraag: - antwoordmodel - scoringsvoorschrift; deelscores - 1 punt per antwoordelement

2. Correctievoorschrift Antwoordmodel Voorbeeld van een formulering van een antwoord Meet met een pipet een bekende hoeveelheid tafelazijn af en breng deze in een erlenmeyer. Voeg hieraan vanuit een buret natronloog met een bekende molariteit toe totdat alle azijnzuur heeft gereageerd. Zorg ervoor dat waarneembaar is wanneer dit (equivalentie)punt is bereikt. / Gebruik een (geschikte) indicator om dit (equivalentie)punt te bepalen. Bepaal het volume van de toegevoegde natronloog.

2. Correctievoorschrift Antwoordmodel Scoringsvoorschrift Afmeten, met een pipet, van een bekende hoeveelheid tafelazijn 1 Toevoegen, vanuit een buret, van natronloog met een bekende molariteit aan de tafelazijn 1 Vaststellen van het equivalentiepunt / methode om het equivalentiepunt vast te stellen 1 Meten van de toegevoegde hoeveelheid natronloog 1

3. Analyse p-waarde: - (gem. score / max. score) x 100 - per vraag; per toets; per gedeelte van toets - “moeilijkheidsgraad” Rit en Rir: - relatie tussen p-item (p-vraag) en p-toets - relatie tussen p-item en p-toets-min-vraag - “kwaliteit van de vragen” Kwartielen: p-waarde per kwartiel (leerlingen verdeeld in vier, in aantal gelijke groepen)

3. Analyse   In 1862 onderzochten de Franse onderzoekers Marcellin Berthelot en Péan de St. Gilles het volgende homogene evenwicht CH3COOH + C2H5OH CH3COOC2H5 + H2O Bij één van hun proeven lieten ze 1,000 mol ethaanzuur reageren met 0,500 mol ethanol. Toen het evenwicht zich had ingesteld, bleek dat 0,414 mol ethylacetaat was ontstaan. Wat volgt hieruit voor de evenwichtsconstante, K, voor dit evenwicht? A K = 0,12 B K = 0,29 C K = 0,62 D K = 0,81 E K = 1,2 F K = 1,6 G K = 3,4 H K = 8,2

3. Analyse Kwartiel I (minst vaardige): p = 54 Kwartiel II: p = 18 Kwartiel III: p = 31 Kwartiel IV (meest vaardige): p = 45 Gehele populatie: p = 37

4. Aanbevelingen Maak tijdens de vraagconstructie een antwoordmodel. Laat collega de vragen beantwoorden, zonder inzage van het correctievoorschrift. Als veel (goede) leerlingen allemaal hetzelfde foute antwoord geven, is dit aanleiding om de vraag kritisch te bekijken. Kijk kritisch naar vragen die te moeilijk blijken en/of een te lage Rit waarde hebben.

Aan het werk Elimineer de kettingeffecten in de opgave over Groene Chemie. Maak een antwoordmodel bij de vragen 5, 8 en 9 en pas zo nodig de redactie van de vraag aan.