Nibi-conferentie 2012 Het Centraal Examen Biologie xxxxxxxxxxxxxxx 4/5/2017 Nibi-conferentie 2012 Het Centraal Examen Biologie John Huizinga André van der Aa xxxxxxxxxxxxx

Plan voor vandaag Stukje theorie toetsconstructie. Het Centraal Examen. Zelf een cluster maken. Zelf een correctievoorschrift maken. Is dit co-co?

xxxxxxxxxxxxxxx 4/5/2017 Functie Toetsing Meetinstrumenten die tot doel hebben de kwaliteit van een onderwijssysteem te beoordelen Meetinstrumenten die tot doel hebben de kwaliteit van de leerling te beoordelen selectie, classificatie, plaatsing, certificering (beheersing) Meetinstrumenten die tot doel hebben het onderwijsleerproces te beoordelen leerlingvolgsysteem xxxxxxxxxxxxx

Summatief vs Formatief xxxxxxxxxxxxxxx 4/5/2017 Summatief vs Formatief Een summatieve toets heeft de functie een oordeel over de kennis en vaardigheden van een leerling uit te spreken. Het eindexamen is dus in de eerste plaats summatief. De formatieve evaluatie heeft een functie naar je onderwijstaak: je gaat na hoe de leerling er voor staat en wat daar nog aan gedaan moet worden. xxxxxxxxxxxxx

Hoe maak je een examen? Totaal ca.1200 uur per examen! xxxxxxxxxxxxxxx 4/5/2017 Hoe maak je een examen? Cluster maken door CG*-lid Redigeren cluster door CG-lid Bespreken cluster in CG Redigeren cluster door CG Samenstellen CE CE bespreken in CG CE bespreken in College voor de Examens Redigeren CE Pretest op scholen Nederlandse redactie Uiteindelijk CE samenstellen Totaal ca.1200 uur per examen! * CG = Constructie Groep xxxxxxxxxxxxx

Toetseisen Betrouwbaarheid [representatief / herhaalbaarheid] xxxxxxxxxxxxxxx 4/5/2017 Toetseisen Betrouwbaarheid [representatief / herhaalbaarheid] Specificiteit [onderscheidend vermogen] Validiteit [meet wat je wilt weten] Transparantie [de lln weet ook dat/wat je toetst] Bruikbaarheid [voldoende tijd?] xxxxxxxxxxxxx

Kwaliteitseisen Relevantie: directe relatie met een leerdoel. Objectiviteit: score is onafhankelijk van degene die het item ontworpen heeft of degene die de scoring uitvoert. Efficiëntie: items moeten zo efficiënt mogelijk geformuleerd worden. Juiste moeilijkheidsniveau: aanvaardbaar gegeven het te verwachten niveau

xxxxxxxxxxxxxxx 4/5/2017 Betrouwbaarheid Een toets wordt betrouwbaar genoemd als het bij herhaalde afname onder dezelfde omstandigheden eenzelfde resultaat laat zien. Formuleer helder en eenduidig Vermijd extreem moeilijke of gemakkelijke opgaven Discrimineer Gelijke omstandigheden afname Resultaten worden gelijk beoordeeld [halo-effect - Hawthorne-effect] xxxxxxxxxxxxx

xxxxxxxxxxxxxxx 4/5/2017 Validiteit De validiteit van een toets is de eigenschap dat de toets meet wat de constructeur bedoeld heeft ermee te meten. Aanvaardbaarheid - cesuur procedure voor de bepaling van het cijfer Ongeveer: xxxxxxxxxxxxx

xxxxxxxxxxxxxxx 4/5/2017 xxxxxxxxxxxxx

xxxxxxxxxxxxxxx 4/5/2017 Transparantie Transparantie betreft vooral de inhoud van de vragen en de berekening van het cijfer Hoeveel punten nodig zijn voor een voldoende Verwijzen naar herkenbare begrippen, situaties of vaardigheden Voorbereidingstoetsen xxxxxxxxxxxxx

Toetsmatrijs Overzichtstabel Bouwplan van een toets xxxxxxxxxxxxxxx 4/5/2017 Toetsmatrijs Overzichtstabel Bouwplan van een toets Bevat concreet de inhoud van het PTA xxxxxxxxxxxxx

Toetsmatrijs Wat is het nut van een toetsmatrijs? xxxxxxxxxxxxxxx 4/5/2017 Toetsmatrijs Wat is het nut van een toetsmatrijs? Inhoud toets zichtbaar Gelijkwaardigheid van toetsen vergroten Verantwoordingsmodel naar de inspectie Hulpmiddel toetsconstructie Voorbereiding op examen xxxxxxxxxxxxx

Voorbeeld toetsmatrijs xxxxxxxxxxxxxxx 4/5/2017 Voorbeeld toetsmatrijs p’ % van de lln heeft het goed beantwoord O/G open/gesloten vraag Informatieverwerking Argumenteren Onderzoeksvraag Rekenvaardigheden xxxxxxxxxxxxx

xxxxxxxxxxxxxxx 4/5/2017 www.examenblad.nl xxxxxxxxxxxxx

Taxonomie Ordening van leerdoelen xxxxxxxxxxxxxxx 4/5/2017 Taxonomie Ordening van leerdoelen Hulpmiddel bij interpretatie eindtermen Invulling geven van onderwijsproces en toetsvorm Romiszowski Bloom Et cetera xxxxxxxxxxxxx

Taxonomie Romiszowski xxxxxxxxxxxxxxx 4/5/2017 Taxonomie Romiszowski kennis vaardigheden feiten [F] begrip [B] reproductie [R] productie [P] xxxxxxxxxxxxx

Toetsconstructie Hoe maak ik gesloten vragen? xxxxxxxxxxxxxxx 4/5/2017

Soorten gesloten vragen xxxxxxxxxxxxxxx 4/5/2017 Soorten gesloten vragen Stam In welke plaats is Cito gevestigd? Alternatieven Arnhem sleutel Den Haag afleider Groningen afleider Zoetermeer afleider xxxxxxxxxxxxx

Tips Begin met het juiste antwoord xxxxxxxxxxxxxxx 4/5/2017 Tips Begin met het juiste antwoord Neem alleen de afleiders die je verwacht, dat leerlingen ook echt kunnen kiezen Formulier bij voorkeur positief Accentueer de negatieve vraagstelling xxxxxxxxxxxxx

Constructie afleiders xxxxxxxxxxxxxxx 4/5/2017 Constructie afleiders Het goede of beste antwoord Formuleer het goede antwoord eerst Is het geformuleerde antwoord ook werkelijk goed? Is het goede antwoord volledig? Vermijd formuleringen waarbij het goede antwoord opvalt, door bijvoorbeeld hele lange en uitsluitende antwoorden te maken waarbij direct opvalt dat dit het goede antwoord wel moet zijn…. xxxxxxxxxxxxx

Constructie afleiders xxxxxxxxxxxxxxx 4/5/2017 Constructie afleiders De afleiders Afleiders moeten helder geformuleerd worden De essentiële verschillen moeten helder zijn Afleiders moeten plausibel zijn Afleiders moeten elkaar uitsluiten xxxxxxxxxxxxx

xxxxxxxxxxxxxxx 4/5/2017 Tot slot…. Alternatieven in logische volgorde rangschikken, bij voorkeur alfabetisch Het alternatief “geen van bovengenoemde” of “alle bovengenoemde” is niet wenselijk De verschillen tussen de alternatieven mogen niet te groot zijn Zorg dat de alternatieven niet het juiste antwoord aanwijzen. xxxxxxxxxxxxx

Kwaliteitseisen Relevantie: directe relatie met een leerdoel. Objectiviteit: score is onafhankelijk van degene die het item ontworpen heeft of degene die de scoring uitvoert. Efficiëntie: items moeten zo efficiënt mogelijk geformuleerd worden. Juiste moeilijkheidsniveau: aanvaardbaar gegeven het te verwachten niveau

Voorbeeld Relevantie 1) Komt niet voor in de syllabus 2) Welke prokaryoten? Zijn er meer antwoorden goed?

Voorbeeld Relevantie Kan in een een Hardy-Weinberg evenwicht het aandeel heterozygoten groter zijn dan 50%?

Voorbeeld Relevantie

Een item is niet relevant als het kennis en vaardigheden meet, die niet in de leerdoelen omschreven zijn; het verkeerd beantwoorden van het item veroorzaakt wordt door andere aspecten dan het niet bereikt zijn van het leerdoel; er een andere activiteit wordt gevraagd dan in het leerdoel beoogd wordt; geen probleem gesteld wordt in de stam (bijvoorbeeld door het ontbreken van een werkwoord); het met gezond verstand kan worden opgelost; het een strikvraag is; woorden als ‘nooit’, ‘alleen’, ‘altijd’, ‘alle’ gebruikt worden en deze een aanwijzing kunnen geven voor het juiste alternatief;

Een item is niet relevant als het juiste alternatief langer of juist korter is dan de overige alternatieven; enkele alternatieven hetzelfde zeggen; de alternatieven er ‘met de haren bijgesleept zijn’; het juiste alternatief systematisch op een bepaalde plaats staat; de onjuiste alternatieven elkaar overlappen; niet alle alternatieven aansluiten op de stam (logisch of grammaticaal); een woord uit de stam terugkomt in het juiste alternatief; de alternatieven te heterogeen en daardoor niet geloofwaardig zijn.

Voorbeeld Objectiviteit Wat synthetiseert het SER? eiwitten koolhydraten lipiden nucueïnezuren Het glad ER [SER] bevat wel DNA [via DNA binding sites] én synthetiseert vetten Bron: 2000 JBC Wang and Shen.pdf

Een item is niet objectief als het vraagt naar de mening van de student; het niet éénduidig waar is (of bij stelling juist of onjuist); niet duidelijk is wat met een bepaald woord in het item wordt bedoeld; onvoldoende informatie in de stam is opgenomen om het juiste alternatief te kunnen aanstrepen; meer dan één alternatief juist is (behalve bij het ‘meerdere antwoorden juist-type!); meerdere deskundigen een verschillende opvatting hebben over het juiste antwoord; een ander alternatief ook te verdedigen is, maar dat staat niet in de cursus vermeld.

Voorbeeld Efficiëntie

In welk deel van de lever van de lever vindt opslag van zouten en afbraakproducten uit de lever plaats? 1 2 3 4 5 6 7

Een item is niet efficiënt als het niet duidelijk is geformuleerd; er irrelevante inleidingen in de stam, stelling of uitspraak staan; er een dubbele ontkenning in voorkomt; het onnodig negatief is gesteld; het grammaticaal niet juist geformuleerd is (bijv. enkelvoud in de stam, meervoud in één van de alternatieven); er ingewikkelde zinsconstructies en woorden in voorkomen;

Een item is niet efficiënt als de zinnen te lang zijn (het streven is zinnen van maximaal vijftien woorden te gebruiken); er een (voor de student) onbekend woord in staat; alternatieven in decimalen zijn gegeven, terwijl het juiste antwoord een geheel getal is; tussenvoegsels de leesbaarheid verlagen; er onnodige verwijzingstekens ingevoerd zijn; er in de alternatieven steeds één zinsdeel uit de stam herhaald wordt.

TIP http://toetswijzer.kennisnet.nl/html/toetsenopschool/toetsenopschool.pdf http://www.examenblad.nl/ http://www.ecent.nl/artikel/1390/Gebruik+van+de+concept-contextbenadering/view.do

xxxxxxxxxxxxxxx 4/5/2017 OPDRACHT 1 Maak 3 vragen bij het artikel “Rijst produceert menselijk bloedeiwit” xxxxxxxxxxxxx

xxxxxxxxxxxxxxx 4/5/2017 OPDRACHT 2 Bepaal in groepjes (ca. 3 pers) het domein en het taxonomisch niveau voor jullie cluster; Maak een beoordelingsinstrument; Kom tot overeenstemming! xxxxxxxxxxxxx

OPDRACHT 3 Kijk elkaars werk na. xxxxxxxxxxxxxxx 4/5/2017 OPDRACHT 3 Kijk elkaars werk na. Gebruik strikt het beoordelinginstrument. xxxxxxxxxxxxx

OPDRACHT 4 Herschrijf het artikel in een context xxxxxxxxxxxxxxx 4/5/2017 OPDRACHT 4 Herschrijf het artikel in een context leefwereld, beroepencontext, wetenschappelijke context (vwo) Kom tot overeenstemming! xxxxxxxxxxxxx

xxxxxxxxxxxxxxx 4/5/2017 xxxxxxxxxxxxx