Nibi-conferentie 2012 Het Centraal Examen Biologie

Presentatie over: "Nibi-conferentie 2012 Het Centraal Examen Biologie"— Transcript van de presentatie:

1 Nibi-conferentie 2012 Het Centraal Examen Biologie
xxxxxxxxxxxxxxx 4/5/2017 Nibi-conferentie Het Centraal Examen Biologie John Huizinga André van der Aa xxxxxxxxxxxxx

2 Plan voor vandaag Stukje theorie toetsconstructie.
Het Centraal Examen. Zelf een cluster maken. Zelf een correctievoorschrift maken. Is dit co-co?

3 xxxxxxxxxxxxxxx 4/5/2017 Functie Toetsing Meetinstrumenten die tot doel hebben de kwaliteit van een onderwijssysteem te beoordelen Meetinstrumenten die tot doel hebben de kwaliteit van de leerling te beoordelen selectie, classificatie, plaatsing, certificering (beheersing) Meetinstrumenten die tot doel hebben het onderwijsleerproces te beoordelen leerlingvolgsysteem xxxxxxxxxxxxx

4 Summatief vs Formatief
xxxxxxxxxxxxxxx 4/5/2017 Summatief vs Formatief Een summatieve toets heeft de functie een oordeel over de kennis en vaardigheden van een leerling uit te spreken. Het eindexamen is dus in de eerste plaats summatief. De formatieve evaluatie heeft een functie naar je onderwijstaak: je gaat na hoe de leerling er voor staat en wat daar nog aan gedaan moet worden. xxxxxxxxxxxxx

5 Hoe maak je een examen? Totaal ca.1200 uur per examen!
xxxxxxxxxxxxxxx 4/5/2017 Hoe maak je een examen? Cluster maken door CG*-lid Redigeren cluster door CG-lid Bespreken cluster in CG Redigeren cluster door CG Samenstellen CE CE bespreken in CG CE bespreken in College voor de Examens Redigeren CE Pretest op scholen Nederlandse redactie Uiteindelijk CE samenstellen Totaal ca.1200 uur per examen! * CG = Constructie Groep xxxxxxxxxxxxx

6 Toetseisen Betrouwbaarheid [representatief / herhaalbaarheid]
xxxxxxxxxxxxxxx 4/5/2017 Toetseisen Betrouwbaarheid [representatief / herhaalbaarheid] Specificiteit [onderscheidend vermogen] Validiteit [meet wat je wilt weten] Transparantie [de lln weet ook dat/wat je toetst] Bruikbaarheid [voldoende tijd?] xxxxxxxxxxxxx

7 Kwaliteitseisen Relevantie: directe relatie met een leerdoel.
Objectiviteit: score is onafhankelijk van degene die het item ontworpen heeft of degene die de scoring uitvoert. Efficiëntie: items moeten zo efficiënt mogelijk geformuleerd worden. Juiste moeilijkheidsniveau: aanvaardbaar gegeven het te verwachten niveau

8 xxxxxxxxxxxxxxx 4/5/2017 Betrouwbaarheid Een toets wordt betrouwbaar genoemd als het bij herhaalde afname onder dezelfde omstandigheden eenzelfde resultaat laat zien. Formuleer helder en eenduidig Vermijd extreem moeilijke of gemakkelijke opgaven Discrimineer Gelijke omstandigheden afname Resultaten worden gelijk beoordeeld [halo-effect - Hawthorne-effect] xxxxxxxxxxxxx

9 xxxxxxxxxxxxxxx 4/5/2017 Validiteit De validiteit van een toets is de eigenschap dat de toets meet wat de constructeur bedoeld heeft ermee te meten. Aanvaardbaarheid - cesuur procedure voor de bepaling van het cijfer Ongeveer: xxxxxxxxxxxxx

10 xxxxxxxxxxxxxxx 4/5/2017 xxxxxxxxxxxxx

11 xxxxxxxxxxxxxxx 4/5/2017 Transparantie Transparantie betreft vooral de inhoud van de vragen en de berekening van het cijfer Hoeveel punten nodig zijn voor een voldoende Verwijzen naar herkenbare begrippen, situaties of vaardigheden Voorbereidingstoetsen xxxxxxxxxxxxx

12 Toetsmatrijs Overzichtstabel Bouwplan van een toets
xxxxxxxxxxxxxxx 4/5/2017 Toetsmatrijs Overzichtstabel Bouwplan van een toets Bevat concreet de inhoud van het PTA xxxxxxxxxxxxx

13 Toetsmatrijs Wat is het nut van een toetsmatrijs?
xxxxxxxxxxxxxxx 4/5/2017 Toetsmatrijs Wat is het nut van een toetsmatrijs? Inhoud toets zichtbaar Gelijkwaardigheid van toetsen vergroten Verantwoordingsmodel naar de inspectie Hulpmiddel toetsconstructie Voorbereiding op examen xxxxxxxxxxxxx

14 Voorbeeld toetsmatrijs
xxxxxxxxxxxxxxx 4/5/2017 Voorbeeld toetsmatrijs p’ % van de lln heeft het goed beantwoord O/G open/gesloten vraag Informatieverwerking Argumenteren Onderzoeksvraag Rekenvaardigheden xxxxxxxxxxxxx

15 xxxxxxxxxxxxxxx 4/5/2017 xxxxxxxxxxxxx

16 Taxonomie Ordening van leerdoelen
xxxxxxxxxxxxxxx 4/5/2017 Taxonomie Ordening van leerdoelen Hulpmiddel bij interpretatie eindtermen Invulling geven van onderwijsproces en toetsvorm Romiszowski Bloom Et cetera xxxxxxxxxxxxx

17 Taxonomie Romiszowski
xxxxxxxxxxxxxxx 4/5/2017 Taxonomie Romiszowski kennis vaardigheden feiten [F] begrip [B] reproductie [R] productie [P] xxxxxxxxxxxxx

18 Toetsconstructie Hoe maak ik gesloten vragen? xxxxxxxxxxxxxxx 4/5/2017

19 Soorten gesloten vragen
xxxxxxxxxxxxxxx 4/5/2017 Soorten gesloten vragen Stam In welke plaats is Cito gevestigd? Alternatieven Arnhem sleutel Den Haag afleider Groningen afleider Zoetermeer afleider xxxxxxxxxxxxx

20 Tips Begin met het juiste antwoord
xxxxxxxxxxxxxxx 4/5/2017 Tips Begin met het juiste antwoord Neem alleen de afleiders die je verwacht, dat leerlingen ook echt kunnen kiezen Formulier bij voorkeur positief Accentueer de negatieve vraagstelling xxxxxxxxxxxxx

21 Constructie afleiders
xxxxxxxxxxxxxxx 4/5/2017 Constructie afleiders Het goede of beste antwoord Formuleer het goede antwoord eerst Is het geformuleerde antwoord ook werkelijk goed? Is het goede antwoord volledig? Vermijd formuleringen waarbij het goede antwoord opvalt, door bijvoorbeeld hele lange en uitsluitende antwoorden te maken waarbij direct opvalt dat dit het goede antwoord wel moet zijn…. xxxxxxxxxxxxx

22 Constructie afleiders
xxxxxxxxxxxxxxx 4/5/2017 Constructie afleiders De afleiders Afleiders moeten helder geformuleerd worden De essentiële verschillen moeten helder zijn Afleiders moeten plausibel zijn Afleiders moeten elkaar uitsluiten xxxxxxxxxxxxx

23 xxxxxxxxxxxxxxx 4/5/2017 Tot slot…. Alternatieven in logische volgorde rangschikken, bij voorkeur alfabetisch Het alternatief “geen van bovengenoemde” of “alle bovengenoemde” is niet wenselijk De verschillen tussen de alternatieven mogen niet te groot zijn Zorg dat de alternatieven niet het juiste antwoord aanwijzen. xxxxxxxxxxxxx

24 Kwaliteitseisen Relevantie: directe relatie met een leerdoel.
Objectiviteit: score is onafhankelijk van degene die het item ontworpen heeft of degene die de scoring uitvoert. Efficiëntie: items moeten zo efficiënt mogelijk geformuleerd worden. Juiste moeilijkheidsniveau: aanvaardbaar gegeven het te verwachten niveau

25 Voorbeeld Relevantie 1) Komt niet voor in de syllabus 2) Welke prokaryoten? Zijn er meer antwoorden goed?

26 Voorbeeld Relevantie Kan in een een Hardy-Weinberg evenwicht het aandeel heterozygoten groter zijn dan 50%?

27 Voorbeeld Relevantie

28 Een item is niet relevant als
het kennis en vaardigheden meet, die niet in de leerdoelen omschreven zijn; het verkeerd beantwoorden van het item veroorzaakt wordt door andere aspecten dan het niet bereikt zijn van het leerdoel; er een andere activiteit wordt gevraagd dan in het leerdoel beoogd wordt; geen probleem gesteld wordt in de stam (bijvoorbeeld door het ontbreken van een werkwoord); het met gezond verstand kan worden opgelost; het een strikvraag is; woorden als ‘nooit’, ‘alleen’, ‘altijd’, ‘alle’ gebruikt worden en deze een aanwijzing kunnen geven voor het juiste alternatief;

29 Een item is niet relevant als
het juiste alternatief langer of juist korter is dan de overige alternatieven; enkele alternatieven hetzelfde zeggen; de alternatieven er ‘met de haren bijgesleept zijn’; het juiste alternatief systematisch op een bepaalde plaats staat; de onjuiste alternatieven elkaar overlappen; niet alle alternatieven aansluiten op de stam (logisch of grammaticaal); een woord uit de stam terugkomt in het juiste alternatief; de alternatieven te heterogeen en daardoor niet geloofwaardig zijn.

30 Voorbeeld Objectiviteit
Wat synthetiseert het SER? eiwitten koolhydraten lipiden nucueïnezuren Het glad ER [SER] bevat wel DNA [via DNA binding sites] én synthetiseert vetten Bron: 2000 JBC Wang and Shen.pdf

31 Een item is niet objectief als
het vraagt naar de mening van de student; het niet éénduidig waar is (of bij stelling juist of onjuist); niet duidelijk is wat met een bepaald woord in het item wordt bedoeld; onvoldoende informatie in de stam is opgenomen om het juiste alternatief te kunnen aanstrepen; meer dan één alternatief juist is (behalve bij het ‘meerdere antwoorden juist-type!); meerdere deskundigen een verschillende opvatting hebben over het juiste antwoord; een ander alternatief ook te verdedigen is, maar dat staat niet in de cursus vermeld.

32 Voorbeeld Efficiëntie

33 In welk deel van de lever van de lever vindt opslag van zouten en afbraakproducten uit de lever plaats? 1 2 3 4 5 6 7

34 Een item is niet efficiënt als
het niet duidelijk is geformuleerd; er irrelevante inleidingen in de stam, stelling of uitspraak staan; er een dubbele ontkenning in voorkomt; het onnodig negatief is gesteld; het grammaticaal niet juist geformuleerd is (bijv. enkelvoud in de stam, meervoud in één van de alternatieven); er ingewikkelde zinsconstructies en woorden in voorkomen;

35 Een item is niet efficiënt als
de zinnen te lang zijn (het streven is zinnen van maximaal vijftien woorden te gebruiken); er een (voor de student) onbekend woord in staat; alternatieven in decimalen zijn gegeven, terwijl het juiste antwoord een geheel getal is; tussenvoegsels de leesbaarheid verlagen; er onnodige verwijzingstekens ingevoerd zijn; er in de alternatieven steeds één zinsdeel uit de stam herhaald wordt.

36 TIP

37 xxxxxxxxxxxxxxx 4/5/2017 OPDRACHT 1 Maak 3 vragen bij het artikel “Rijst produceert menselijk bloedeiwit” xxxxxxxxxxxxx

38 xxxxxxxxxxxxxxx 4/5/2017 OPDRACHT 2 Bepaal in groepjes (ca. 3 pers) het domein en het taxonomisch niveau voor jullie cluster; Maak een beoordelingsinstrument; Kom tot overeenstemming! xxxxxxxxxxxxx

39 OPDRACHT 3 Kijk elkaars werk na.
xxxxxxxxxxxxxxx 4/5/2017 OPDRACHT 3 Kijk elkaars werk na. Gebruik strikt het beoordelinginstrument. xxxxxxxxxxxxx

40 OPDRACHT 4 Herschrijf het artikel in een context
xxxxxxxxxxxxxxx 4/5/2017 OPDRACHT 4 Herschrijf het artikel in een context leefwereld, beroepencontext, wetenschappelijke context (vwo) Kom tot overeenstemming! xxxxxxxxxxxxx

41 xxxxxxxxxxxxxxx 4/5/2017 xxxxxxxxxxxxx