Toetsen (en waarom?) toetsconstructie belicht T-college exacte vakken Economie, M&O Mariska Min, Peter Uylings 11 oktober 2012

The more time… Mevrouw, denkt u nu echt dat die grassprietjes harder gaan groeien als u er elke dag een meetlatje langs houdt? (Gerard Westhoff) The more time you spend on teaching, the less there is left for learning (David Little) The more time you spend on testing, the less there is left for learning (Hetty Mulder)

Waarom zou je toetsen?

Onderwijs en toetsen: twee kanten van dezelfde medaille Onderwijs en toetsen: twee kanten van dezelfde medaille! Vergelijk training en wedstrijd Vorm: papier, computer, theoretisch, praktisch. Welke (soorten) toetsen? Voor wie, met welk doel? Feedback,Fast Feedback, (zelf)diagnostische toets, oefentoets

cijferverschil cse t.o.v. se vwo 2008

cijferverschil cse t.o.v. se havo 2008

een rol van de constructiegroep

constructieproces

verantwoordelijkheden CvE formuleert exameneisen Vaksectie (CvE) formuleert constructieopdracht Cito geeft opdracht aan CG voor constructie Planning! en tijdpad (Cito) CG werkt voorstel uit (halffabricaat) Vaksectie (CvE) beoordeelt halffabricaat CG stelt bij Finale oplevering en vaststelling vaksectie (CvE)

1 Validiteit 2 Betrouwbaarheid 3 Bruikbaarheid 4 Aanvaardbaarheid Eisen die aan een vraag gesteld worden:   1 Validiteit 2 Betrouwbaarheid 3 Bruikbaarheid 4 Aanvaardbaarheid 5 Transparantie 6 Functioneel 7 Efficiënt

1 Begripsvaliditeit Een toets is begripsvalide als deze het begrip, zoals bedoeld, daadwerkelijk meet (‘wat meet de toets’). Bv.: Als een afsluitende toets voor aardrijkskunde, economie of geschiedenis vooral leesvaardigheid meet, is de toets niet begripsvalide.

….zijn jouw vragen dan beter?…. 12

….zijn jouw vragen dan beter?…. 13

2 Inhoudsvaliditeit Een toets is inhoudsvalide als de opgaven en opdrachten uit de toets het te toetsen onderwerp inhoudelijk dekt. Bv.: Een toets over de hele geschiedenis van Nederland, die alleen maar vragen over de 20e eeuw bevat, is niet inhoudsvalide.

betrouwbaarheid 1 1 Objectiviteit Een toets is objectief als het voor de hoogte van de score niet uitmaakt welke docent de antwoorden van de leerling corrigeert.

betrouwbaarheid 2 2 Specificiteit Een toets is specifiek als alleen leerlingen die de leerstof beheersen de vragen correct kunnen beantwoorden. (biologie: intelligentie in context?!)

betrouwbaarheid 3 3 Moeilijkheid Een toets is van de juiste moeilijkheid als deze voor de leerlingen noch te moeilijk noch te makkelijk is.

Toets- en Itemanalyse

betrouwbaarheid 4 4 Differentiatie Een toets differentieert goed als deze een duidelijk onderscheid maakt tussen leerlingen die de stof goed en minder goed beheersen.

Toets- en Itemanalyse

betrouwbaarheid 5 5 Toetslengte Een toets is van de juiste toetslengte als deze voldoende opgaven bevat voor een betrouwbare meting. Indicators, bv: - het aantal vragen - de afnametijd (Havo/VWO: 2-3 uur) - het aantal woorden / bronnen / bijlagen

bruikbaarheid 1 1 Efficiëntie Een toets is efficiënt als de ermee verkregen informatie opweegt tegen de benodigde investering van tijd, moeite en kosten. Compex?!

bruikbaarheid 2 2 Billijkheid Een toets is billijk als iedere leerling een even grote kans heeft om de toets met succes te kunnen maken (mits hij of zij zich voldoende heeft voorbereid).

Aanvaardbaarheid Een toets is aanvaardbaar als leerlingen, docenten en ouders er blijk van geven de toets te accepteren als valide, betrouwbaar en bruikbaar.

Transparantie Examensysteem is voor iedereen te doorzien. Constructie Normering Spreadsheet!

Functionaliteit Aansluiten bij de kandidaat. `Het examen gaat ergens over`

validiteit vs. betrouwbaarheid hogere validiteit lagere betrouwbaarheid/bruikbaarheid de praktijk, het bedrijf praktijksimulatie computersimulatie praktische opdracht open vragen gesloten vragen lagere validiteit hogere betrouwbaarheid/bruikbaarheid 27

Beheersingsniveaus: (re)productie Kennis, weten: omvat feiten, procedures en concepten die kandidaten moeten kennen voor een stevige basis. Gebruik, toepassen: focust op de vaardigheid van de kandidaat om kennis en conceptueel begrip toe te passen in bekende, recht-toe-recht-aan situaties en contexten; beperkt aantal oplossings-stappen. Inzicht, redeneren: gaat verder dan het oplossen van standaard problemen en omvat complexe, onbekende situaties en contexten en multi-step problems.

RTTI

RTTI R = Reproductie, het stampwerk T1 = Toepassingsgericht niveau 1, basistoepassingen in oefensituaties T2 = Toepassingsgericht niveau 2, transfer naar andere contexten I = Inzicht, kritische reflectie, verbanden aanbrengen en creatief leren

Voorbeeld % verdeling bètavak   Havo Vwo % T2 of I vragen Leerjaar 1 30 % Leerjaar 2 40 % 45 % Leerjaar 3 50 % 55 % Leerjaar 4 65 % 70 % Leerjaar 5 75 % 80 % Leerjaar 6 85 %

Reproductieve vragen = R  “Wat is de definitie van een soort?” Toepassingsgerichte vragen niveau 1 = T1 Bijv. Opzoeken in tabellen/schema;s als je hebt geleerd hoe deze werkt. “welke mobiele telefoon is hier de beste koop?” Toepassingsgerichte vragen niveau 2 = T2 -bijv. Een opgave oplossen in een voor de leerling onbekende context “Piet krijgt 20,- uitgekeerd bij 4% rente. Wat was zijn oorspronkelijke inleg?” Inzichtvragen = I -bijv. Uitleggen / verklaren “Geef een verklaring voor het feit dan zwangere vrouwen meer koolstofdioxide uitademen dan niet-zwangere vrouwen”

Voorbeeld reproductievraag: Geef de definitie van monetair evenwicht. Voorbeeld identificatievraag: (n.a.v. een beluisterd muziekfragment) Welke drie instrumenten hoor je achtereenvolgens? Voorbeeld productievraag: Leg uit waarom een vermindering van de binnenlandse investeringscapaciteit kan leiden tot een overschot op de lopende rekening.

Voorbeeld vrije verwerking (over School en maatschappij) “De school bereidt de leerlingen te weinig voor op de samenleving waarmee ze te maken krijgen.” “Ons onderwijs geeft de leerlingen te weinig inzicht in de maatschappelijke verhoudingen waarin ze leven.” “Van het onderwijs mag geen vervreemdingseffect uitgaan. Integendeel, het dient zo concreet mogelijk op het maatschappelijk functioneren in leven en beroep gericht te zijn.” (Citaten uit nota X van het Ministerie van OCW.) Schrijf, uitgaande van deze citaten, een commentaar op het schoolgebeuren zoals jij dat ervaart. Je commentaar is bedoeld als artikel voor de schoolkrant.

Eens oefenen

het construeren van open vragen 1 Het formuleren van vraag en antwoord vraag - De vraag mag niet voor meer uitleg vatbaar zijn. Splits vraag op in een informatiegedeelte en vraaggedeelte. Werk met intro’s als de vraag te lang dreigt te worden. 36

het construeren van open vragen 2 antwoord Maak gebruik van duidelijke antwoordinstructies. Maak duidelijk hoe volledig het antwoord moet zijn. Geef de (deel)scores/scorepunten aan. Zet een leerling niet op het verkeerde spoor.

het construeren van open vragen 3 Waarom brengt de NOS ieder jaar aan het eind van het jaar een jaaroverzicht op de televisie?

Het construeren van open vragen 4 Waarom brengt de NOS ieder jaar aan het eind van het jaar een jaaroverzicht op de televisie? waarom: nuttige overzichtsinformatie NOS: behoort tot haar publieke taken ieder jaar: gewoonte, traditie geworden eind van het jaar: het is het beste moment voor een terugblik jaaroverzicht: langere periode dan week of maand op de televisie: beeld spreekt meer aan dan geluid

de klassieker Waarom bepaalt het KNMI elk uur de temperatuur op een groot aantal meetpunten?

de klassieker waarom: Dat levert nuttige informatie op voor boeren en tuinders. KNMI: Dat behoort tot de taken van dat instituut. elk uur: Dat levert een grote betrouwbaarheid van meting op vergeleken bij een kleiner aantal meetmomenten. temperatuur:Voor het doen van een goede weersvoorspelling, zijn temperatuurgegevens onmisbaar.  een groot aantal meetpunten: Temperaturen kunnen van plaats tot plaats nogal verschillen.

verbetering Het KNMI bepaalt elk uur de temperatuur van een groot aantal meetpunten. Geef een reden waarom dat elk uur gebeurt. Geef een reden waarom dat op een groot aantal meetpunten gebeurt.

Een trein rijdt van Arnhem naar Utrecht. het construeren van open vragen 5 Een trein rijdt van Arnhem naar Utrecht. De trein vertrekt om 10:10 vanuit station Arnhem en komt om 10:53 aan op station Utrecht. Wat is de gemiddelde snelheid van de trein?

het construeren van gesloten vragen 1 Basisvorm van de meerkeuzevraag: De stam: een heldere vraag of probleemstelling. De alternatieven: alle mogelijke antwoorden samen. De afleiders: de alternatieve (foute) antwoorden naast het goede antwoord.

het construeren van gesloten vragen 2 Het formuleren van de stam Positief (bij voorkeur!) en negatief. Directe vraagstellingen en variaties daarop. Tips: Begin met het formuleren van het juiste antwoord. Gebruik bij de afleiders veel voorkomende vergissingen van leerlingen. Alleen afleiders opnemen die leerlingen werkelijk zullen kiezen.

het construeren van gesloten vragen 3 Het formuleren van de afleiders Helder formuleren; onderlinge essentiële verschillen moeten duidelijk zijn. Plausibele afleiders voor degenen die de stof niet goed hebben bestudeerd. Alternatieven in een logische volgorde zetten (bijvoorbeeld alfabetisch). Zelfde uitgangspunten, grammaticale structuur en lengte. Geen onderlinge uitsluitingen.

het construeren van gesloten vragen 4 Taalgebruik niet te lange zinnen (max. 10 woorden per alternatief) vermijd bijzinnen hou het aantal gegevens per zin laag vermijd ‘weggevertjes’ geen herhalingen met de stam geen dubbele ontkenningen geen zinnen die letterlijk in leerboekjes staan

het construeren van gesloten vragen 5 Samenvattend: . (inleiding +) vraag = stam . alternatieven (minimaal drie; bij voorkeur vier of vijf) Voorbeeld: Stam: In welk plaats staat het Cito? Alternatieven: A in Amsterdam B in Arnhem C in Enschede D in Groningen Sleutel: B Afleiders: A, C, D

plausibele afleiders? Een weerstand van 10 ohm is aangesloten op een spanning van 25 V. Bereken de stroom. Gebruik de wet van ohm. A 1,5 A B 2,5 A C 3,5 A D 4,5 A Een weerstand van 10 ohm is aangesloten op een spanning van 25 V. Hoe groot is de stroom? A 0,4 A C 15 A D 250 A Wat is het verschil?

check! Bij alle vragen: Lees en beantwoord de vraag zonder naar de sleutel te kijken. Klopt de sleutel? Is er maar één alternatief juist? Is de vraag duidelijk gesteld? Is de vraag grammaticaal juist geformuleerd? En de afleiders? Sluiten de afleiders grammaticaal aan bij de vraag?

check! Bij alle vragen: Is de vraag belangrijk genoeg om te stellen? Meet de vraag wat de constructeur wil meten? Is de vraag alleen te beantwoorden op basis van vakinhoudelijke kennis? Zijn de alternatieven geloofwaardig voor iemand die de stof niet beheerst?

De Vier Producten! Toets zelf Uitwerkbijlage Antwoordmodel Correctie spreadsheet

I opened a course on a topic I know nothing about, clicked through without reading anything, and took the assessment. I passed! What does that suggest? A. I am a genius! B The assessment was too easy. C Maybe the course was to easy, too. D Maybe the course didn’t even need to be written. E B, C en D

2. In a multiple-choice question, when is the longest answer the correct answer? A Rarely B Sometimes C It’s almost always the correct answer, and it’s often stuffed with new information that should have gone in the main part of the course but we forgot so now we’re putting it in the quiz because we can’t possibly leave out the tiniest detail. D Occasionally

3. When is “All of the above” the correct answer? A With alarming regularity B When we try to cover to much in one question C When we use a question to teach instead of assess D All of the above

4. When is it NOT a good idea to avoid negative questions? A Never B Sometimes C Always D What?

5. How often is the correct answer A? A Usually B Frequently C Often D Almost never, because if A is the right answer, then the learner doesn’t have to read all the other options we spent so much time writing and revising, and where’s the return of investment in that?

6. We can confuse learners when we: A fail to actually complete the sentence we started in the question. B inconsistent grammar in the options. C sometimes we veer off into another idea entirely. D wombats.

“Ben” niet bang ze te maken. Conclusies Van fouten kun je leren, Ook van je eigen fouten, “Ben” niet bang ze te maken. SUCCES

Meerkeuze of invulvraag,aankruisvraag Conceptuele vragen: Gevolg van een verandering Verandering in experiment (soms keuze schema’s) Hoe zal grafiek verlopen Orde van grootte Schatten nauwkeurigheid

toetsmatrijs ‘bouwplan’ van toets overzichtstabel met percentages / aantallen vragen en opdrachten, verdeeld over leerstof en vaardigheden bevat concrete inhouden is een hulpmiddel in het toetsconstructieproces is een verantwoording en legitimering voorkomt eenzijdigheid

3 itemconstructie: de praktijk taal, taal en nog eens taal opdrachtfomuleringen lay out en antwoordrestricties (on)zin van gebruik contextmateriaal kwaliteit toetsvragen

taal: voetangels en klemmen cultuurgebonden taal lengte zinnen, woorden en teksten problemen met voegwoorden problemen met verwijswoorden problemen met voorzetsels gebruik van vakspecifieke woorden en figuurlijk taalgebruik problemen met het gebruik van werkwoorden problemen met zelfstandige naamwoorden verbindingswoorden ……………….

taal: voorbeelden Jan Willem ging naar zijn vader omdat hij ziek was Uw geldig paspoort moet u op zijn verzoek aan de bestuurder overhandigen. Het kind met het badwater weggooien. De leerling die de leraar die de cijfers voor aardrijkskunde gaf, wilde spreken, werd opgehouden door de directeur. Dit jaar wil een gezin met twee honden op vakantie. Ze moeten er echter wel rekening mee houden. Veel singles eten alleen met Kerstmis. U hoeft niet te reageren indien u niet aan de bijeenkomst wil deelnemen.

Formuleringen Probeer uit te leggen … Kun je aangeven wie …… Wat is de reden dat … Welke omschrijving valt onder het begrip vakantie? Welke van de volgende beweringen zijn juist? In deze kolom vul je, als dat van toepassing is, in welke gereedschappen en materialen nodig zijn om de werkzaamheden uit te voeren. Kun je aangeven op welke manier .... Zal de maatregel leiden tot een stijging of een daling van het besteedbare inkomen? Geef een verklaring voor ( . . . ) en geef een voorbeeld.

Formuleringen bij exacte vakken Bepaal (figuur, diagram, uitwerkbijlage) Bereken (grootheid, getal, eenheid) Leg uit…. Leid af…. Voer de volgende opdrachten uit: Teken/schets Geef aan of/in (uitwerkbijlage) Beredeneer…

Formuleringen layout en….. lettertype regelafstand plaats van illustraties plaats van vraagnummers Dyslexie: A3?? Arial of Courier?

kwaliteit open vragen scheiding info=stam (open en gesloten) en vraag eenduidigheid van de vraag; daartoe.. standaard formuleringen (examentaal) antwoordrestricties