De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Toetsen (en waarom?) toetsconstructie belicht T-college exacte vakken Economie, M&O Mariska Min, Peter Uylings11 oktober 2012.

Verwante presentaties


Presentatie over: "Toetsen (en waarom?) toetsconstructie belicht T-college exacte vakken Economie, M&O Mariska Min, Peter Uylings11 oktober 2012."— Transcript van de presentatie:

1 Toetsen (en waarom?) toetsconstructie belicht T-college exacte vakken Economie, M&O Mariska Min, Peter Uylings11 oktober 2012

2 The more time… Mevrouw, denkt u nu echt dat die grassprietjes harder gaan groeien als u er elke dag een meetlatje langs houdt? (Gerard Westhoff) The more time you spend on teaching, the less there is left for learning (David Little) The more time you spend on testing, the less there is left for learning (Hetty Mulder)

3 Waarom zou je toetsen?

4 Onderwijs en toetsen: twee kanten van dezelfde medaille! Vergelijk training en wedstrijd Vorm: papier, computer, theoretisch, praktisch. Welke (soorten) toetsen? Voor wie, met welk doel? Feedback,Fast Feedback, (zelf)diagnostische toets, oefentoets

5 cijferverschil cse t.o.v. se vwo 2008

6 cijferverschil cse t.o.v. se havo 2008

7 een rol van de constructiegroep

8 constructieproces

9 verantwoordelijkheden CvE formuleert exameneisen Vaksectie (CvE) formuleert constructieopdracht Cito geeft opdracht aan CG voor constructie Planning! en tijdpad (Cito) CG werkt voorstel uit (halffabricaat) Vaksectie (CvE) beoordeelt halffabricaat CG stelt bij Finale oplevering en vaststelling vaksectie (CvE)

10 Eisen die aan een vraag gesteld worden: 1Validiteit 2Betrouwbaarheid 3Bruikbaarheid 4Aanvaardbaarheid 5Transparantie 6Functioneel 7Efficiënt

11 1 Begripsvaliditeit Een toets is begripsvalide als deze het begrip, zoals bedoeld, daadwerkelijk meet (‘wat meet de toets’). Bv.: Als een afsluitende toets voor aardrijkskunde, economie of geschiedenis vooral leesvaardigheid meet, is de toets niet begripsvalide.

12 ….zijn jouw vragen dan beter?….

13

14 2 Inhoudsvaliditeit Een toets is inhoudsvalide als de opgaven en opdrachten uit de toets het te toetsen onderwerp inhoudelijk dekt. Bv.: Een toets over de hele geschiedenis van Nederland, die alleen maar vragen over de 20 e eeuw bevat, is niet inhoudsvalide.

15 betrouwbaarheid 1 1 Objectiviteit Een toets is objectief als het voor de hoogte van de score niet uitmaakt welke docent de antwoorden van de leerling corrigeert.

16 betrouwbaarheid 2 2 Specificiteit Een toets is specifiek als alleen leerlingen die de leerstof beheersen de vragen correct kunnen beantwoorden. (biologie: intelligentie in context?!)

17 betrouwbaarheid 3 3 Moeilijkheid Een toets is van de juiste moeilijkheid als deze voor de leerlingen noch te moeilijk noch te makkelijk is.

18 Toets- en Itemanalyse

19 betrouwbaarheid 4 4 Differentiatie Een toets differentieert goed als deze een duidelijk onderscheid maakt tussen leerlingen die de stof goed en minder goed beheersen.

20 Toets- en Itemanalyse

21 betrouwbaarheid 5 5 Toetslengte Een toets is van de juiste toetslengte als deze voldoende opgaven bevat voor een betrouwbare meting. Indicators, bv: - het aantal vragen - de afnametijd (Havo/VWO: 2-3 uur) - het aantal woorden / bronnen / bijlagen

22 1 Efficiëntie Een toets is efficiënt als de ermee verkregen informatie opweegt tegen de benodigde investering van tijd, moeite en kosten. Compex?! bruikbaarheid 1

23 bruikbaarheid 2 2 Billijkheid Een toets is billijk als iedere leerling een even grote kans heeft om de toets met succes te kunnen maken (mits hij of zij zich voldoende heeft voorbereid).

24 Aanvaardbaarheid Een toets is aanvaardbaar als leerlingen, docenten en ouders er blijk van geven de toets te accepteren als valide, betrouwbaar en bruikbaar.

25 Transparantie Examensysteem is voor iedereen te doorzien. Constructie Normering Spreadsheet!

26 Functionaliteit Aansluiten bij de kandidaat. `Het examen gaat ergens over`

27 validiteit vs. betrouwbaarheid hogere validiteit lagere betrouwbaarheid/bruikbaarheid de praktijk, het bedrijf praktijksimulatie computersimulatie praktische opdracht open vragen gesloten vragen lagere validiteit hogere betrouwbaarheid/bruikbaarheid

28 Beheersingsniveaus: (re)productie 1.Kennis, weten: omvat feiten, procedures en concepten die kandidaten moeten kennen voor een stevige basis. 2.Gebruik, toepassen: focust op de vaardigheid van de kandidaat om kennis en conceptueel begrip toe te passen in bekende, recht-toe-recht-aan situaties en contexten; beperkt aantal oplossings-stappen. 3.Inzicht, redeneren: gaat verder dan het oplossen van standaard problemen en omvat complexe, onbekende situaties en contexten en multi-step problems.

29 RTTI

30 R = Reproductie, het stampwerk T1 = Toepassingsgericht niveau 1, basistoepassingen in oefensituaties T2 = Toepassingsgericht niveau 2, transfer naar andere contexten I = Inzicht, kritische reflectie, verbanden aanbrengen en creatief leren

31 Voorbeeld % verdeling bètavak HavoVwo % T2 of I vragen Leerjaar 130 % Leerjaar 240 %45 % Leerjaar 350 %55 % Leerjaar 465 %70 % Leerjaar 575 %80 % Leerjaar 6 85 %

32 Reproductieve vragen = R “Wat is de definitie van een soort?” Toepassingsgerichte vragen niveau 1 = T1 Bijv. Opzoeken in tabellen/schema;s als je hebt geleerd hoe deze werkt. “welke mobiele telefoon is hier de beste koop?” Toepassingsgerichte vragen niveau 2 = T2 -bijv. Een opgave oplossen in een voor de leerling onbekende context “Piet krijgt 20,- uitgekeerd bij 4% rente. Wat was zijn oorspronkelijke inleg?” Inzichtvragen = I -bijv. Uitleggen / verklaren “Geef een verklaring voor het feit dan zwangere vrouwen meer koolstofdioxide uitademen dan niet- zwangere vrouwen”

33 Voorbeeld reproductievraag: Geef de definitie van monetair evenwicht. Voorbeeld identificatievraag: (n.a.v. een beluisterd muziekfragment) Welke drie instrumenten hoor je achtereenvolgens? Voorbeeld productievraag: Leg uit waarom een vermindering van de binnenlandse investeringscapaciteit kan leiden tot een overschot op de lopende rekening.

34 Voorbeeld vrije verwerking (over School en maatschappij) “ De school bereidt de leerlingen te weinig voor op de samenleving waarmee ze te maken krijgen.” “Ons onderwijs geeft de leerlingen te weinig inzicht in de maatschappelijke verhoudingen waarin ze leven.” “Van het onderwijs mag geen vervreemdingseffect uitgaan. Integendeel, het dient zo concreet mogelijk op het maatschappelijk functioneren in leven en beroep gericht te zijn.” (Citaten uit nota X van het Ministerie van OCW.) Schrijf, uitgaande van deze citaten, een commentaar op het schoolgebeuren zoals jij dat ervaart. Je commentaar is bedoeld als artikel voor de schoolkrant.

35 Eens oefenen

36 het construeren van open vragen 1 Het formuleren van vraag en antwoordvraag - De vraag mag niet voor meer uitleg vatbaar zijn. -Splits vraag op in een informatiegedeelte en vraaggedeelte. -Werk met intro’s als de vraag te lang dreigt te worden.

37 antwoord -Maak gebruik van duidelijke antwoordinstructies. -Maak duidelijk hoe volledig het antwoord moet zijn. -Geef de (deel)scores/scorepunten aan. -Zet een leerling niet op het verkeerde spoor. het construeren van open vragen 2

38 Waarom brengt de NOS ieder jaar aan het eind van het jaar een jaaroverzicht op de televisie? het construeren van open vragen 3

39 Waarom brengt de NOS ieder jaar aan het eind van het jaar een jaaroverzicht op de televisie? waarom: nuttige overzichtsinformatie NOS: behoort tot haar publieke taken ieder jaar: gewoonte, traditie geworden eind van het jaar: het is het beste moment voor een terugblik jaaroverzicht: langere periode dan week of maand op de televisie: beeld spreekt meer aan dan geluid Het construeren van open vragen 4

40 Waarom bepaalt het KNMI elk uur de temperatuur op een groot aantal meetpunten? de klassieker

41 waarom: Dat levert nuttige informatie op voor boeren en tuinders. KNMI: Dat behoort tot de taken van dat instituut. elk uur: Dat levert een grote betrouwbaarheid van meting op vergeleken bij een kleiner aantal meetmomenten. temperatuur:Voor het doen van een goede weersvoorspelling, zijn temperatuurgegevens onmisbaar. een groot aantal meetpunten: Temperaturen kunnen van plaats tot plaats nogal verschillen. de klassieker

42 Het KNMI bepaalt elk uur de temperatuur van een groot aantal meetpunten. Geef een reden waarom dat elk uur gebeurt. Geef een reden waarom dat op een groot aantal meetpunten gebeurt. verbetering

43 Een trein rijdt van Arnhem naar Utrecht. De trein vertrekt om 10:10 vanuit station Arnhem en komt om 10:53 aan op station Utrecht. Wat is de gemiddelde snelheid van de trein? het construeren van open vragen 5

44 het construeren van gesloten vragen 1 Basisvorm van de meerkeuzevraag: De stam: een heldere vraag of probleemstelling. De alternatieven: alle mogelijke antwoorden samen. De afleiders: de alternatieve (foute) antwoorden naast het goede antwoord.

45 het construeren van gesloten vragen 2 Het formuleren van de stam Positief (bij voorkeur!) en negatief. Directe vraagstellingen en variaties daarop. Tips: Begin met het formuleren van het juiste antwoord. Gebruik bij de afleiders veel voorkomende vergissingen van leerlingen. Alleen afleiders opnemen die leerlingen werkelijk zullen kiezen.

46 het construeren van gesloten vragen 3 Het formuleren van de afleiders Helder formuleren; onderlinge essentiële verschillen moeten duidelijk zijn. Plausibele afleiders voor degenen die de stof niet goed hebben bestudeerd. Alternatieven in een logische volgorde zetten (bijvoorbeeld alfabetisch). Zelfde uitgangspunten, grammaticale structuur en lengte. Geen onderlinge uitsluitingen.

47 het construeren van gesloten vragen 4 Taalgebruik niet te lange zinnen (max. 10 woorden per alternatief) vermijd bijzinnen hou het aantal gegevens per zin laag vermijd ‘weggevertjes’ geen herhalingen met de stam geen dubbele ontkenningen geen zinnen die letterlijk in leerboekjes staan

48 het construeren van gesloten vragen 5 Samenvattend:. (inleiding +) vraag = stam. alternatieven (minimaal drie; bij voorkeur vier of vijf) Voorbeeld: Stam:In welk plaats staat het Cito? Alternatieven:A in Amsterdam B in Arnhem C in Enschede D in Groningen Sleutel:B Afleiders:A, C, D

49 plausibele afleiders? Een weerstand van 10 ohm is aangesloten op een spanning van 25 V. Bereken de stroom. Gebruik de wet van ohm. A 1,5 A B 2,5 A C 3,5 A D 4,5 A Een weerstand van 10 ohm is aangesloten op een spanning van 25 V. Hoe groot is de stroom? Gebruik de wet van ohm. A 0,4 A B 2,5 A C 15 A D 250 A Wat is het verschil?

50 check! Bij alle vragen: Lees en beantwoord de vraag zonder naar de sleutel te kijken. Klopt de sleutel? Is er maar één alternatief juist? Is de vraag duidelijk gesteld? Is de vraag grammaticaal juist geformuleerd? En de afleiders? Sluiten de afleiders grammaticaal aan bij de vraag?

51 check! Bij alle vragen: Is de vraag belangrijk genoeg om te stellen? Meet de vraag wat de constructeur wil meten? Is de vraag alleen te beantwoorden op basis van vakinhoudelijke kennis? Zijn de alternatieven geloofwaardig voor iemand die de stof niet beheerst?

52 De Vier Producten! Toets zelf Uitwerkbijlage Antwoordmodel Correctie spreadsheet

53 1.I opened a course on a topic I know nothing about, clicked through without reading anything, and took the assessment. I passed! What does that suggest? A.I am a genius! BThe assessment was too easy. CMaybe the course was to easy, too. DMaybe the course didn’t even need to be written. EB, C en D

54 2. In a multiple-choice question, when is the longest answer the correct answer? ARarely BSometimes CIt’s almost always the correct answer, and it’s often stuffed with new information that should have gone in the main part of the course but we forgot so now we’re putting it in the quiz because we can’t possibly leave out the tiniest detail. DOccasionally

55 3. When is “All of the above” the correct answer? AWith alarming regularity BWhen we try to cover to much in one question CWhen we use a question to teach instead of assess DAll of the above

56 4. When is it NOT a good idea to avoid negative questions? ANever BSometimes CAlways DWhat?

57 5. How often is the correct answer A? AUsually BFrequently COften DAlmost never, because if A is the right answer, then the learner doesn’t have to read all the other options we spent so much time writing and revising, and where’s the return of investment in that?

58 6. We can confuse learners when we: Afail to actually complete the sentence we started in the question. Binconsistent grammar in the options. Csometimes we veer off into another idea entirely. Dwombats.

59 Conclusies Van fouten kun je leren, Ook van je eigen fouten, “Ben” niet bang ze te maken. SUCCES

60 Meerkeuze of invulvraag,aankruisvraag Conceptuele vragen: –Gevolg van een verandering –Verandering in experiment (soms keuze schema’s) –Hoe zal grafiek verlopen –Orde van grootte –Schatten nauwkeurigheid

61 ‘bouwplan’ van toets overzichtstabel met percentages / aantallen vragen en opdrachten, verdeeld over leerstof en vaardigheden bevat concrete inhouden is een hulpmiddel in het toetsconstructieproces is een verantwoording en legitimering voorkomt eenzijdigheid toetsmatrijs

62

63 taal, taal en nog eens taal opdrachtfomuleringen lay out en antwoordrestricties (on)zin van gebruik contextmateriaal kwaliteit toetsvragen 3itemconstructie: de praktijk

64 cultuurgebonden taal lengte zinnen, woorden en teksten problemen met voegwoorden problemen met verwijswoorden problemen met voorzetsels gebruik van vakspecifieke woorden en figuurlijk taalgebruik problemen met het gebruik van werkwoorden problemen met zelfstandige naamwoorden verbindingswoorden ………………. taal: voetangels en klemmen

65 Jan Willem ging naar zijn vader omdat hij ziek was Uw geldig paspoort moet u op zijn verzoek aan de bestuurder overhandigen. Het kind met het badwater weggooien. De leerling die de leraar die de cijfers voor aardrijkskunde gaf, wilde spreken, werd opgehouden door de directeur. Dit jaar wil een gezin met twee honden op vakantie. Ze moeten er echter wel rekening mee houden. Veel singles eten alleen met Kerstmis. U hoeft niet te reageren indien u niet aan de bijeenkomst wil deelnemen. taal: voorbeelden

66 Probeer uit te leggen … Kun je aangeven wie …… Wat is de reden dat … Welke omschrijving valt onder het begrip vakantie? Welke van de volgende beweringen zijn juist? In deze kolom vul je, als dat van toepassing is, in welke gereedschappen en materialen nodig zijn om de werkzaamheden uit te voeren. Kun je aangeven op welke manier.... Zal de maatregel leiden tot een stijging of een daling van het besteedbare inkomen? Geef een verklaring voor (... ) en geef een voorbeeld. Formuleringen

67 Formuleringen bij exacte vakken Bepaal (figuur, diagram, uitwerkbijlage) Bereken (grootheid, getal, eenheid) Leg uit…. Leid af…. Voer de volgende opdrachten uit: Teken/schets Geef aan of/in (uitwerkbijlage) Beredeneer…

68 lettertype regelafstand plaats van illustraties plaats van vraagnummers Dyslexie: A3?? Arial of Courier? Formuleringen layout en…..

69 scheiding info=stam (open en gesloten) en vraag eenduidigheid van de vraag; daartoe.. standaard formuleringen (examentaal) antwoordrestricties kwaliteit open vragen


Download ppt "Toetsen (en waarom?) toetsconstructie belicht T-college exacte vakken Economie, M&O Mariska Min, Peter Uylings11 oktober 2012."

Verwante presentaties


Ads door Google