De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies1.

Verwante presentaties


Presentatie over: "16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies1."— Transcript van de presentatie:

1 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies1

2 Programma • Oefening “Wat kan er misgaan?” • Presentatie en casus “Toetsanalyse” • Oefening “Toetsinformatie voor examencies” 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies2

3 Oefening “Wat kan er mis gaan rond een toets?“ Noem minstens 10 dingen ! Schrijf op ene geeltje En Plak op flipovervel onder: • Validiteit • Betrouwbaarheid • Transparantie • Efficiëntie 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 3

4 Bedreigingen van kwaliteit van toetsen  Geen goede afspiegeling van de leerstof: te weinig, onevenwichtige verdeling  Er worden andere vaardigheden getoetst dan in de leerdoelen zijn aangegeven, bijvoorbeeld kennis i.p.v. toepassen  De toets meet niet wat je wil meten: bijvoorbeeld via kennis handelingsbekwaamheid willen meten  Te weinig vragen om goed beeld te krijgen  Te weinig vragen om de leerstof te dekken  Te weinig meerkeuzevragen om raadkans te compenseren  Vragen zijn niet eenduidig 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies4

5 In metaforen gedacht… Validiteit Je wilt iemands lichaamslengte meten en gebruikt daarvoor een weegschaal Betrouwbaarheid Je wilt iemands lichaamslengte meten en gebruikt daarvoor een meetlint van elastiek 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies5

6 Deelnemersmap 1.CW/PSY Stappenplan docent voor toetsing vak 2.HvA Stappenplan voor toetsing 3.TENTAM handleiding 4.Zelfevaluatie-instrument:kwaliteit toetsen (Horst/Metz) 5.Casus: Toetsanalyse (Bender) 6.Actieplan 7.Slides presentatie Toetsanalyse 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies6

7 Het totale proces Stappen in het toetsproces • Ontwerp (toetsvormkeuze en toetsmatrijs) • Constructie • Afname • Nakijken en beoordelen • Analyse en evaluatie 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies7

8 Expertmodule 2: toetsconstructie Stappen in het toetsontwerp 1.Bepaal de leerdoelen 2.Kies de toetsvorm 3.Maak een toetsmatrijs 4.Formuleer vragen 5.Maak antwoordmodel 6.Bepaal de scoring 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies8

9 Expertmodule 3: toetsanalyse Toetsen beoordelen: vooraf • procedures voor toetsconstructie Toetsen beoordelen: achteraf • psychometrische gegevens • evaluaties • klachten Management-/toetsinformatie • rapportages voor examencommissie • jaarverslag van examencommissie 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies9

10 Dossier van een vak Welke informatie heb jij nodig als examencommissielid? • Vakbeschrijving • Leerdoelen en niveau • Toetsschema • Toetsmatrijs • Tentamen/opdracht • Cesuur/ antwoordmodel • Tentamenanalyse gegevens • Resultaten (aanmeldingen, deelnemers, slaagpercentages) • Evaluatieresultaten • Bijzonderheden, klachten • Reflectie en acties van de docent 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies10

11 Beoordelen van toetsmatrijs 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies11 Inventarisatie van onderwerpen Relatie tussen leerdoelen en toets

12 Expert module 3: Toetsanalyse Nakijken en beoordelen Analyse en evaluatie

13 Cesuur Cesuur = Grens voldoende/onvoldoende Absolute cesuur: hangt niet af van prestaties van de groep • Vb. >= 55 punten is voldoende Relatieve cesuur: afhankelijk van hoe er gepresteerd is door de groep • Vb. Bovenste 65% slaagt, aantal punten slechtste student van deze 65% is cesuur 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies13

14 Cesuur-overwegingen Absoluut: Doelstellingen zijn vooraf bekend, criteria dus ook Vooral studenten zijn verantwoordelijk voor resultaat Gaat uit van ideale situatie Voor beide vormen geldt: denk aan de kwaliteitseis ‘transparantie’. De cesuurvorm moet kunnen worden beargumenteerd Relatief: Onderwijs en toets richten zich op toegelaten studenten Vooral docent is verantwoordelijk voor resultaat Speelt in op situatie 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies14

15 Beantwoordingstijd Open vragen Antwoord-omvang 1 woord of zin1 min. 0,25 p. (A4)5 min. 0,5 p. (A4)10 min. 1 p. (A4)25 min. 2 pp. (A4)60 min. Gesloten vragen Alternatieven Juist/onjuist50 sec. 2 alternatieven50 sec. 3 alternatieven60 sec. 4/5 alternatieven75 sec. 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Vergeet niet de leestijd! 15

16 Beoordelen mc-tentamen Kwaliteit van de vragen (zie expertmodule 2: toetsconstructie) Aantal vragen: Bij enkel meerkeuzevragen geldt: –2-keuze: minimaal vragen –3-keuze: minimaal vragen –4-keuze: minimaal 40 vragen Bij een combinatie van open vragen en meerkeuzevragen kunnen dit er minder zijn. • Vuistregel: hoe zwaarder de open vragen meewegen in de totale toets, des te minder MC- vragen nodig zijn. 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies16

17 Open vragen beoordelen • Zijn de normantwoorden vooraf vastgesteld ? • Welke waardering krijgen afwijkende antwoorden ? • Is het aantal punten van elk van de vragen of van de toetsonderdelen bepaald ? • Zijn de tentamens anoniem nagekeken? • Zijn twijfelgevallen door collega’s beoordeeld ? 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies17

18 Beoordelen van een casus Casus zelf  Is een realistische beroepspraktijk gebruikt ?  Is de casus kort en concreet gehouden ?  Is de benodigde informatie verstrekt ?  Is de situatie zo objectief mogelijk geschetst ? Bijbehorende vragen  Zijn heldere normantwoorden opgesteld ?  Leiden de vragen naar de normantwoorden ?  Zijn de vragen direct aan casus gerelateerd ?  Zijn de vragen op essentiële elementen, beslissingen gericht ? 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies18

19 Toetsanalyse Psychometrische gegevens Peter de Vries (examencommissie Psychologie)

20 Toetsen en beoordelen: achteraf Representativiteit en validiteit: • vooraf te bepalen m.b.v. de toetsmatrijs Achteraf: psychometrische analyses 1.Betrouwbaarheid van de toets (Cronbach’s α ) 2.Moeilijkheid van de vragen (p-waarde) 3.Onderscheidingsvermogen van de vragen (Rit, Rir) 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies20

21 1.Betrouwbaarheid MC-toets Hoe wordt betrouwbaarheid vastgesteld? • Door statistische analyse: hoe sterk is de samenhang tussen resultaten van soortgelijke metingen? • Binnen een toets • Tussen toetsen (komt zelden voor) Van invloed op de betrouwbaarheid zijn: • Aantal metingen • Aantal toetsitems • Formulering toetsvragen • Formulering instructie geaccepteerde antwoorden • Duidelijkheid beoordelingscriteria 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies21

22 Betrouwbaarheid toets: Cronbach’s α Cronbach’s α : stabiliteit/consistentie toets o.b.v. enkele afname Normwaarden betrouwbaarheid toets • 0,90 en hoger  zeer goed • 0,80 - 0,90  voldoende/goed • 0,70 - 0,80  middelmatig/voldoende • Minder dan 0,70  slecht/middelmatig I.h.a. zijn betrouwbaarheden lager dan 0,60 niet acceptabel, maar: • Psychometrische gegevens, en dus ook betrouwbaarheidsscores, zijn ter indicatie • Lage aantallen items of studenten hebben een negatieve invloed. 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies22

23 2. Vraagmoeilijkheid : p-waarde Open vraag: p-waarde = gemiddelde score op een vraag (proportie) • Lage p-waarde: zeer moeilijke vraag • Hoge p-waarde: zeer makkelijke vraag • Idealiter: gemiddelde moeilijkheid, p = 0,5 P-waarde gesloten toetsvraag: proportie correct beantwoord. • Idealiter: p-waarde ligt midden tussen de maximale p-waarde (1) en gokkans. 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies23

24 Vraagmoeilijkheid : p-waarde 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Overzicht normen voor p-waarden bij (summatieve) toetsen Soort toetsvraag “Norm” voor de p-waarde Open (OV)0,50 Gesloten (MC)2 alternatieven 3 alternatieven 4 alternatieven 5 alternatieven 0,75 0,68 0,63 0,60 24

25 3. Onderscheidingsvermogen Toetsvragen moeten onderscheid maken tussen studenten met een hoge en lage eindscore (hoog- resp. laagscoorders)  wanneer hoogscoorders beter scoren op een vraag dan laagscoorders, is er sprake van een positieve correlatie tussen item- en totaalscore.  item-testcorrelatie; bij meer dan 25 vragen  item-restcorrelatie; bij minder dan 25 vragen NB: Stabiliteit item-testcorrelatie afhankelijk van aantal toetsdeelnemers; wanneer <50 dan item- testcorrelatie voorzichtig interpreteren! 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies25

26 Onderscheidingsvermogen 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Overzicht normen voor het onderscheidingsvermogen (item-testcorrelatie ) Gevonden waarden Kwalificatie 0,35 en hoger 0,25 - 0,35 0,15 - 0,25 Minder dan 0,15 Goed/zeer goed Voldoende/goed Middelmatig/voldoende Slecht/middelmatig 26

27 Psychometrische analyse Bij afwijken van “de norm”: inhoud van de vraag opnieuw bestuderen, eventueel “reparatie”: • Item achteraf uit de toets verwijderen • Item verwijderen en score aanpassen • Modelantwoord wijzigen NB: Psychometrische normen en uitkomsten vormen indicaties! 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies27

28 Reparatiemogelijkheden Indien Cronbach’s α kleiner dan 0,70: • Risico op te veel onjuiste zak/slaagbeslissingen • Mogelijk negatieve item-testcorrelaties Reparatie: • Vraag uit toets verwijderen (als daar inhoudelijk gezien aanleiding toe is) • Betrouwbaarheidsanalyse op subsets van items: bijv. op alle kennisvragen, inzichtvragen, en toepassingsvragen (voor zover van toepassing); als deze afzonderlijke α ’s wel voldoende hoog zijn is er geen probleem. Echter: kleiner aantal items heeft negatieve invloed op α... 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies28

29 Voorbeeld: Tentamen uit 2010 • 25 meerkeuze vragen, 6 open vragen (weging 40 : 60) • gemiddelde cijfer: 7,05 (SD = 1,51) • aantal studenten: 17 (klein, want < 50) • 3 onvoldoendes (≈ 18 %)  wellicht wat aan de makkelijke kant… • cijferverdeling: 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies29 Peter de Vries (examencommissie Psychologie) * Dit voorbeeld incl. volgende 4 slides + slide 44 is ontleend aan een op 23 mrt ’11 door Peter de Vries (examencommissie Psychologie) verzorgde bijeenkomst over toetsanalyse voor GW-docenten.

30 Voorbeeld 2 sets psychometrische analyses, voor MC en OV. 0 of 1 punt voor MC-vragen: voor OV ligt score tussen 0 en 1 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies30 Peter de Vries (examencommissie Psychologie)

31 Voorbeeld Output open vragen: 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies α (is wat laag …) p- waarden Item- restcorrelaties α als 1 van de items verwijderd zou worden 31 Peter de Vries (examencommissie Psychologie)

32 Voorbeeld Output meerkeuzevragen : 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies p-waarde = 1 voor vragen 1, 11, 14, en 16; deze worden daarom niet meegenomen. α (is wederom laag …) p-waarden zijn gespreid 32 Peter de Vries (examencommissie Psychologie)

33 Voorbeeld Output meerkeuzevragen: 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Item- restcorrelaties laten een aantal lage waarden zien… …maar deze is wel erg laag… α springt naar 0,66 als dit item verwijderd zou worden; inspectie van de vraag geeft ook aanleiding daartoe… 33 Peter de Vries (examencommissie Psychologie)

34 Voorbeeld Verwijdering van MC25 is op inhoudelijke gronden verdedigbaar. Herhaling van de analyses levert de volgende gegevens ( α = 0,66): 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies α zou nog verder verhoogd kunnen worden, maar is er wel iets mis met deze vraag? En blijven er wel voldoende items over? 34 Peter de Vries (examencommissie Psychologie)

35 CASUS Problemen verhelpen

36 Casus vraagsleutelp-waardeRitmisdatabc 120,91-0,030,00,040,910,05 220,350,041,50,390,350,26 330,750,340,00,030,220,75 430,200,290,00,350,450,20 510,520,150,00,520, ,920,200,00,920,050, ,660,391,50,330,660, ,720,221,50,130,150, ,280,151,50,480,250, ,860,301,50,860,140,00 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies36 W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum

37 Casus vraagsleutelp-waardeRitmisdatabc 120,91-0,030,00,040,910,05 220,350,041,50,390,350,26 330,750,340,00,030,220,75 430,200,290,00,350,450,20 510,520,150,00,520, ,920,200,00,920,050, ,660,391,50,330,660, ,720,221,50,130,150, ,280,151,50,480,250, ,860,301,50,860,140,00 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies37 W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum

38 Casus vraagsleutelp-waardeRitmisdatabc 120,91-0,030,00,040,910,05 220,350,041,50,390,350,26 330,750,340,00,030,220,75 430,200,290,00,350,450,20 510,520,150,00,520, ,920,200,00,920,050, ,660,391,50,330,660, ,720,221,50,130,150, ,280,151,50,480,250, ,860,301,50,860,140,00 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies38 W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum

39 Casus vraagsleutelp-waardeRitmisdatabc 120,91-0,030,00,040,910,05 220,350,041,50,390,350,26 330,750,340,00,030,220,75 430,200,290,00,350,450,20 510,520,150,00,520, ,920,200,00,920,050, ,660,391,50,330,660, ,720,221,50,130,150, ,280,151,50,480,250, ,860,301,50,860,140,00 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies39 W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum

40 Casus vraagsleutelp-waardeRitmisdatabc 120,91-0,030,00,040,910,05 220,350,041,50,390,350,26 330,750,340,00,030,220,75 430,200,290,00,350,450,20 510,520,150,00,520, ,920,200,00,920,050, ,660,391,50,330,660, ,720,221,50,130,150, ,280,151,50,480,250, ,860,301,50,860,140,00 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies40 W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum

41 Casus vraagsleutelp-waardeRitmisdatabc 120,91-0,030,00,040,910,05 220,350,041,50,390,350,26 330,750,340,00,030,220,75 430,200,290,00,350,450,20 510,520,150,00,520, ,920,200,00,920,050, ,660,391,50,330,660, ,720,221,50,130,150, ,280,151,50,480,250, ,860,301,50,860,140,00 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies41 W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum

42 Casus vraagsleutelp-waardeRitmisdatabc 120,91-0,030,00,040,910,05 220,350,041,50,390,350,26 330,750,340,00,030,220,75 430,200,290,00,350,450,20 510,520,150,00,520, ,920,200,00,920,050, ,660,391,50,330,660, ,720,221,50,130,150, ,280,151,50,480,250, ,860,301,50,860,140,00 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies42 W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum

43 Casus vraagsleutelp-waardeRitmisdatabc 120,91-0,030,00,040,910,05 220,350,041,50,390,350,26 330,750,340,00,030,220,75 430,200,290,00,350,450,20 510,520,150,00,520, ,920,200,00,920,050, ,660,391,50,330,660, ,720,221,50,130,150, ,280,151,50,480,250, ,860,301,50,860,140,00 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies43 W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum

44 Voorbeeld SPSS-syntax Run SPSS-syntax: RELIABILITY /VARIABLES=MC1 MC2 MC3 MC4 MC5 MC6 MC7 MC8 MC9 MC10 MC11 MC12 MC13 MC14 MC15 MC16 MC17 MC18 MC19 MC20 MC21 MC22 MC23 MC24 MC25 /SCALE('Meerkeuzevragen') ALL /MODEL=ALPHA /STATISTICS=DESCRIPTIVE SCALE CORR /SUMMARY=TOTAL. RELIABILITY /VARIABLES=OV1 OV2 OV3 OV4 OV5 OV6 /SCALE('Open Vragen') ALL /MODEL=ALPHA /STATISTICS=DESCRIPTIVE SCALE CORR /SUMMARY=TOTAL. Voordeel: deze syntax levert niet alleen Cronbach’s α, maar ook p-waarden en item-restcorrelaties 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies44 Peter de Vries (examencommissie Psychologie)

45 TENTAM Handleiding TENTAM (zie map) 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies45

46 OVERZICHTOVERZICHT 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies46

47 Resultaten: Scores 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies47

48 Resultaten: Analyses 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies48

49 Resultaten: Overig 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies49 • Ruwe data • Correlatie matrix • Frequentieverdeling (cijfers) • Administratiebestand  OSIRIS

50 Bewaken van het eindniveau kwaliteitsborging afstudeertrajecten

51 Accreditatie-eisen • Worden alle eindkwalificaties getoetst? • Toetsplan en toetsmatrijsen samen vepalen of je alles dekt op het juiste niveau • Worden ze op de juiste manier getoetst? • Betrouwbaar en transparant • Niveau en beoordeling van afstudeerscripties  meesterproef, integrale toetsing  vraagt extra aandacht • Het geheel is meer dan de som van de delen • Eisen vanuit toetsconstructie  afstudeerhandleiding, procedures, externe beoordelaars, cum laudes e.d. 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies51

52 toetsanalyse evalueren

53 evaluatievragen 1.Hoe vond je het tentamen? Moeilijk/makkelijk 2.Was het tentamen representatief voor de leerstof? Ja/nee 3.Was het tentamen te doen binnen de daarvoor bestemde tijd? Ja/nee 4.Wist je wat je kon verwachten op het tentamen? Ja/nee 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies53

54 Toetsanalyse Rapporteren vanuit examencommissie

55 Toetsinformatie • In hoeverre is het toetsplan uitgevoerd ? • Is het goed uitgevoerd? • Wie bewaakt het geheel? • Welke procedure spreek je af met elkaar als leden van de examencommissie en met de opleidingsdirecteur en de docenten? 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies55

56 Dossier van een vak Welke informatie heb jij nodig als examencommissielid? • Vakbeschrijving • Leerdoelen en niveau • Toetsschema • Toetsmatrijs • Tentamen/opdracht • Cesuur/ antwoordmodel • Tentamenanalyse gegevens • Resultaten (aanmeldingen, deelnemers, slaagpercentages) • Evaluatieresultaten • Bijzonderheden, klachten • Reflectie en acties van de docent 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies56

57 actieplan 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies57 Wat?Wie?deadline

58 Tips en literatuur Van Berkel, H., A. Bax (2006) Toetsen in het hoger onderwijs: Bohn Stafleu van Loghum Bender, W (2003) Toetsen in het hoger onderwijs Assen: Koninklijke Van Gorcum BV Dousma, T., Horsten, A., Brants, J. (1997) Tentamineren Groningen: Wolters-Noordhoff 16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies58


Download ppt "16/2/2012Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies1."

Verwante presentaties


Ads door Google