Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Programma Oefening “Wat kan er misgaan?” Presentatie en casus “Toetsanalyse” “Toetsinformatie voor examencies” 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Oefening “Wat kan er mis gaan rond een toets?“ Noem minstens 10 dingen ! Schrijf op ene geeltje En Plak op flipovervel onder: Validiteit Betrouwbaarheid Transparantie Efficiëntie 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Bedreigingen van kwaliteit van toetsen Geen goede afspiegeling van de leerstof: te weinig, onevenwichtige verdeling Er worden andere vaardigheden getoetst dan in de leerdoelen zijn aangegeven, bijvoorbeeld kennis i.p.v. toepassen De toets meet niet wat je wil meten: bijvoorbeeld via kennis handelingsbekwaamheid willen meten Te weinig vragen om goed beeld te krijgen Te weinig vragen om de leerstof te dekken Te weinig meerkeuzevragen om raadkans te compenseren Vragen zijn niet eenduidig 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies In metaforen gedacht… Validiteit Je wilt iemands lichaamslengte meten en gebruikt daarvoor een weegschaal Betrouwbaarheid Je wilt iemands lichaamslengte meten en gebruikt daarvoor een meetlint van elastiek 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Deelnemersmap CW/PSY Stappenplan docent voor toetsing vak HvA Stappenplan voor toetsing TENTAM handleiding Zelfevaluatie-instrument:kwaliteit toetsen (Horst/Metz) Casus: Toetsanalyse (Bender) Actieplan Slides presentatie Toetsanalyse 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Het totale proces Stappen in het toetsproces Ontwerp (toetsvormkeuze en toetsmatrijs) Constructie Afname Nakijken en beoordelen Analyse en evaluatie 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 2: toetsconstructie Stappen in het toetsontwerp Bepaal de leerdoelen Kies de toetsvorm Maak een toetsmatrijs Formuleer vragen Maak antwoordmodel Bepaal de scoring 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3: toetsanalyse Toetsen beoordelen: vooraf procedures voor toetsconstructie Toetsen beoordelen: achteraf psychometrische gegevens evaluaties klachten Management-/toetsinformatie rapportages voor examencommissie jaarverslag van examencommissie 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Dossier van een vak Welke informatie heb jij nodig als examencommissielid? Vakbeschrijving Leerdoelen en niveau Toetsschema Toetsmatrijs Tentamen/opdracht Cesuur/ antwoordmodel Tentamenanalyse gegevens Resultaten (aanmeldingen, deelnemers, slaagpercentages) Evaluatieresultaten Bijzonderheden, klachten Reflectie en acties van de docent 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Beoordelen van toetsmatrijs Inventarisatie van onderwerpen Relatie tussen leerdoelen en toets 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expert module 3: Toetsanalyse Nakijken en beoordelen Analyse en evaluatie

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Cesuur Cesuur = Grens voldoende/onvoldoende Absolute cesuur: hangt niet af van prestaties van de groep Vb. >= 55 punten is voldoende Relatieve cesuur: afhankelijk van hoe er gepresteerd is door de groep Vb. Bovenste 65% slaagt, aantal punten slechtste student van deze 65% is cesuur 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Cesuur-overwegingen Absoluut: Doelstellingen zijn vooraf bekend, criteria dus ook Vooral studenten zijn verantwoordelijk voor resultaat Gaat uit van ideale situatie Voor beide vormen geldt: denk aan de kwaliteitseis ‘transparantie’. De cesuurvorm moet kunnen worden beargumenteerd Relatief: Onderwijs en toets richten zich op toegelaten studenten Vooral docent is verantwoordelijk voor resultaat Speelt in op situatie 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Beantwoordingstijd Open vragen Antwoord-omvang 1 woord of zin 1 min. 0,25 p. (A4) 5 min. 0,5 p. (A4) 10 min. 1 p. (A4) 25 min. 2 pp. (A4) 60 min. Gesloten vragen Alternatieven Juist/onjuist 50 sec. 2 alternatieven 50 sec. 3 alternatieven 60 sec. 4/5 alternatieven 75 sec. Vergeet niet de leestijd! 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Beoordelen mc-tentamen Kwaliteit van de vragen (zie expertmodule 2: toetsconstructie) Aantal vragen: Bij enkel meerkeuzevragen geldt: 2-keuze: minimaal 60-80 vragen 3-keuze: minimaal 45-60 vragen 4-keuze: minimaal 40 vragen Bij een combinatie van open vragen en meerkeuzevragen kunnen dit er minder zijn. Vuistregel: hoe zwaarder de open vragen meewegen in de totale toets, des te minder MC-vragen nodig zijn. 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Open vragen beoordelen Zijn de normantwoorden vooraf vastgesteld ? Welke waardering krijgen afwijkende antwoorden ? Is het aantal punten van elk van de vragen of van de toetsonderdelen bepaald ? Zijn de tentamens anoniem nagekeken? Zijn twijfelgevallen door collega’s beoordeeld ? 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Beoordelen van een casus Casus zelf Is een realistische beroepspraktijk gebruikt ? Is de casus kort en concreet gehouden ? Is de benodigde informatie verstrekt ? Is de situatie zo objectief mogelijk geschetst ? Bijbehorende vragen Zijn heldere normantwoorden opgesteld ? Leiden de vragen naar de normantwoorden ? Zijn de vragen direct aan casus gerelateerd ? Zijn de vragen op essentiële elementen, beslissingen gericht ? 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Psychometrische gegevens Toetsanalyse Psychometrische gegevens Peter de Vries (examencommissie Psychologie)

Toetsen en beoordelen: achteraf Representativiteit en validiteit: vooraf te bepalen m.b.v. de toetsmatrijs Achteraf: psychometrische analyses Betrouwbaarheid van de toets (Cronbach’s α ) Moeilijkheid van de vragen (p-waarde) Onderscheidingsvermogen van de vragen (Rit, Rir) 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Betrouwbaarheid MC-toets Hoe wordt betrouwbaarheid vastgesteld? Door statistische analyse: hoe sterk is de samenhang tussen resultaten van soortgelijke metingen? Binnen een toets Tussen toetsen (komt zelden voor) Van invloed op de betrouwbaarheid zijn: Aantal metingen Aantal toetsitems Formulering toetsvragen Formulering instructie geaccepteerde antwoorden Duidelijkheid beoordelingscriteria 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Betrouwbaarheid toets: Cronbach’s α stabiliteit/consistentie toets o.b.v. enkele afname Normwaarden betrouwbaarheid toets 0,90 en hoger  zeer goed 0,80 - 0,90  voldoende/goed 0,70 - 0,80  middelmatig/voldoende Minder dan 0,70  slecht/middelmatig I.h.a. zijn betrouwbaarheden lager dan 0,60 niet acceptabel, maar: Psychometrische gegevens, en dus ook betrouwbaarheidsscores, zijn ter indicatie Lage aantallen items of studenten hebben een negatieve invloed. 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

2. Vraagmoeilijkheid : p-waarde Open vraag: p-waarde = gemiddelde score op een vraag (proportie) Lage p-waarde: zeer moeilijke vraag Hoge p-waarde: zeer makkelijke vraag Idealiter: gemiddelde moeilijkheid, p = 0,5 P-waarde gesloten toetsvraag: proportie correct beantwoord. Idealiter: p-waarde ligt midden tussen de maximale p-waarde (1) en gokkans. 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Vraagmoeilijkheid : p-waarde Overzicht normen voor p-waarden bij (summatieve) toetsen Soort toetsvraag “Norm” voor de p-waarde Open (OV) 0,50 Gesloten (MC) 2 alternatieven 3 alternatieven 4 alternatieven 5 alternatieven 0,75 0,68 0,63 0,60 P-waarde bij open vragen: Gemiddeld cijfer gedeeld door max score is de moeilijkheidgraad van een item De gemiddelde score is de som van alle scores, gedeeld door het aantal deelnemers (bijv. 2,7). De maximale cijfer is bijv. 5. Dan is de moeilijkheidsgraad (de p=waarde) van het item tentamen 2,7/5=0,54 , d.w.z. aan de redelijk kant, want de normen zijn. (lage op-waarde is moeilijk, hoge p-waarde is makkelijk) P-waarde bij mc-vragen P-waarde is de proportie van studenten die het goede alternatief hebben gekozen. Bijv. 60 van de 80 studenten hebben het goede alternatief gekozen, dan is de p-waarde 0,75 Normen voor p-waarden bij openvragen en bij mc-vragen 2 alternatieven 0.75 = (1+0,5)/2 = 0,75 3 alternatieven 0,68 = (1+0,33)/2=0,68 4 alternatieven 0,63 = (1+0,25)/2=0,63 5 alternatieven 0,60 = (1+0,20)/2= 0,60 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

3. Onderscheidingsvermogen Toetsvragen moeten onderscheid maken tussen studenten met een hoge en lage eindscore (hoog- resp. laagscoorders)  wanneer hoogscoorders beter scoren op een vraag dan laagscoorders, is er sprake van een positieve correlatie tussen item- en totaalscore. item-testcorrelatie; bij meer dan 25 vragen item-restcorrelatie; bij minder dan 25 vragen NB: Stabiliteit item-testcorrelatie afhankelijk van aantal toetsdeelnemers; wanneer <50 dan item-testcorrelatie voorzichtig interpreteren! Bij toets met minder dan 25 vragen moet item waarvan we het onderscheidend vermogen willen weten uit de totale testscore gehaald worden, omdat die anders te veel invloed uitoefent op de uitkomst. Item-test (vraag en totale test) versus Item-rest (vraag en [totale test minus item zelf] ) 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Onderscheidingsvermogen Overzicht normen voor het onderscheidingsvermogen (item-testcorrelatie) Gevonden waarden Kwalificatie 0,35 en hoger 0,25 - 0,35 0,15 - 0,25 Minder dan 0,15 Goed/zeer goed Voldoende/goed Middelmatig/voldoende Slecht/middelmatig Meer dan 50 deelnemers en meer dan 25 vragen; indien kleiner aanral deelnemers of vragen dan voorzichtig zijn met interpretatie van de resultaten !! Negatieve item-testcorrelatie betekent dat de laagscoorders beter presteren op dit item dan de hoogscoorders. Dan is er echt iets aan de hand. 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Psychometrische analyse Bij afwijken van “de norm”: inhoud van de vraag opnieuw bestuderen, eventueel “reparatie”: Item achteraf uit de toets verwijderen Item verwijderen en score aanpassen Modelantwoord wijzigen NB: Psychometrische normen en uitkomsten vormen indicaties! 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Reparatiemogelijkheden Indien Cronbach’s α kleiner dan 0,70: Risico op te veel onjuiste zak/slaagbeslissingen Mogelijk negatieve item-testcorrelaties Reparatie: Vraag uit toets verwijderen (als daar inhoudelijk gezien aanleiding toe is) Betrouwbaarheidsanalyse op subsets van items: bijv. op alle kennisvragen, inzichtvragen, en toepassingsvragen (voor zover van toepassing); als deze afzonderlijke α’s wel voldoende hoog zijn is er geen probleem. Echter: kleiner aantal items heeft negatieve invloed op α ... 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Voorbeeld: Tentamen uit 2010 * Dit voorbeeld incl. volgende 4 slides + slide 44 is ontleend aan een op 23 mrt ’11 door Peter de Vries (examencommissie Psychologie) verzorgde bijeenkomst over toetsanalyse voor GW-docenten. http://www.utwente.nl/toetsing/nieuwsberichten-Toetsing/Toetsanalyse-Tentam-workshop-GW/ 25 meerkeuze vragen, 6 open vragen (weging 40 : 60) gemiddelde cijfer: 7,05 (SD = 1,51) aantal studenten: 17 (klein, want < 50) 3 onvoldoendes (≈ 18 %)  wellicht wat aan de makkelijke kant… cijferverdeling: 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Peter de Vries (examencommissie Psychologie)

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Voorbeeld 2 sets psychometrische analyses, voor MC en OV. 0 of 1 punt voor MC-vragen: voor OV ligt score tussen 0 en 1 16/2/2012 Peter de Vries (examencommissie Psychologie) Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Voorbeeld Output open vragen: p-waarden α als 1 van de items verwijderd zou worden α (is wat laag …) Item-restcorrelaties Peter de Vries (examencommissie Psychologie) 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Voorbeeld Output meerkeuzevragen: p-waarde = 1 voor vragen 1, 11, 14, en 16; deze worden daarom niet meegenomen. α (is wederom laag …) p-waarden zijn gespreid 16/2/2012 Peter de Vries (examencommissie Psychologie) Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Voorbeeld Output meerkeuzevragen: Item-restcorrelaties laten een aantal lage waarden zien… …maar deze is wel erg laag… α springt naar 0,66 als dit item verwijderd zou worden; inspectie van de vraag geeft ook aanleiding daartoe… 16/2/2012 Peter de Vries (examencommissie Psychologie) Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Voorbeeld Verwijdering van MC25 is op inhoudelijke gronden verdedigbaar. Herhaling van de analyses levert de volgende gegevens (α = 0,66): α zou nog verder verhoogd kunnen worden, maar is er wel iets mis met deze vraag? En blijven er wel voldoende items over? 16/2/2012 Peter de Vries (examencommissie Psychologie) Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

CASUS Problemen verhelpen

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 1 Makkelijk vraag (p=0,91) ; geen onderscheid tussen goed- en slechtscoorders Rit=-0,03 W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 2: kijk goed naar vraag of die wel in hte tentamen past (moeilijk, lage Rit, missing data, spreiding over alternatieven) W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 3: goede p (=0,75), hoge Rit (=0,34); alternatief a goed bekijken en eventueel bijstellen, want wordt nu niet gekozen W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 4: moeilije vraag (lage p-waarde); Rit is o.k. ; beide afleiders zijn aanteekkelijk voor degenen die het niet weten W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 5: niets aan de hand W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 105: makkelijke vraag (hoge p), maar Rit klopt, dus handhaven W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 106: ideale p-waarde; alternatief c opnieuw bekijken W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 107 o.k; vraag 108 moeilijk maar o.k.; vraag 109 alterantief c heroverwegen W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Voorbeeld SPSS-syntax Run SPSS-syntax: RELIABILITY /VARIABLES=MC1 MC2 MC3 MC4 MC5 MC6 MC7 MC8 MC9 MC10 MC11 MC12 MC13 MC14 MC15 MC16 MC17 MC18 MC19 MC20 MC21 MC22 MC23 MC24 MC25 /SCALE('Meerkeuzevragen') ALL /MODEL=ALPHA /STATISTICS=DESCRIPTIVE SCALE CORR /SUMMARY=TOTAL. /VARIABLES=OV1 OV2 OV3 OV4 OV5 OV6 /SCALE('Open Vragen') ALL Voordeel: deze syntax levert niet alleen Cronbach’s α, maar ook p-waarden en item-restcorrelaties Peter de Vries (examencommissie Psychologie) 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies TENTAM Handleiding TENTAM (zie map) 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies OVERZICHT 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Resultaten: Scores 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Resultaten: Analyses 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Resultaten: Overig Ruwe data Correlatie matrix Frequentieverdeling (cijfers) Administratiebestand OSIRIS 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Bewaken van het eindniveau kwaliteitsborging afstudeertrajecten

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Accreditatie-eisen Worden alle eindkwalificaties getoetst? Toetsplan en toetsmatrijsen samen vepalen of je alles dekt op het juiste niveau Worden ze op de juiste manier getoetst? Betrouwbaar en transparant Niveau en beoordeling van afstudeerscripties  meesterproef, integrale toetsing  vraagt extra aandacht Het geheel is meer dan de som van de delen Eisen vanuit toetsconstructie  afstudeerhandleiding, procedures, externe beoordelaars, cum laudes e.d. Externe benchmarking 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

toetsanalyse evalueren

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies evaluatievragen Hoe vond je het tentamen? Moeilijk/makkelijk Was het tentamen representatief voor de leerstof? Ja/nee Was het tentamen te doen binnen de daarvoor bestemde tijd? Ja/nee Wist je wat je kon verwachten op het tentamen? Ja/nee 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Toetsanalyse Rapporteren vanuit examencommissie

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Toetsinformatie In hoeverre is het toetsplan uitgevoerd ? Is het goed uitgevoerd? Wie bewaakt het geheel? Welke procedure spreek je af met elkaar als leden van de examencommissie en met de opleidingsdirecteur en de docenten? 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Dossier van een vak Welke informatie heb jij nodig als examencommissielid? Vakbeschrijving Leerdoelen en niveau Toetsschema Toetsmatrijs Tentamen/opdracht Cesuur/ antwoordmodel Tentamenanalyse gegevens Resultaten (aanmeldingen, deelnemers, slaagpercentages) Evaluatieresultaten Bijzonderheden, klachten Reflectie en acties van de docent 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies actieplan Wat? Wie? deadline 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Tips en literatuur www.utwente.nl/toetsing www.score.hva.nl www.toetswijzer.nl Van Berkel, H., A. Bax (2006) Toetsen in het hoger onderwijs: Bohn Stafleu van Loghum Bender, W (2003) Toetsen in het hoger onderwijs Assen: Koninklijke Van Gorcum BV Dousma, T., Horsten, A., Brants, J. (1997) Tentamineren Groningen: Wolters-Noordhoff 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies