Download de presentatie
GepubliceerdErika Kok Laatst gewijzigd meer dan 10 jaar geleden
1
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
2
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Programma Oefening “Wat kan er misgaan?” Presentatie en casus “Toetsanalyse” “Toetsinformatie voor examencies” 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
3
Oefening “Wat kan er mis gaan rond een toets?“
Noem minstens 10 dingen ! Schrijf op ene geeltje En Plak op flipovervel onder: Validiteit Betrouwbaarheid Transparantie Efficiëntie 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
4
Bedreigingen van kwaliteit van toetsen
Geen goede afspiegeling van de leerstof: te weinig, onevenwichtige verdeling Er worden andere vaardigheden getoetst dan in de leerdoelen zijn aangegeven, bijvoorbeeld kennis i.p.v. toepassen De toets meet niet wat je wil meten: bijvoorbeeld via kennis handelingsbekwaamheid willen meten Te weinig vragen om goed beeld te krijgen Te weinig vragen om de leerstof te dekken Te weinig meerkeuzevragen om raadkans te compenseren Vragen zijn niet eenduidig 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
5
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
In metaforen gedacht… Validiteit Je wilt iemands lichaamslengte meten en gebruikt daarvoor een weegschaal Betrouwbaarheid Je wilt iemands lichaamslengte meten en gebruikt daarvoor een meetlint van elastiek 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
6
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Deelnemersmap CW/PSY Stappenplan docent voor toetsing vak HvA Stappenplan voor toetsing TENTAM handleiding Zelfevaluatie-instrument:kwaliteit toetsen (Horst/Metz) Casus: Toetsanalyse (Bender) Actieplan Slides presentatie Toetsanalyse 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
7
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Het totale proces Stappen in het toetsproces Ontwerp (toetsvormkeuze en toetsmatrijs) Constructie Afname Nakijken en beoordelen Analyse en evaluatie 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
8
Expertmodule 2: toetsconstructie
Stappen in het toetsontwerp Bepaal de leerdoelen Kies de toetsvorm Maak een toetsmatrijs Formuleer vragen Maak antwoordmodel Bepaal de scoring 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
9
Expertmodule 3: toetsanalyse
Toetsen beoordelen: vooraf procedures voor toetsconstructie Toetsen beoordelen: achteraf psychometrische gegevens evaluaties klachten Management-/toetsinformatie rapportages voor examencommissie jaarverslag van examencommissie 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
10
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Dossier van een vak Welke informatie heb jij nodig als examencommissielid? Vakbeschrijving Leerdoelen en niveau Toetsschema Toetsmatrijs Tentamen/opdracht Cesuur/ antwoordmodel Tentamenanalyse gegevens Resultaten (aanmeldingen, deelnemers, slaagpercentages) Evaluatieresultaten Bijzonderheden, klachten Reflectie en acties van de docent 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
11
Beoordelen van toetsmatrijs
Inventarisatie van onderwerpen Relatie tussen leerdoelen en toets 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
12
Expert module 3: Toetsanalyse
Nakijken en beoordelen Analyse en evaluatie
13
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Cesuur Cesuur = Grens voldoende/onvoldoende Absolute cesuur: hangt niet af van prestaties van de groep Vb. >= 55 punten is voldoende Relatieve cesuur: afhankelijk van hoe er gepresteerd is door de groep Vb. Bovenste 65% slaagt, aantal punten slechtste student van deze 65% is cesuur 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
14
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Cesuur-overwegingen Absoluut: Doelstellingen zijn vooraf bekend, criteria dus ook Vooral studenten zijn verantwoordelijk voor resultaat Gaat uit van ideale situatie Voor beide vormen geldt: denk aan de kwaliteitseis ‘transparantie’. De cesuurvorm moet kunnen worden beargumenteerd Relatief: Onderwijs en toets richten zich op toegelaten studenten Vooral docent is verantwoordelijk voor resultaat Speelt in op situatie 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
15
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Beantwoordingstijd Open vragen Antwoord-omvang 1 woord of zin 1 min. 0,25 p. (A4) 5 min. 0,5 p. (A4) 10 min. 1 p. (A4) 25 min. 2 pp. (A4) 60 min. Gesloten vragen Alternatieven Juist/onjuist 50 sec. 2 alternatieven 50 sec. 3 alternatieven 60 sec. 4/5 alternatieven 75 sec. Vergeet niet de leestijd! 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
16
Beoordelen mc-tentamen
Kwaliteit van de vragen (zie expertmodule 2: toetsconstructie) Aantal vragen: Bij enkel meerkeuzevragen geldt: 2-keuze: minimaal vragen 3-keuze: minimaal vragen 4-keuze: minimaal 40 vragen Bij een combinatie van open vragen en meerkeuzevragen kunnen dit er minder zijn. Vuistregel: hoe zwaarder de open vragen meewegen in de totale toets, des te minder MC-vragen nodig zijn. 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
17
Open vragen beoordelen
Zijn de normantwoorden vooraf vastgesteld ? Welke waardering krijgen afwijkende antwoorden ? Is het aantal punten van elk van de vragen of van de toetsonderdelen bepaald ? Zijn de tentamens anoniem nagekeken? Zijn twijfelgevallen door collega’s beoordeeld ? 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
18
Beoordelen van een casus
Casus zelf Is een realistische beroepspraktijk gebruikt ? Is de casus kort en concreet gehouden ? Is de benodigde informatie verstrekt ? Is de situatie zo objectief mogelijk geschetst ? Bijbehorende vragen Zijn heldere normantwoorden opgesteld ? Leiden de vragen naar de normantwoorden ? Zijn de vragen direct aan casus gerelateerd ? Zijn de vragen op essentiële elementen, beslissingen gericht ? 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
19
Psychometrische gegevens
Toetsanalyse Psychometrische gegevens Peter de Vries (examencommissie Psychologie)
20
Toetsen en beoordelen: achteraf
Representativiteit en validiteit: vooraf te bepalen m.b.v. de toetsmatrijs Achteraf: psychometrische analyses Betrouwbaarheid van de toets (Cronbach’s α ) Moeilijkheid van de vragen (p-waarde) Onderscheidingsvermogen van de vragen (Rit, Rir) 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
21
Betrouwbaarheid MC-toets
Hoe wordt betrouwbaarheid vastgesteld? Door statistische analyse: hoe sterk is de samenhang tussen resultaten van soortgelijke metingen? Binnen een toets Tussen toetsen (komt zelden voor) Van invloed op de betrouwbaarheid zijn: Aantal metingen Aantal toetsitems Formulering toetsvragen Formulering instructie geaccepteerde antwoorden Duidelijkheid beoordelingscriteria 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
22
Betrouwbaarheid toets: Cronbach’s α
stabiliteit/consistentie toets o.b.v. enkele afname Normwaarden betrouwbaarheid toets 0,90 en hoger zeer goed 0,80 - 0,90 voldoende/goed 0,70 - 0,80 middelmatig/voldoende Minder dan 0,70 slecht/middelmatig I.h.a. zijn betrouwbaarheden lager dan 0,60 niet acceptabel, maar: Psychometrische gegevens, en dus ook betrouwbaarheidsscores, zijn ter indicatie Lage aantallen items of studenten hebben een negatieve invloed. 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
23
2. Vraagmoeilijkheid : p-waarde
Open vraag: p-waarde = gemiddelde score op een vraag (proportie) Lage p-waarde: zeer moeilijke vraag Hoge p-waarde: zeer makkelijke vraag Idealiter: gemiddelde moeilijkheid, p = 0,5 P-waarde gesloten toetsvraag: proportie correct beantwoord. Idealiter: p-waarde ligt midden tussen de maximale p-waarde (1) en gokkans. 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
24
Vraagmoeilijkheid : p-waarde
Overzicht normen voor p-waarden bij (summatieve) toetsen Soort toetsvraag “Norm” voor de p-waarde Open (OV) 0,50 Gesloten (MC) 2 alternatieven 3 alternatieven 4 alternatieven 5 alternatieven 0,75 0,68 0,63 0,60 P-waarde bij open vragen: Gemiddeld cijfer gedeeld door max score is de moeilijkheidgraad van een item De gemiddelde score is de som van alle scores, gedeeld door het aantal deelnemers (bijv. 2,7). De maximale cijfer is bijv. 5. Dan is de moeilijkheidsgraad (de p=waarde) van het item tentamen 2,7/5=0,54 , d.w.z. aan de redelijk kant, want de normen zijn. (lage op-waarde is moeilijk, hoge p-waarde is makkelijk) P-waarde bij mc-vragen P-waarde is de proportie van studenten die het goede alternatief hebben gekozen. Bijv. 60 van de 80 studenten hebben het goede alternatief gekozen, dan is de p-waarde 0,75 Normen voor p-waarden bij openvragen en bij mc-vragen 2 alternatieven = (1+0,5)/2 = 0,75 3 alternatieven 0,68 = (1+0,33)/2=0,68 4 alternatieven 0,63 = (1+0,25)/2=0,63 5 alternatieven 0,60 = (1+0,20)/2= 0,60 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
25
3. Onderscheidingsvermogen
Toetsvragen moeten onderscheid maken tussen studenten met een hoge en lage eindscore (hoog- resp. laagscoorders) wanneer hoogscoorders beter scoren op een vraag dan laagscoorders, is er sprake van een positieve correlatie tussen item- en totaalscore. item-testcorrelatie; bij meer dan 25 vragen item-restcorrelatie; bij minder dan 25 vragen NB: Stabiliteit item-testcorrelatie afhankelijk van aantal toetsdeelnemers; wanneer <50 dan item-testcorrelatie voorzichtig interpreteren! Bij toets met minder dan 25 vragen moet item waarvan we het onderscheidend vermogen willen weten uit de totale testscore gehaald worden, omdat die anders te veel invloed uitoefent op de uitkomst. Item-test (vraag en totale test) versus Item-rest (vraag en [totale test minus item zelf] ) 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
26
Onderscheidingsvermogen
Overzicht normen voor het onderscheidingsvermogen (item-testcorrelatie) Gevonden waarden Kwalificatie 0,35 en hoger 0,25 - 0,35 0,15 - 0,25 Minder dan 0,15 Goed/zeer goed Voldoende/goed Middelmatig/voldoende Slecht/middelmatig Meer dan 50 deelnemers en meer dan 25 vragen; indien kleiner aanral deelnemers of vragen dan voorzichtig zijn met interpretatie van de resultaten !! Negatieve item-testcorrelatie betekent dat de laagscoorders beter presteren op dit item dan de hoogscoorders. Dan is er echt iets aan de hand. 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
27
Psychometrische analyse
Bij afwijken van “de norm”: inhoud van de vraag opnieuw bestuderen, eventueel “reparatie”: Item achteraf uit de toets verwijderen Item verwijderen en score aanpassen Modelantwoord wijzigen NB: Psychometrische normen en uitkomsten vormen indicaties! 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
28
Reparatiemogelijkheden
Indien Cronbach’s α kleiner dan 0,70: Risico op te veel onjuiste zak/slaagbeslissingen Mogelijk negatieve item-testcorrelaties Reparatie: Vraag uit toets verwijderen (als daar inhoudelijk gezien aanleiding toe is) Betrouwbaarheidsanalyse op subsets van items: bijv. op alle kennisvragen, inzichtvragen, en toepassingsvragen (voor zover van toepassing); als deze afzonderlijke α’s wel voldoende hoog zijn is er geen probleem. Echter: kleiner aantal items heeft negatieve invloed op α ... 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
29
Voorbeeld: Tentamen uit 2010
* Dit voorbeeld incl. volgende 4 slides + slide 44 is ontleend aan een op 23 mrt ’11 door Peter de Vries (examencommissie Psychologie) verzorgde bijeenkomst over toetsanalyse voor GW-docenten. 25 meerkeuze vragen, 6 open vragen (weging 40 : 60) gemiddelde cijfer: 7,05 (SD = 1,51) aantal studenten: 17 (klein, want < 50) 3 onvoldoendes (≈ 18 %) wellicht wat aan de makkelijke kant… cijferverdeling: 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Peter de Vries (examencommissie Psychologie)
30
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Voorbeeld 2 sets psychometrische analyses, voor MC en OV. 0 of 1 punt voor MC-vragen: voor OV ligt score tussen 0 en 1 16/2/2012 Peter de Vries (examencommissie Psychologie) Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
31
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Voorbeeld Output open vragen: p-waarden α als 1 van de items verwijderd zou worden α (is wat laag …) Item-restcorrelaties Peter de Vries (examencommissie Psychologie) 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
32
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Voorbeeld Output meerkeuzevragen: p-waarde = 1 voor vragen 1, 11, 14, en 16; deze worden daarom niet meegenomen. α (is wederom laag …) p-waarden zijn gespreid 16/2/2012 Peter de Vries (examencommissie Psychologie) Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
33
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Voorbeeld Output meerkeuzevragen: Item-restcorrelaties laten een aantal lage waarden zien… …maar deze is wel erg laag… α springt naar 0,66 als dit item verwijderd zou worden; inspectie van de vraag geeft ook aanleiding daartoe… 16/2/2012 Peter de Vries (examencommissie Psychologie) Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
34
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Voorbeeld Verwijdering van MC25 is op inhoudelijke gronden verdedigbaar. Herhaling van de analyses levert de volgende gegevens (α = 0,66): α zou nog verder verhoogd kunnen worden, maar is er wel iets mis met deze vraag? En blijven er wel voldoende items over? 16/2/2012 Peter de Vries (examencommissie Psychologie) Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
35
CASUS Problemen verhelpen
36
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 1 Makkelijk vraag (p=0,91) ; geen onderscheid tussen goed- en slechtscoorders Rit=-0,03 W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
37
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 2: kijk goed naar vraag of die wel in hte tentamen past (moeilijk, lage Rit, missing data, spreiding over alternatieven) W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
38
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 3: goede p (=0,75), hoge Rit (=0,34); alternatief a goed bekijken en eventueel bijstellen, want wordt nu niet gekozen W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
39
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 4: moeilije vraag (lage p-waarde); Rit is o.k. ; beide afleiders zijn aanteekkelijk voor degenen die het niet weten W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
40
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 5: niets aan de hand W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
41
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 105: makkelijke vraag (hoge p), maar Rit klopt, dus handhaven W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
42
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 106: ideale p-waarde; alternatief c opnieuw bekijken W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
43
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 107 o.k; vraag 108 moeilijk maar o.k.; vraag 109 alterantief c heroverwegen W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
44
Voorbeeld SPSS-syntax
Run SPSS-syntax: RELIABILITY /VARIABLES=MC1 MC2 MC3 MC4 MC5 MC6 MC7 MC8 MC9 MC10 MC11 MC12 MC13 MC14 MC15 MC16 MC17 MC18 MC19 MC20 MC21 MC22 MC23 MC24 MC25 /SCALE('Meerkeuzevragen') ALL /MODEL=ALPHA /STATISTICS=DESCRIPTIVE SCALE CORR /SUMMARY=TOTAL. /VARIABLES=OV1 OV2 OV3 OV4 OV5 OV6 /SCALE('Open Vragen') ALL Voordeel: deze syntax levert niet alleen Cronbach’s α, maar ook p-waarden en item-restcorrelaties Peter de Vries (examencommissie Psychologie) 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
45
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
TENTAM Handleiding TENTAM (zie map) 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
46
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
OVERZICHT 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
47
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Resultaten: Scores 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
48
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Resultaten: Analyses 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
49
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Resultaten: Overig Ruwe data Correlatie matrix Frequentieverdeling (cijfers) Administratiebestand OSIRIS 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
50
Bewaken van het eindniveau
kwaliteitsborging afstudeertrajecten
51
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Accreditatie-eisen Worden alle eindkwalificaties getoetst? Toetsplan en toetsmatrijsen samen vepalen of je alles dekt op het juiste niveau Worden ze op de juiste manier getoetst? Betrouwbaar en transparant Niveau en beoordeling van afstudeerscripties meesterproef, integrale toetsing vraagt extra aandacht Het geheel is meer dan de som van de delen Eisen vanuit toetsconstructie afstudeerhandleiding, procedures, externe beoordelaars, cum laudes e.d. Externe benchmarking 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
52
toetsanalyse evalueren
53
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
evaluatievragen Hoe vond je het tentamen? Moeilijk/makkelijk Was het tentamen representatief voor de leerstof? Ja/nee Was het tentamen te doen binnen de daarvoor bestemde tijd? Ja/nee Wist je wat je kon verwachten op het tentamen? Ja/nee 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
54
Toetsanalyse Rapporteren vanuit examencommissie
55
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Toetsinformatie In hoeverre is het toetsplan uitgevoerd ? Is het goed uitgevoerd? Wie bewaakt het geheel? Welke procedure spreek je af met elkaar als leden van de examencommissie en met de opleidingsdirecteur en de docenten? 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
56
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Dossier van een vak Welke informatie heb jij nodig als examencommissielid? Vakbeschrijving Leerdoelen en niveau Toetsschema Toetsmatrijs Tentamen/opdracht Cesuur/ antwoordmodel Tentamenanalyse gegevens Resultaten (aanmeldingen, deelnemers, slaagpercentages) Evaluatieresultaten Bijzonderheden, klachten Reflectie en acties van de docent 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
57
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
actieplan Wat? Wie? deadline 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
58
Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Tips en literatuur Van Berkel, H., A. Bax (2006) Toetsen in het hoger onderwijs: Bohn Stafleu van Loghum Bender, W (2003) Toetsen in het hoger onderwijs Assen: Koninklijke Van Gorcum BV Dousma, T., Horsten, A., Brants, J. (1997) Tentamineren Groningen: Wolters-Noordhoff 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Verwante presentaties
© 2024 SlidePlayer.nl Inc.
All rights reserved.