De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

Verwante presentaties


Presentatie over: "Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies"— Transcript van de presentatie:

1 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

2 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Programma Oefening “Wat kan er misgaan?” Presentatie en casus “Toetsanalyse” “Toetsinformatie voor examencies” 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

3 Oefening “Wat kan er mis gaan rond een toets?“
Noem minstens 10 dingen ! Schrijf op ene geeltje En Plak op flipovervel onder: Validiteit Betrouwbaarheid Transparantie Efficiëntie 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

4 Bedreigingen van kwaliteit van toetsen
Geen goede afspiegeling van de leerstof: te weinig, onevenwichtige verdeling Er worden andere vaardigheden getoetst dan in de leerdoelen zijn aangegeven, bijvoorbeeld kennis i.p.v. toepassen De toets meet niet wat je wil meten: bijvoorbeeld via kennis handelingsbekwaamheid willen meten Te weinig vragen om goed beeld te krijgen Te weinig vragen om de leerstof te dekken Te weinig meerkeuzevragen om raadkans te compenseren Vragen zijn niet eenduidig 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

5 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
In metaforen gedacht… Validiteit Je wilt iemands lichaamslengte meten en gebruikt daarvoor een weegschaal Betrouwbaarheid Je wilt iemands lichaamslengte meten en gebruikt daarvoor een meetlint van elastiek 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

6 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Deelnemersmap CW/PSY Stappenplan docent voor toetsing vak HvA Stappenplan voor toetsing TENTAM handleiding Zelfevaluatie-instrument:kwaliteit toetsen (Horst/Metz) Casus: Toetsanalyse (Bender) Actieplan Slides presentatie Toetsanalyse 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

7 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Het totale proces Stappen in het toetsproces Ontwerp (toetsvormkeuze en toetsmatrijs) Constructie Afname Nakijken en beoordelen Analyse en evaluatie 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

8 Expertmodule 2: toetsconstructie
Stappen in het toetsontwerp Bepaal de leerdoelen Kies de toetsvorm Maak een toetsmatrijs Formuleer vragen Maak antwoordmodel Bepaal de scoring 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

9 Expertmodule 3: toetsanalyse
Toetsen beoordelen: vooraf procedures voor toetsconstructie Toetsen beoordelen: achteraf psychometrische gegevens evaluaties klachten Management-/toetsinformatie rapportages voor examencommissie jaarverslag van examencommissie 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

10 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Dossier van een vak Welke informatie heb jij nodig als examencommissielid? Vakbeschrijving Leerdoelen en niveau Toetsschema Toetsmatrijs Tentamen/opdracht Cesuur/ antwoordmodel Tentamenanalyse gegevens Resultaten (aanmeldingen, deelnemers, slaagpercentages) Evaluatieresultaten Bijzonderheden, klachten Reflectie en acties van de docent 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

11 Beoordelen van toetsmatrijs
Inventarisatie van onderwerpen Relatie tussen leerdoelen en toets 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

12 Expert module 3: Toetsanalyse
Nakijken en beoordelen Analyse en evaluatie

13 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Cesuur Cesuur = Grens voldoende/onvoldoende Absolute cesuur: hangt niet af van prestaties van de groep Vb. >= 55 punten is voldoende Relatieve cesuur: afhankelijk van hoe er gepresteerd is door de groep Vb. Bovenste 65% slaagt, aantal punten slechtste student van deze 65% is cesuur 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

14 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Cesuur-overwegingen Absoluut: Doelstellingen zijn vooraf bekend, criteria dus ook Vooral studenten zijn verantwoordelijk voor resultaat Gaat uit van ideale situatie Voor beide vormen geldt: denk aan de kwaliteitseis ‘transparantie’. De cesuurvorm moet kunnen worden beargumenteerd Relatief: Onderwijs en toets richten zich op toegelaten studenten Vooral docent is verantwoordelijk voor resultaat Speelt in op situatie 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

15 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Beantwoordingstijd Open vragen Antwoord-omvang 1 woord of zin 1 min. 0,25 p. (A4) 5 min. 0,5 p. (A4) 10 min. 1 p. (A4) 25 min. 2 pp. (A4) 60 min. Gesloten vragen Alternatieven Juist/onjuist 50 sec. 2 alternatieven 50 sec. 3 alternatieven 60 sec. 4/5 alternatieven 75 sec. Vergeet niet de leestijd! 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

16 Beoordelen mc-tentamen
Kwaliteit van de vragen (zie expertmodule 2: toetsconstructie) Aantal vragen: Bij enkel meerkeuzevragen geldt: 2-keuze: minimaal vragen 3-keuze: minimaal vragen 4-keuze: minimaal 40 vragen Bij een combinatie van open vragen en meerkeuzevragen kunnen dit er minder zijn. Vuistregel: hoe zwaarder de open vragen meewegen in de totale toets, des te minder MC-vragen nodig zijn. 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

17 Open vragen beoordelen
Zijn de normantwoorden vooraf vastgesteld ? Welke waardering krijgen afwijkende antwoorden ? Is het aantal punten van elk van de vragen of van de toetsonderdelen bepaald ? Zijn de tentamens anoniem nagekeken? Zijn twijfelgevallen door collega’s beoordeeld ? 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

18 Beoordelen van een casus
Casus zelf Is een realistische beroepspraktijk gebruikt ? Is de casus kort en concreet gehouden ? Is de benodigde informatie verstrekt ? Is de situatie zo objectief mogelijk geschetst ? Bijbehorende vragen Zijn heldere normantwoorden opgesteld ? Leiden de vragen naar de normantwoorden ? Zijn de vragen direct aan casus gerelateerd ? Zijn de vragen op essentiële elementen, beslissingen gericht ? 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

19 Psychometrische gegevens
Toetsanalyse Psychometrische gegevens Peter de Vries (examencommissie Psychologie)

20 Toetsen en beoordelen: achteraf
Representativiteit en validiteit: vooraf te bepalen m.b.v. de toetsmatrijs Achteraf: psychometrische analyses Betrouwbaarheid van de toets (Cronbach’s α ) Moeilijkheid van de vragen (p-waarde) Onderscheidingsvermogen van de vragen (Rit, Rir) 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

21 Betrouwbaarheid MC-toets
Hoe wordt betrouwbaarheid vastgesteld? Door statistische analyse: hoe sterk is de samenhang tussen resultaten van soortgelijke metingen? Binnen een toets Tussen toetsen (komt zelden voor) Van invloed op de betrouwbaarheid zijn: Aantal metingen Aantal toetsitems Formulering toetsvragen Formulering instructie geaccepteerde antwoorden Duidelijkheid beoordelingscriteria 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

22 Betrouwbaarheid toets: Cronbach’s α
stabiliteit/consistentie toets o.b.v. enkele afname Normwaarden betrouwbaarheid toets 0,90 en hoger  zeer goed 0,80 - 0,90  voldoende/goed 0,70 - 0,80  middelmatig/voldoende Minder dan 0,70  slecht/middelmatig I.h.a. zijn betrouwbaarheden lager dan 0,60 niet acceptabel, maar: Psychometrische gegevens, en dus ook betrouwbaarheidsscores, zijn ter indicatie Lage aantallen items of studenten hebben een negatieve invloed. 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

23 2. Vraagmoeilijkheid : p-waarde
Open vraag: p-waarde = gemiddelde score op een vraag (proportie) Lage p-waarde: zeer moeilijke vraag Hoge p-waarde: zeer makkelijke vraag Idealiter: gemiddelde moeilijkheid, p = 0,5 P-waarde gesloten toetsvraag: proportie correct beantwoord. Idealiter: p-waarde ligt midden tussen de maximale p-waarde (1) en gokkans. 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

24 Vraagmoeilijkheid : p-waarde
Overzicht normen voor p-waarden bij (summatieve) toetsen Soort toetsvraag “Norm” voor de p-waarde Open (OV) 0,50 Gesloten (MC) 2 alternatieven 3 alternatieven 4 alternatieven 5 alternatieven 0,75 0,68 0,63 0,60 P-waarde bij open vragen: Gemiddeld cijfer gedeeld door max score is de moeilijkheidgraad van een item De gemiddelde score is de som van alle scores, gedeeld door het aantal deelnemers (bijv. 2,7). De maximale cijfer is bijv. 5. Dan is de moeilijkheidsgraad (de p=waarde) van het item tentamen 2,7/5=0,54 , d.w.z. aan de redelijk kant, want de normen zijn. (lage op-waarde is moeilijk, hoge p-waarde is makkelijk) P-waarde bij mc-vragen P-waarde is de proportie van studenten die het goede alternatief hebben gekozen. Bijv. 60 van de 80 studenten hebben het goede alternatief gekozen, dan is de p-waarde 0,75 Normen voor p-waarden bij openvragen en bij mc-vragen 2 alternatieven = (1+0,5)/2 = 0,75 3 alternatieven 0,68 = (1+0,33)/2=0,68 4 alternatieven 0,63 = (1+0,25)/2=0,63 5 alternatieven 0,60 = (1+0,20)/2= 0,60 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

25 3. Onderscheidingsvermogen
Toetsvragen moeten onderscheid maken tussen studenten met een hoge en lage eindscore (hoog- resp. laagscoorders)  wanneer hoogscoorders beter scoren op een vraag dan laagscoorders, is er sprake van een positieve correlatie tussen item- en totaalscore. item-testcorrelatie; bij meer dan 25 vragen item-restcorrelatie; bij minder dan 25 vragen NB: Stabiliteit item-testcorrelatie afhankelijk van aantal toetsdeelnemers; wanneer <50 dan item-testcorrelatie voorzichtig interpreteren! Bij toets met minder dan 25 vragen moet item waarvan we het onderscheidend vermogen willen weten uit de totale testscore gehaald worden, omdat die anders te veel invloed uitoefent op de uitkomst. Item-test (vraag en totale test) versus Item-rest (vraag en [totale test minus item zelf] ) 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

26 Onderscheidingsvermogen
Overzicht normen voor het onderscheidingsvermogen (item-testcorrelatie) Gevonden waarden Kwalificatie 0,35 en hoger 0,25 - 0,35 0,15 - 0,25 Minder dan 0,15 Goed/zeer goed Voldoende/goed Middelmatig/voldoende Slecht/middelmatig Meer dan 50 deelnemers en meer dan 25 vragen; indien kleiner aanral deelnemers of vragen dan voorzichtig zijn met interpretatie van de resultaten !! Negatieve item-testcorrelatie betekent dat de laagscoorders beter presteren op dit item dan de hoogscoorders. Dan is er echt iets aan de hand. 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

27 Psychometrische analyse
Bij afwijken van “de norm”: inhoud van de vraag opnieuw bestuderen, eventueel “reparatie”: Item achteraf uit de toets verwijderen Item verwijderen en score aanpassen Modelantwoord wijzigen NB: Psychometrische normen en uitkomsten vormen indicaties! 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

28 Reparatiemogelijkheden
Indien Cronbach’s α kleiner dan 0,70: Risico op te veel onjuiste zak/slaagbeslissingen Mogelijk negatieve item-testcorrelaties Reparatie: Vraag uit toets verwijderen (als daar inhoudelijk gezien aanleiding toe is) Betrouwbaarheidsanalyse op subsets van items: bijv. op alle kennisvragen, inzichtvragen, en toepassingsvragen (voor zover van toepassing); als deze afzonderlijke α’s wel voldoende hoog zijn is er geen probleem. Echter: kleiner aantal items heeft negatieve invloed op α ... 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

29 Voorbeeld: Tentamen uit 2010
* Dit voorbeeld incl. volgende 4 slides + slide 44 is ontleend aan een op 23 mrt ’11 door Peter de Vries (examencommissie Psychologie) verzorgde bijeenkomst over toetsanalyse voor GW-docenten. 25 meerkeuze vragen, 6 open vragen (weging 40 : 60) gemiddelde cijfer: 7,05 (SD = 1,51) aantal studenten: 17 (klein, want < 50) 3 onvoldoendes (≈ 18 %)  wellicht wat aan de makkelijke kant… cijferverdeling: 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Peter de Vries (examencommissie Psychologie)

30 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Voorbeeld 2 sets psychometrische analyses, voor MC en OV. 0 of 1 punt voor MC-vragen: voor OV ligt score tussen 0 en 1 16/2/2012 Peter de Vries (examencommissie Psychologie) Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

31 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Voorbeeld Output open vragen: p-waarden α als 1 van de items verwijderd zou worden α (is wat laag …) Item-restcorrelaties Peter de Vries (examencommissie Psychologie) 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

32 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Voorbeeld Output meerkeuzevragen: p-waarde = 1 voor vragen 1, 11, 14, en 16; deze worden daarom niet meegenomen. α (is wederom laag …) p-waarden zijn gespreid 16/2/2012 Peter de Vries (examencommissie Psychologie) Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

33 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Voorbeeld Output meerkeuzevragen: Item-restcorrelaties laten een aantal lage waarden zien… …maar deze is wel erg laag… α springt naar 0,66 als dit item verwijderd zou worden; inspectie van de vraag geeft ook aanleiding daartoe… 16/2/2012 Peter de Vries (examencommissie Psychologie) Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

34 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Voorbeeld Verwijdering van MC25 is op inhoudelijke gronden verdedigbaar. Herhaling van de analyses levert de volgende gegevens (α = 0,66): α zou nog verder verhoogd kunnen worden, maar is er wel iets mis met deze vraag? En blijven er wel voldoende items over? 16/2/2012 Peter de Vries (examencommissie Psychologie) Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

35 CASUS Problemen verhelpen

36 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 1 Makkelijk vraag (p=0,91) ; geen onderscheid tussen goed- en slechtscoorders Rit=-0,03 W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

37 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 2: kijk goed naar vraag of die wel in hte tentamen past (moeilijk, lage Rit, missing data, spreiding over alternatieven) W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

38 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 3: goede p (=0,75), hoge Rit (=0,34); alternatief a goed bekijken en eventueel bijstellen, want wordt nu niet gekozen W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

39 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 4: moeilije vraag (lage p-waarde); Rit is o.k. ; beide afleiders zijn aanteekkelijk voor degenen die het niet weten W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

40 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 5: niets aan de hand W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

41 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 105: makkelijke vraag (hoge p), maar Rit klopt, dus handhaven W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

42 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 106: ideale p-waarde; alternatief c opnieuw bekijken W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

43 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Casus vraag sleutel p-waarde Rit misdat a b c 1 2 0,91 -0,03 0,0 0,04 0,05 0,35 1,5 0,39 0,26 3 0,75 0,34 0,03 0,22 4 0,20 0,29 0,45 5 0,52 0,15 0,24 .. 105 0,92 106 0,66 0,33 0,01 107 0,72 0,13 108 0,28 0,48 0,25 0,27 109 0,86 0,30 0,14 0,00 Vraag 107 o.k; vraag 108 moeilijk maar o.k.; vraag 109 alterantief c heroverwegen W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

44 Voorbeeld SPSS-syntax
Run SPSS-syntax: RELIABILITY /VARIABLES=MC1 MC2 MC3 MC4 MC5 MC6 MC7 MC8 MC9 MC10 MC11 MC12 MC13 MC14 MC15 MC16 MC17 MC18 MC19 MC20 MC21 MC22 MC23 MC24 MC25 /SCALE('Meerkeuzevragen') ALL /MODEL=ALPHA /STATISTICS=DESCRIPTIVE SCALE CORR /SUMMARY=TOTAL. /VARIABLES=OV1 OV2 OV3 OV4 OV5 OV6 /SCALE('Open Vragen') ALL Voordeel: deze syntax levert niet alleen Cronbach’s α, maar ook p-waarden en item-restcorrelaties Peter de Vries (examencommissie Psychologie) 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

45 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
TENTAM Handleiding TENTAM (zie map) 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

46 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
OVERZICHT 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

47 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Resultaten: Scores 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

48 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Resultaten: Analyses 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

49 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Resultaten: Overig Ruwe data Correlatie matrix Frequentieverdeling (cijfers) Administratiebestand OSIRIS 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

50 Bewaken van het eindniveau
kwaliteitsborging afstudeertrajecten

51 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Accreditatie-eisen Worden alle eindkwalificaties getoetst? Toetsplan en toetsmatrijsen samen vepalen of je alles dekt op het juiste niveau Worden ze op de juiste manier getoetst? Betrouwbaar en transparant Niveau en beoordeling van afstudeerscripties  meesterproef, integrale toetsing  vraagt extra aandacht Het geheel is meer dan de som van de delen Eisen vanuit toetsconstructie  afstudeerhandleiding, procedures, externe beoordelaars, cum laudes e.d. Externe benchmarking 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

52 toetsanalyse evalueren

53 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
evaluatievragen Hoe vond je het tentamen? Moeilijk/makkelijk Was het tentamen representatief voor de leerstof? Ja/nee Was het tentamen te doen binnen de daarvoor bestemde tijd? Ja/nee Wist je wat je kon verwachten op het tentamen? Ja/nee 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

54 Toetsanalyse Rapporteren vanuit examencommissie

55 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Toetsinformatie In hoeverre is het toetsplan uitgevoerd ? Is het goed uitgevoerd? Wie bewaakt het geheel? Welke procedure spreek je af met elkaar als leden van de examencommissie en met de opleidingsdirecteur en de docenten? 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

56 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Dossier van een vak Welke informatie heb jij nodig als examencommissielid? Vakbeschrijving Leerdoelen en niveau Toetsschema Toetsmatrijs Tentamen/opdracht Cesuur/ antwoordmodel Tentamenanalyse gegevens Resultaten (aanmeldingen, deelnemers, slaagpercentages) Evaluatieresultaten Bijzonderheden, klachten Reflectie en acties van de docent 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

57 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
actieplan Wat? Wie? deadline 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

58 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies
Tips en literatuur Van Berkel, H., A. Bax (2006) Toetsen in het hoger onderwijs: Bohn Stafleu van Loghum Bender, W (2003) Toetsen in het hoger onderwijs Assen: Koninklijke Van Gorcum BV Dousma, T., Horsten, A., Brants, J. (1997) Tentamineren Groningen: Wolters-Noordhoff 16/2/2012 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies


Download ppt "Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies"

Verwante presentaties


Ads door Google