De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Screening van toetsen: Psychometrische analyse Peter de Vries Examencommissie Psy/MPS 23 maart 2011.

Verwante presentaties


Presentatie over: "Screening van toetsen: Psychometrische analyse Peter de Vries Examencommissie Psy/MPS 23 maart 2011."— Transcript van de presentatie:

1 Screening van toetsen: Psychometrische analyse Peter de Vries Examencommissie Psy/MPS 23 maart 2011

2 Psychometrische analyse Toets: bepalen welke studenten de stof beheersen en welke niet (summatieve functie).  Representativiteit en validiteit: vooraf te bepalen m.b.v. o.m. toetsmatrijs  Naderhand: psychometrische analyses  Moeilijkheid van de vragen  Onderscheidingsvermogen van de vragen  Betrouwbaarheid van de toets

3 Psychometrische analyse Bij afwijken van “de norm”: inhoud van de vraag opnieuw bestuderen, eventueel “reparatie”:  Item achteraf uit de toets verwijderen  Item verwijderen en score aanpassen  Modelantwoord wijzigen NB: Psychometrische normen en uitkomsten vormen indicaties!

4 Vraagmoeilijkheid : p-waarde Open vraag: p-waarde = gemiddelde score op een vraag (proportie)  Lage p-waarde: zeer moeilijke vraag  Hoge p-waarde: zeer makkelijke vraag  Idealiter: gemiddelde moeilijkheid, p = 0,5 P-waarde gesloten toetsvraag: proportie correct beantwoord.  Idealiter: p-waarde ligt midden tussen de maximale p-waarde (1) en gokkans.

5 Vraagmoeilijkheid : p-waarde Overzicht normen voor p-waarden bij (summatieve) toetsen Soort toetsvraag “Norm” voor de p-waarde Open (OV)0,50 Gesloten (MC)2 alternatieven 3 alternatieven 4 alternatieven 5 alternatieven 0,75 0,68 0,63 0,60

6 Onderscheidingsvermogen: item-testcorelatie of item- restcorrelatie Toetsvragen moeten onderscheid maken tussen studenten met een hoge en lage eindscore (hoog- resp. laagscoorders)  wanneer hoogscoorders beter scoren op een vraag dan laagscoorders, is er sprake van een positieve correlatie tussen item- en totaalscore.  item-testcorrelatie; bij minder dan 25 vragen item-restcorrelatie [bij gebruik van SPSS is item-restcorrelaties aan te bevelen ongeacht aantal vragen] NB: Stabiliteit item-testcorrelatie afhankelijk van aantal toetsdeelnemers; wanneer <50 dan item-testcorrelatie voorzichtig interpreteren!

7 Onderscheidingsvermogen: item-testcorelatie of item- restcorrelatie Overzicht normen voor het onderscheidingsvermogen (item-testcorrelatie) Gevonden waarden Kwalificatie 0,35 en hoger 0,25 - 0,35 0,15 - 0,25 Minder dan 0,15 Goed/zeer goed Voldoende/goed Middelmatig/voldoende Slecht/middelmatig

8 Betrouwbaarheid toets: Cronbach’s α Cronbach’s α: stabiliteit/consistentie toets o.b.v. enkele afname Normwaarden betrouwbaarheid toets  0,90 en hoger  zeer goed  0,80 - 0,90  voldoende/goed  0,70 - 0,80  middelmatig/voldoende  Minder dan 0,70  slecht/middelmatig I.h.a. zijn betrouwbaarheden lager dan 0,60 niet acceptabel. Echter:  Psychometrische gegevens, en dus ook betrouwbaarheidsscores, zijn ter indicatie  Lage aantallen items of studenten hebben een negatieve invloed.

9 Reparatiemogelijkheden Mogelijkheden om psychometrische kwaliteit te verhogen op basis van lage p-waarden en item-testcorrelaties:  Vraag anders sleutelen  Antwoordopties herzien (als daar reden toe is)  Vraag verwijderen  Verbetering van vragen “meenemen voor een volgend tentamen”

10 Reparatiemogelijkheden Indien Cronbach’s α kleiner dan 0,70:  Risico op te veel onjuiste zak/slaagbeslissingen  Mogelijk negatieve item-testcorrelaties Reparatie:  Vraag uit toets verwijderen (als daar inhoudelijk gezien aanleiding toe is)  Betrouwbaarheidsanalyse op subsets van items: bijv. op alle kennisvragen, inzichtvragen, en toepassingsvragen (voor zover van toepassing); als deze afzonderlijke α’s wel voldoende hoog zijn is er geen probleem. Echter: kleiner aantal items heeft negatieve invloed op α...

11 Reparatiemogelijkheden Indien Cronbach’s α tussen 0,70 en 0,80:  Acceptabel indien gecompenseerd door andere toetsscore  Verwijderen items met negatieve item-testcorrelatie  Analyse op subsets uitvoeren.

12 Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010) 25 meerkeuze vragen, 6 open vragen (weging 40 : 60) Gemiddelde cijfer: 7,05 (SD = 1,51) Aantal studenten: 17 (klein, want < 50) 3 onvoldoendes (≈ 18 %)  wellicht wat aan de makkelijke kant… Cijferverdeling:

13 Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010) 2 sets psychometrische analyses, voor MC en OV. Bewerking: 0 of 1 punt voor MCvragen: voor OV ligt score tussen 0 en 1 Invoeren in SPSS.

14 Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010) Run SPSS-syntax: RELIABILITY /VARIABLES=MC1 MC2 MC3 MC4 MC5 MC6 MC7 MC8 MC9 MC10 MC11 MC12 MC13 MC14 MC15 MC16 MC17 MC18 MC19 MC20 MC21 MC22 MC23 MC24 MC25 /SCALE('Meerkeuzevragen') ALL /MODEL=ALPHA /STATISTICS=DESCRIPTIVE SCALE CORR /SUMMARY=TOTAL. RELIABILITY /VARIABLES=OV1 OV2 OV3 OV4 OV5 OV6 /SCALE('Open Vragen') ALL /MODEL=ALPHA /STATISTICS=DESCRIPTIVE SCALE CORR /SUMMARY=TOTAL. Voordeel: deze syntax levert niet alleen Cronbach’s α, maar ook p- waarden en item-restcorrelaties

15 Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010) Output open vragen: α (is wat laag …) p-waarden Item-restcorrelaties α als 1 van de items verwijderd zou worden

16 Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010) Output meerkeuzevragen: p-waarde = 1 voor vragen 1, 11, 14, en 16; deze worden daarom niet meegenomen. α (is wederom laag …) p-waarden zijn gespreid

17 Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010) Output meerkeuzevragen: Item- restcorrelaties laten een aantal lage waarden zien… …maar deze is wel erg laag… α springt naar 0,66 als dit item verwijderd zou worden; inspectie van de vraag geeft ook aanleiding daartoe…

18 Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010) Verwijdering van MC25 is op inhoudelijke gronden verdedigbaar. Herhaling van de analyses levert de volgende gegevens (α = 0,66): α zou nog verder verhoogd kunnen worden, maar is er wel iets mis met deze vraag? En blijven er wel voldoende items over?

19 Tot slot Niet onbelangrijk:  Psychometrische gegevens zijn slechts ter indicatie  Lage aantallen items hebben een negatieve invloed op de analyses  Idem voor lage aantallen studenten  Psychometrisch analyseren betekent vaak kiezen tussen twee kwaden; verwijdering van items kan weliswaar tot betere analyseresultaten leiden, maar daardoor kan ook bijv. de representativiteit in het gedrang komen…

20 Vragen?


Download ppt "Screening van toetsen: Psychometrische analyse Peter de Vries Examencommissie Psy/MPS 23 maart 2011."

Verwante presentaties


Ads door Google