Item analyse Item-Moeilijkheidsindex Item-Betrouwbaarheidsindex

Presentatie over: "Item analyse Item-Moeilijkheidsindex Item-Betrouwbaarheidsindex"— Transcript van de presentatie:

1 Item analyse Item-Moeilijkheidsindex Item-Betrouwbaarheidsindex
Item-Validiteitsindex Karakteristieke curve Discriminatieindex

2 Item-Moeilijkheidsindex pi
pi = proportie deelnemers uit referentiegroep die item correct hebben Of "waar" "ja" … Representatieve steekpoef van doelpopulatie Vuistregel: voor een optimaal item geldt: pi » 0.5, en zeker 0.3 £ pi £ 0.7 Referentiegroep deelnemers aan ingangsexamen eliteuniversiteit impliceert moeilijker items die in "gewone" populatie een te hoge pi hebben

3 Item-Moeilijkheidsindex bij meerkeuze-items
Meerkeuze-item met 2 alternatieven geeft een kans op en "juiste gok" van 0.5 Þ optimale moeilijkheidsindex (pi optimaal) is 0.75 (midden tussen .5 en 1.0) Algemeen: Voorbeeld: 4 alternatieven: pi optimaal = .63 Kans op "juiste gok"

4 Item-Betrouwbaarheidsindex
Correlatie tussen item en test Samenhang van item met (de rest van) de test » riT = gewone correlatie tussen item en de schaal) Indien binair item: punt-biseriële correlatiecoëfficiënt: Standaarddeviatie van itemscores Spreiding van itemscores is sterk verbonden met moeilijkheidsgraad en bepaalt het nut van een item: Beste items hebben zo hoog mogelijke riT en si: Item-Betrouwbaarheidsindex

5 Validiteitsindex Correlatie tussen item en criterium
Samenhang van item met criterium » riC = correlatie tussen item en criterium Beste items hebben hoge riT en si: Item-Betrouwbaarheidsindex:

6 Items met beste criterium-validiteit selecteren
0.5 0.5 Beste items:

7 Item Karakteristieke curve (ICC)
1 P(correct) Ideaal om sterke kandidaten te selecteren Niveau van vaardigheid Goed item : ICC stijgt, vorm » ogief ICC is specifiek voor onderzochte groep Onderliggende theorie = IRT (Item-Response theorie en Latente trekken theorie)

8 Item-Discriminatieindex
Visuele inspectie van ICC is niet nauwkeurig, behoefte aan statistische grootheden, oa. riT Item-Discriminatieindex Vergelijkt itemscores van (bvb. 27%) deelnemers met hoogste totale scores (U of UPPER) met die van (27%) deelnemers met laagste totale scores (L of LOWER) U = Aantal hoogscorers L = Aantal laagscorers (L=U) Uc = Hoogscorers met item correct Lc = Laagscorers met item correct

9 Item-Discriminatieindex - voorbeelden
U = L = 100 Item Uc Lc d INTERPRETATIE 1 49 23 .26 Zeer goed item, moeilijk 2 79 19 .60 Excellent item, zelden bereikt 3 52 0.00 Slecht item: herzien 4 100 1.00 Ideaal, onbereikbaar 5 20 80 -.60 Zeer slecht item, verwijderen 6 -1.00 Theoretisch slechtst mogelijk

10 Item-analyse van meerkeuze-items
b c* (1) d e Hoogscorers 5 6 80 4 Laagscorers 15 14 40 16 Gewenst patroon, afleiders ongeveer even populair, correct duidelijk meer hoogscorers Item 2 a b * c d e Hoogscorers 5 75 10 Laagscorers 21 34 20 25 Alternatief d werd ooit gekozen en moet dus vervangen worden door een aantrekkelijker Item 3 a b c d * e Hoogscorers 43 6 5 37 9 Laagscorers 20 19 22 10 25 Alternatief a is slecht omdat het al te vaak werd gekozen (1) het correcte alternatief wordt telkens aangeduid met *