Kwaliteitsanalyse van toetsen: betrouwbaarheid

Presentatie over: "Kwaliteitsanalyse van toetsen: betrouwbaarheid"— Transcript van de presentatie:

1 Kwaliteitsanalyse van toetsen: betrouwbaarheid
Les 4 Toetsen en toetsconstructie

2 Onderwerpen De volgende onderwerpen worden in deze les behandeld:
Betrouwbaarheid van een toets Psychometrische analyse van betrouwbaarheid Onderwijskundige analyse van betrouwbaarheid

3 Leerdoelen Na het bestuderen van de theorie en het afronden van deze les kunt u: via een psychometrische analyse de betrouwbaarheid van een toets vaststellen. (4) aan de hand van psychometrische gegevens conclusies trekken over de kwaliteit van de toets. (4) aanbevelingen doen die de betrouwbaarheid van toetsscores verhogen. (4, 5)

4 Voorbereiding leest u 3 en 4 uit het boek Toetsen op school.
maakt u de opdrachten bij deze les.

5 Mindmap Kernbegrippen die in de mindmap centraal moeten staan zijn:
Validiteit Betrouwbaarheid Moeilijkheid Wat is de relatie met toetsing en evaluatie U maakt een mindmap voor de begrippen Validiteit, Betrouwbaarheid en Moeilijkheid. Geef in de mindmap weer hoe deze begrippen aan elkaar gerelateerd zijn en met welke andere begrippen ze verbonden zijn. Schrijf een toelichting op uw mindmap. Voor deze opdracht kunt u gebruik maken van de literatuur, maar ook van websites en andere bronnen. Werk deze opdracht uit op 1 A4’tje. Upload uw bevindingen via e- Connect. Reageer ook op de bijdragen van uw medestudenten

6 Psychometrisch doorlichten van een toets
Beantwoord na uw rekenkundige bewerking de volgende vragen. Wat is het gemiddelde, de P-waarde, de variantie en de standaardafwijking van de   toetsscores? Gebruik de rekenvoorbeelden in 3.1. Hoe hoog is de betrouwbaarheid van de toets (gebruik de formule 3.1). Welke conclusies trekt u over de betrouwbaarheid van deze toets? Onderbouw dit met argumenten. Welke verklaringen hebt u voor een eventuele lage of tegenvallende betrouwbaarheid? Welke aanbevelingen kunt u doen ter verhoging van de betrouwbaarheid?

7 Praktijkopdracht: betrouwbaar toetsen
Hoe kunt u psychometrie inzetten in uw eigen lespraktijk? In deze opdracht maakt u een vragenlijst die in tegenstelling tot de vorige opdracht  een randvoorwaardelijke invalshoek heeft. U gebruik daar wederom een toets voor. Dit kan dezelfde toets zijn als in de vorige opdracht. Dit kan een interessante vergelijking opleveren. In de vragenlijst neemt u aandachtspunten op die te maken hebben met psychometrie in de praktijk. Dat kunnen allerlei aandachtspunten zijn, bijvoorbeeld  afnamecondities, lengte van de toets, grootte van de doelgroep, soort vragen, meerdere beoordelaars etc. U maakt voor deze opdracht gebruik van alle bronnen die u tot uw beschikking heeft. In de boeken Toetsen op school  (hdfst. 3,4 en 10) vindt u de noodzakelijke informatie. Met behulp van deze vragenlijst komt u op aandachtspunten ter verbetering van de toetspraktijk. Uw vragenlijst + aanbevelingen bestaat uit 1 à 2 A4'tjes.

8 Statistiek Statistiek Statistiek Statistiek Statistiek

9 Statistiek Statistiek Statistiek Statistiek Statistiek

10 µ µ + σ Legenda µ = mu = standaard deviatie/afwijking σ = sigma
= gemiddelde

11 𝜏=𝑡𝑎𝑢 =ware score 𝑋 𝑗𝑎𝑛, 𝑣𝑎𝑛𝑑𝑎𝑎𝑔 = 𝜏 𝐽𝑎𝑛 + 𝐸 𝐽𝑎𝑛, 𝑣𝑎𝑛𝑑𝑎𝑎𝑔
Meetfout = alle verschil tussen de ware score en de huidige score 𝑋 𝑗𝑎𝑛, 𝑣𝑎𝑛𝑑𝑎𝑎𝑔 = 𝜏 𝐽𝑎𝑛 + 𝐸 𝐽𝑎𝑛, 𝑣𝑎𝑛𝑑𝑎𝑎𝑔 𝜏=𝑡𝑎𝑢 =ware score Voor alle studenten van een toets geldt: X = 𝜏 + E of X = T + E Klassieke testtheorie: Var(X) = Var(T) + Var(E) Formule voor betrouwbaarheid: 𝜌 = rho = betrouwbaarheid en dit is een getal tussen 0 en 1 𝜌= 𝑉𝑎𝑟(𝑇) 𝑉𝑎𝑟(𝑋) = 𝑉𝑎𝑟(𝑇) 𝑉𝑎𝑟 𝑇 +𝑉𝑎𝑟(𝐸) Echter kunnen we de variantie T niet berekenen omdat we de ware scores niet kennen. Interne-consistentiemethode  schatten m.b.v. Cronbach’s alfa: ∝= 𝑘 𝑘−1 1− 𝑖 𝑉𝑎𝑟( 𝑋 𝑖 ) 𝑉𝑎𝑟(𝑋) X = score en Error (meetfout) Var = variantie = afwijking vanaf het gemiddelde in kwadraat k=aantal items Tussen de haken staat de variantie van de geobserveerde toetsscores.

12 ∝= 𝑘 𝑘−1 1− 𝑖 𝑉𝑎𝑟( 𝑋 𝑖 ) 𝑉𝑎𝑟(𝑋)
∝= 𝑘 𝑘−1 1− 𝑖 𝑉𝑎𝑟( 𝑋 𝑖 ) 𝑉𝑎𝑟(𝑋) Cronbach’s alfa kan nu berekend worden en deze staat bekend als KR20. Dit is de betrouwbaarheidscoëfficiënt. Havo Engels 2009 tijdvak 1 totaal aantal vo-kandidaten 47648 steekproefgrootte 2353 aantal items 43 p’-waarde totale steekproef 0,64 (= gemiddelde score gedeeld door maximumscore  moeilijkheidsgraad) maximumscore 49 gemiddelde score 31,4 normeringsterm 0,4 gemiddeld cijfer 6,2 percentage onvoldoendes 28 standaardafwijking 6,7 betrouwbaarheid 0,83 standaardmeetfout 2,8

13 beneden de gemiddelde score;
Standaardafwijking • 68% van de scores zich tussen één standaardafwijking boven en één standaardafwijking beneden de gemiddelde score; • 90% van de scores zich tussen 1,645 standaardafwijking boven en 1,645 standaardafwijking • 95% van de scores zich tussen 1,96, zeg twee, standaardafwijkingen boven en beneden de gemiddelde score; • 99% van de scores zich tussen 2,58 standaardafwijkingen boven en 2,58 standaardafwijkingen beneden de gemiddelde score.

14 𝑆𝐸 𝑋 =𝑆𝐷(𝑋) 1−𝜌 Standaardmeetfout SD=standaardafwijking
𝑆𝐸 𝑋 =𝑆𝐷(𝑋) 1−𝜌 SD=standaardafwijking Standaarmeetfout berekenen door schatting Uitgangspunt: niet moeilijke toets = 50% scoort de maximumscore Formule: 𝑚𝑎𝑥𝑖𝑚𝑢𝑚𝑠𝑐𝑜𝑟𝑒 𝑘𝑒𝑒𝑟 0,45 Betrouwbaarheidsinterval 𝑃( 𝑋 𝐽𝑎𝑛 −1,645xSE(X)≤ 𝜏 𝐽𝑎𝑛 ≤ 𝑋 𝐽𝑎𝑛 +1,645xSE(X))=0,90 P = probability SE = standaardmeetfout X = de score van Jan P(42-1,645x2,8 ≤ 𝜏 𝐽𝑎𝑛 ≤42+1,645x2,8) = P(37,4 ≤ 𝜏 𝐽𝑎𝑛 ≤46,6) = 0,90 Grenzen van de betrouwbaarheid zijn hier 37,4 en 46,6

15 µ µ + σ Legenda µ = mu = standaard deviatie/afwijking σ = sigma
Normale verdeling Grafisch: Normaalkromme Gebruikt bij natuurlijke zaken Gaat dan om een normale verdeling Bijv. lengte vrouwen (gem. 168 met afwijkingen van 6 cm naar boven of naar beneden. Vulling pakken hagelslag (500 gram met een afwijking van 2 gram naar boven of naar beneden. Gewicht van een ei Hoogte van een boom Gewicht van een kind op een bepaalde leeftijd. Gewicht: chocoladeletters Kerstkransen Paasstollen µ + σ Legenda µ = mu σ = sigma = standaard deviatie/afwijking = gemiddelde

16

17 100% µ = mu σ = sigma Normaalverdeling 68% 95% 13,5% 34% 2,5% 2,5%
Legenda µ = mu σ = sigma De kromme Gauss-curve omvat alle mogelijke punten/getallen uit een verzameling = 100% Normaalverdeling De normaalverdeling bepaalt dat 68% van de getallen valt binnen één standaardafwijking en 95 % valt binnen twee standaardafwijkingen. 68% Eén standaardafwijking 100% 95% Twee standaardafwijkingen 13,5% 34% 2,5% 2,5% µ + σ µ + 2σ µ - σ µ - 2σ

18 100% Normaalverdeling 68% 95% 13,5% 34% 2,5% 2,5% µ = mu σ = sigma
Eén standaardafwijking 100% 95% Twee standaardafwijkingen 13,5% 34% 2,5% 2,5% Legenda µ = mu σ = sigma µ + σ µ + 2σ µ - σ µ - 2σ

19 Frequentietabel Afgeronde cijfers 4 5 6 7 8 9 10 Frequentie 1 2 11 3
Totale frequentie: alle frequenties bij elkaar opgeteld = 24 Relatieve frequentie: frequentie in procenten 1/24*100 = 4,2% 2/24*100 = 8,4% 11/24*100 = 45,8%

20 Histogram

21 Klassenindeling lengte frequentie 1.50 –< 1.60 5 1.60 –< 1.70 9
1.70 –< 1.80 14 1.80 –< 1.90 8 1.90 –< 2.00 3 Klassengrenzen: 1.50 en 1.60 Klassebreedte : 1.60 – 1.50 = 0.10

22 Klassenindeling

23 Klassenindeling lengtes

24 Centrummaten en spreidingsmaten
Gemiddelde Gemiddelde Mediaan Modus Waarnemingen maal frequenties Totale frequentie Afgeronde cijfers 4 5 6 7 8 9 10 Frequentie 1 2 11 3 =(1x4) + (2x5) + (11x6) + (6x7) + (3x8) + (0x9) + (1x10) = 156/24 = 7,5 7,5

25 Centrummaten en spreidingsmaten
Gemiddelde bij klassenindeling Gemiddelde Mediaan Modus klassenmiddens maal frequenties Totale frequentie 67.75 = 1.74 39 lengte frequentie 1.50 –< 1.60 5 1.60 –< 1.70 9 1.70 –< 1.80 14 1.80 –< 1.90 8 1.90 –< 2.00 3 lengte frequentie 1.55 5 7.75 1.65 9 14.85 1.75 14 24.50 1.85 8 14.80 1.95 3 5,85 39 67.75

26 Centrummaten en spreidingsmaten
Modus = waarnemingsgetal met hoogste frequentie Gemiddelde Mediaan Modus Afgeronde cijfers 4 5 6 7 8 9 10 Frequentie 1 2 11 3

27 Centrummaten en spreidingsmaten
Gemiddelde Mediaan Modus Modale klasse bij een klassenindeling De klasse met de hoogste frequentie lengte frequentie 1.50 –< 1.60 5 1.60 –< 1.70 9 1.70 –< 1.80 14 1.80 –< 1.90 8 1.90 –< 2.00 3

28 Centrummaten en spreidingsmaten
Gemiddelde Mediaan Modus Mediaan bij een klassenindeling De klasse waarin het middelste getal zit. lengte frequentie 1.50 –< 1.60 5 1.60 –< 1.70 9 1.70 –< 1.80 14 1.80 –< 1.90 8 1.90 –< 2.00 3 Totale frequentie = 39 Middelste getal is dus het 20ste getal 5 + 9 = 14 = 28 Het 20ste getal valt dus in de klasse < 1.80

29 Centrummaten en spreidingsmaten
Mediaan = het middelste getal = Gemiddelde Mediaan Modus 6 Truc voor het vinden van het middelste getal: Bij een even getal tel je één getal op en dan deel je het door 2. Je komt dan op een getal dat eindigt op ,5 en dat is het middelste getal. Afgeronde cijfers 4 5 6 7 8 9 10 Frequentie 1 2 11 3 In een rijtje van klein naar groot: Rij bestaat uit 24 getallen Middelste getal zit tussen 12de en 13de getal

30 Centrummaten en spreidingsmaten
Boxplot Gemiddelde Mediaan Modus 25% Kleinste Grootste Mediaan Q1 Q3 Q2 Lengte 170 171 172 173 174 175 176 177 178 Frequentie 5 2 1 4 In een rijtje van klein naar groot:

31 Naar excel