De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

27-4-2012 Samantha Bouwmeester College 2 Testtheorie.

Verwante presentaties


Presentatie over: "27-4-2012 Samantha Bouwmeester College 2 Testtheorie."— Transcript van de presentatie:

1 Samantha Bouwmeester College 2 Testtheorie

2 2 Verband tussen ICC’s en Pearson Correlatie Rater 2 scoort hetzelfde als Rater 1: Pearson correlatie: 1.0 ICC consistency : 1.0 ICC agreement : 1.0 Even afmaken college 1…

3 Rater 2 scoort altijd 4 punten hoger dan Rater 1: 3 Pearson correlatie: 1.0 ICC consistency : 1.0 ICC agreement : 0.53

4 4 Rater 2 scoort altijd 1.5 keer zo hoog als Rater 1 Pearson correlatie: 1.0 ICC consistency : 0.92 ICC agreement : 0.74

5 Lengte (m) Gewicht (kg) 5 kgm Z Leeftijd (0=jong) Variantie en Covariantie

6 6 Lengte (m) Gewicht (kg) 6 kg m Z Leeftijd Q Score

7 7 Lengte (m) Gewicht (kg) kgm cm

8 Dus: de covariantie zegt alleen iets over de richting van het verband en niets over de sterkte! Dit komt omdat variabelen op verschillende schalen gemeten kunnen zijn (bijv. 100 cm =1 m). Correlatie is de gestandaardiseerde covariantie en zegt ook iets over sterkte van het verband. Vergelijk: Afwijkingsscore ( ) zegt iets over richting van afwijking, Z score iets over de sterkte van de afwijking. 8

9 Y5 Y6 Y4 Y3 Y Y1 Y6Y4Y3Y2Y1 Variantie-covariantie matrix 9

10 Stel een test bestaat uit 2 items: Dus: De variantie van X is gelijk aan de variantie van variabele Y 1 plus variantie van variabele Y 2 plus twee keer de covariantie tussen Y 1 en Y 2 Dit kun je generaliseren naar een situatie met meer dan twee items (bijv. X=Y 1 + Y 2 + … + Y K ) 10 Y1Y2 Y1 Y2

11 0 -5/4 3/4 -1/4 3/ X Y2Y2 3 25/16 9/16 1/16 44/16 Y1Y1 1/3 1/ Pp Y2Y2 1/6 Y1Y1 Y1Y1 Y2Y2 Var-covar. matrix 11

12 (on)Betrouwbaarheid: de mate waarin testscores variëren wanneer een test tweemaal of vaker 1 onder gelijkblijvende condities 2 wordt voorgelegd aan dezelfde persoon. 1.Is het zinvol om een test tweemaal of vaker voor te leggen aan dezelfde persoon? -bij psychologische eigenschappen niet zinvol door geheugen- en leerprocessen. Deze beïnvloeden de prestatie. -Bij fysiologische of fysieke metingen wel zinvol (bloedruk, reactiesnelheid, snelheid van schaatsen) 2.Wat verstaan we onder gelijkblijvende condities? - allerlei (stabiele) kenmerken van de testomgeving en de testprocedure, zoals: a. Items, instructie, temperatuur, testruimte b. Relevante eigenschappen van de persoon (motivatie, concentratievermogen, verwachtingen) c. Fysiologische condities en lichamelijke processen. Herhaalbaarheid van metingen 12

13 Belangrijke vraag: Hoe komt het dat testscores bij herhaalde metingen, onder gelijkblijvende condities, toch fluctueren? Testscore = systematische invloeden + toevallige invloeden XT=E+ Testscore: aantal (milli)seconden op de 5 km. Schaatsen voor mannen op het de Olympische spelen 2010 in Vancouver. Systematisch deel: kwaliteit van schaatser, kwaliteit van het ijs, temperatuur, luchtdruk. Toevallig deel: tegenstander, verkoudheid, black-out, binnenbocht…. 13

14 Testscore: aantal correcte antwoorden op de bloktoets 3.7 Systematisch deel: studievaardigheden, moeilijkheid items, aanleg voor statistiek, Nederlandse taal, etc. Toevallig deel: ingeving, hoestbui, tijdelijk concentratieverlies, serveillanten, etc. NB: Toevallige invloeden hebben alleen betrekking op de specifieke testsessie (1 replicatie), dus: Systematisch deel varieert niet over onafhankelijke replicaties, toevallige invloeden variëren wel. Daarom bepalen de toevallige invloeden de betrouwbaarheid... 14

15 Klassieke testtheorie houdt zich bezig met het in kaart brengen van de relatieve inbreng van de over afnemingen onvoorspelbare invloeden (E) op de testprestatie en de over afnemingen systematisch werkzame eigenschappen (T) van personen op de testsituatie. X ij = T i + E ij i = persoon (i=1,…,n) j = replicatie (j=1,…q) Geen j, immers gelijk over replicaties! De klassieke testtheorie 15

16 i=2(B ø kko) E 6:15 T 6:125 6:154 6:133 6:192 6:161 Xi=1(Kramer) j Oefenrondjes 5000 m -36:176: :176: :176: :176:182 06:

17 06:15 gemiddelde 7.50 variantie Oefenrondjes 5 km -36:156:125 06: :156: :156: :156:161 ETXi=1(Kramer) j Betrouwbare score is de gemiddelde score over zéér groot (oneindig) aantal replicaties. Meetfout is het verschil tussen de betrouwbare score en de geobserveerde score. 17

18 Consequenties: endus Gemiddelde meetfout is nul. Geluk en pech heffen elkaar op! Immers:    q j iji X q X 1 1    q j ii X q XT

19 Standaarddeviatie van de meetfout over replicaties van één persoon i Standaarddeviatie van de meetfout = standaarddeviatie geobserveerde score! 19

20 - Tot nu toe meerdere replicaties voor één persoon (i). - Klassieke Testtheorie neemt aan dat S Ei gelijk is voor alle personen in de populatie: - Overigens: niet altijd realistisch want bij gokken (lage T) meer meetfout dan bij niet gokken (hogere T). 20

21 5 km mannen XTE Sven Kramer (Ned) 6:146:15 Seung-Hoon Lee (ZKO) 6:176:20-3 Ivan Skobrev (Rus) 6:186:171 Harvard Bokko (Noo)6:196:172 Bob de Jong (Ned)6:206:

22 Aannames van KTT: Meetfouten correleren nergens mee… Gemiddelde meetfout over personen = 0 NB: hier staat nu een i (van personen) i.p.v. een j (van replicaties)! …behalve met de variabele waar ze zelf deel van uitmaken. Maar das lôgisch… 22

23 TE ET SS S r  Wat is de variantie van X? NB: S Ti 2 = 0, maar S T 2 niet! 23

24 Uit aannames volgt: Systematisch deel, verklaarbare spreiding Toevallig deel, onverklaarbare spreiding Betrouwbaarheid: Systematische spreiding Totale spreiding 24

25 Herschrijven betrouwbaarheid: Standaardmeetfout : 95% betrouwbaarheidsinterval Betekent: 95 van de 100 berouwbaarheidsintervallen bevatten de “true score” Stel X is bloktoets met 40 items en Tim heeft X=20. Stel S(E)=2, dan ligt Tims “true score” waarschijnlijk tussen de 16 en 24 (kans van 5% dat dit niet zo is). 25

26 Betrouwbaarheidsinterval TiTi XiXi × S E × S E schaal XiXi XiXi XiXi XiXi XiXi XiXi XiXi XiXi XiXi XiXi XiXi 5 van de 100 BI’s bevatten T i niet! 26

27 Probleem: De formule voor de betrouwbaarheid heeft twee onbekenden…. Volgende keer vier manieren om toch de betrouwbaarheid te schatten! 27

28 Ten slotte: Systematische variatie is niet perse gelijk aan de variatie die men beoogde te meten met de test …!! Vb. Redactiesom Na een uurtje knikkeren heeft Jerre in totaal 32 knikkers. Hij heeft drie baksen verloren aan Teske, twaalf ééntellers aan Maico, en heeft vijf baksen gewonnen van Tim. Hoeveel knikkers had Jerre toen hij begon met knikkeren? beoogd/bedoeld: rekenvaardigheid Onbedoeld: Taalkennis, kennis over knikkers, toevalsfactoren Systematisch: rekenvaardigheid, taalkennis, kennis over knikkers Niet-systematisch: toevalsfactoren 28


Download ppt "27-4-2012 Samantha Bouwmeester College 2 Testtheorie."

Verwante presentaties


Ads door Google