04-5-2012 Samantha Bouwmeester Testtheorie College 4 04-5-2012 Samantha Bouwmeester

4. Betrouwbaarheid van verschilscores Verschilscores zijn vaak erg onbetrouwbaar omdat het verschil vooral uit meetfouten bestaat. Dit geldt met name voor variabelen met al een lage betrouwbaarheid. X1=rekentoets september X2=rekentoets mei X2-X1= vooruitgang rekentoets X1=T1+E1 X2=T1+Tmei+E2 X2-X1=T1+Tmei+E2-T1-E1=Tmei-E1+E2 Pp 1 2 3 4 X1 T1 E1 22 18 +4 12 16 -4 21 17 10 14 X2 T2 E2 25 21 +4 23 19 16 20 -4 13 17 X2-X1 T2-T1 E2-E1 3 11 8 -5 -8 2

Variantie van deeltest Betrouwbaarheid van deeltest 6. Heterogene tests Voor heterogene tests (meerdere deeltests) gebruiken we gestratificeerde alpha-coëfficiënt om de betrouwbaarheid van de gehele test te berekenen: Variantie van deeltest Betrouwbaarheid van deeltest Variantie van totale test Subtest 1.9 2.5 .65 Y2.Verbale analogieën .81 Y1.Figuur herkennen SY1Y2 = 1.8 3

lage betrouwbaarheid = lage validiteit, máár Waar zijn we gebleven… Theoretisch Betrouwbaarheid Validiteit Geobserveerde score True score Construct Validiteit Betrouwbaarheid lage betrouwbaarheid = lage validiteit, máár hoge betrouwbaarheid  hoge validiteit! Praktisch 4

Begripsvaliditeit: Principale Componenten Analyse Principale componenten analyse (PCA) vat gezamenlijke variantie van een aantal variabelen samen in één of meerdere componenten. Kan gebruikt worden om de betekenis- of begripsvaliditeit (hoofdstuk 8, D&S) van een test te onderzoeken. Test heeft begripsvaliditeit wanneer de gezamenlijke variantie van de items met één of een aantal constructen kan worden samengevat. Stel, een test meet dominantie en bevat 20 likert items. Gezamenlijke variantie van de items moet dan geïnterpreteerd kunnen worden in termen van dominantie. 5

PCA vat de gezamenlijke variantie samen: Ieder item heeft error (meetfout), unieke variantie, en gezamenlijke variantie PCA vat de gezamenlijke variantie samen: y1 Unieke variantie + meetfout y4 y3 Gezamenlijke variantie van twee items Gezamenlijke variantie van drie items y2 Gezamenlijke variantie van alle items Y1. Ik let onvoldoende op details bij mijn werk. Y2. Wanneer ik zit, friemel ik met mijn handen of voeten. Y3. Ik maak slordige fouten in mijn werk. Y4. Ik zit te wiebelen en te draaien in mijn stoel. 6

Vragen naar begripsvaliditeit: ADHD bij Volwassenen 1. Ik let onvoldoende op details bij mijn werk. 2. Wanneer ik zit, friemel ik met mijn handen of voeten. 3. Ik maak slordige fouten in mijn werk. 4. Ik zit te wiebelen en te draaien in mijn stoel. 5. Wanneer ik met iets bezig ben, kan ik er met mijn aandacht slecht bij blijven. 6. Ik voel me rusteloos. 7. Ik verveel me snel. 8. Ik ben voortdurend in de weer, alsof ik door een motor word aangedreven. 9. Ik praat aan één stuk door. Vragen naar begripsvaliditeit: In hoeverre meet deze ADHD vragenlijst één of meerdere constructen? Hoe moeten deze constructen worden geïnterpreteerd? Principale componenten analyse kan worden gebruikt om deze vragen te beantwoorden. 7

y2, y4, y6, en y8 vormen een clustertje Y2 Let onvoldoende op details werk Y4 Wanneer bezig, slechte aandacht Y5 Wiebelen en draaien op stoel Y1 Friemel handen voeten Y3 Slordige fouten werk Y6 Voel rusteloos Y7 Verveel snel Y8 Voortdurend in weer Y9 Praat aan één stuk door Y1 1.00 Y2 .44 1.00 y2, y4, y6, en y8 vormen een clustertje Y3 .71 .57 1.00 y1, y3, y6, y5, en y7 vormen een clustertje Y4 .38 .58 .55 1.00 Y5 .64 .50 .74 .52 1.00 Y6 .62 .64 .69 .65 .68 1.00 Y7 .68 .51 .79 .57 .77 .73 1.00 Y8 .55 .66 .58 .69 .59 .79 .67 1.00 Y9 .35 .44 .36 .38 .44 .43 .41 .48 1.00 y9 lage correlaties met alle variabelen 8

Karel heeft scores y1=3,y2=3,y3=1. Comp 2 Comp 1 slordig Score van Karel op component 1 Score van Karel op component 2 friemel details 9

Correlatie tussen component en item rc1,y1 is de componentlading -1 Score van Karel 2 rc1,y1 =.76 1 Component 1 Correlatie tussen component en item rc1,y1 is de componentlading -1 -2 1 2 3 4 5 10 Y1

Eigenwaarde () = hoe goed doet de component het? k De ladingen geven aan hoe hoog een item correleert met de component. Het kwadraat geeft aan hoeveel variantie de component van het item kan verklaren. % variantie = hoeveel van de totale variantie verklaart de component? \ aantal variabelen  100 l1=.762+.742+.852+.752+.832+.882+.872+.852+.582=5.68 %var C1 = 5.68/9*100=63  5.68 .89 .69 .45 .39 .31 .23 .20 .16 9 % var 63 10 8 5 4 3 2 100 11

Eerste component verklaart altijd de meeste gezamenlijke variantie De componenten correleren niet met elkaar (rc1,c2=0). De assen staan dus loodrecht op elkaar. De componenten verklaren “eigen” gezamenlijke variantie van de items Een negatieve lading betekent dat het item een negatief verband heeft met de component (contra- indicatief item) 12

Ik praat aan één stuk door. Comm (c=1 t/m9) 1 Comm (c=1&2) .76 .68 .82 .78 .62 .80 .49 Ik maak slordige fouten in mijn werk. Ik praat aan één stuk door. Communaliteit = % verklaarde variantie door de componenten van één variabele. Communaliteit y1: .762 + -.432 + .122 + .242 + …. + .062=1 Communaliteit y1, bij 2 componenten: 13

Uit de componenten matrix kun je de oorspronkelijke correlaties tussen de variabelen terugrekenen. Dit doe je door de ladingen van de twee variabelen per component te vermenigvuldigen en dan op te tellen: c1 c9 c2 14

 > 1 criterium (Kaiser) Screeplot: knik-criterium (“inflexion”) Hoeveel componenten selecteren? - Theorie  > 1 criterium (Kaiser) Screeplot: knik-criterium (“inflexion”) Allerbelangrijkste: kunnen we de componenten zinvol en eenduidig interpreteren! 15

Hoe moeten we de gevonden componenten interpreteren? Lastig, want vrijwel altijd één dominante component met hoge ladingen. Daarom rotatie: orthogonaal (correlaties tussen componenten 0) of niet-orthogonaal (correlatie tussen componentn is niet meer 0) 16

Orthogonale Rotatie: Varimax - Assen worden geroteerd maar blijven ongecorreleerd. Hierdoor gaan variabelen op één component hoog laden en op andere laag. c2 c2 Ongeroteerde oplossing: items laden op beide variabelen. 1 1 -1 -1 1 c1 Na varimax rotatie: items laden vooral op één component 1 -1 c1 -1 17

Non-Orthogonale Rotatie: Oblique Rotatie Assen worden zodanig geroteerd dat de items zo hoog mogelijk laden op één van de componenten. De componenten mogen daarbij ook correleren. Hier is sprake van een positieve correlatie tussen de twee componenten! c2 c2 1 1 1 1 c1 c1 -1 1 -1 -1 18 -1

Component ladingen zonder en met varimax rotatie: Rotated Component Matrix .848 .196 .306 .768 .840 .343 .319 .757 .790 .368 .611 .638 .812 .402 .440 .770 .158 .679 y1 y2 y3 y4 y5 y6 y7 y8 y9 1 2 Component Component Matrix .757 -.428 .745 .360 .851 -.314 .747 .342 .831 -.263 .882 .058 .870 -.252 .845 .270 .575 .394 y1 y2 y3 y4 y5 y6 y7 y8 y9 1 2 Component NB. Na oblique rotatie is de correlatie tussen de componenten .34! 19

.848 .196 .306 .768 .840 .343 .319 .757 .790 .368 .611 .638 .812 .402 .440 .770 .158 .679 y1 y2 y3 y4 y5 y6 y7 y8 y9 1 2 Component Component 1 is vooral “attention deficit”en component 2 is vooral “hyperactivity” Y1 Ik let onvoldoende op details bij mijn werk. Y2 Wanneer ik zit, friemel ik met mijn handen of voeten. Y3 Ik maak slordige fouten in mijn werk. Y4 Ik zit te wiebelen en te draaien in mijn stoel. Y5 Wanneer ik met iets bezig ben, kan ik er met mijn aandacht slecht bij blijven. Y6 Ik voel me rusteloos. Y7 Ik verveel me snel. Y8 Ik ben voortdurend `in de weer', alsof ik door een motor word aangedreven'. Y9 Ik praat aan één stuk door. 20

Na rotatie is de verdeling van de verklaarde variantie per component veranderd! (maar het totale percentage verklaarde variantie blijft hetzelfde.) College 7 Validiteit 21

Assumpties en Vereisten pca Twee belangrijke aspecten: Is de steekproef groot genoeg? Bij een (te) kleine steekproef hebben de correlaties grote betrouwbaarheidsintervallen en dus is de PCA oplossing instabiel... Zijn de correlaties tussen de variabelen niet te laag of te hoog? Als de correlaties te hoog zijn is er sprake van multicollineairity en wordt het lastig om de PCA uit te voeren. Als de correlaties te laag zijn is het onmogelijk om de variabelen samen te vatten met enkele componenten 22

Steekproef grootte 10 tot 15 subjecten per variabele (gebruikelijk) >300 (Tabachnick & Fidell, 2007) Bij hoge communaliteiten (>.6) minder subjecten nodig dan lagere communaliteiten. 23

Correlaties tussen variabelen KMO: geeft aan of de variabelen vooral unieke variantie hebben of veel gezamenlijke. 0= alleen unieke, 1=alleen gezamenlijke. Vanaf .5 net acceptabel, van .7 goed. Bartlett’s test of sphericity: toetst of de correlaties tussen de variabelen gelijk zijn aan 0. 24

Maar als variabelen té hoog correleren is het ook niet goed: multicollineairity. Check determinant: >.00001 De residual reproduced correlations geeft aan in hoeverre de variantie in de variabelen verklaard wordt door de componenten. Een hoog (positief of negatief) residu betekent dat er nog verbanden zijn tussen de varabelen die niet door de componenten worden verklaard. 25

De anti-image matrix geeft aan in hoeverre de variabelen geschikt zijn voor een factor-analyse. De waarden op de diagonaal moeten tenminste .5 zijn, de waarden buiten de diagonaal moeten dicht bij 0 liggen. 26