De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

18-5-2011 Samantha Bouwmeester College 8 Testtheorie.

Verwante presentaties


Presentatie over: "18-5-2011 Samantha Bouwmeester College 8 Testtheorie."— Transcript van de presentatie:

1 Samantha Bouwmeester College 8 Testtheorie

2 Vraagonzuiverheid Item functioneert verschillend in verschillende populaties (Differential item functioning, DIF) Welk van onderstaande alternatieven is een voorbeeld van een criterium-referenced test? a.De bloktoets van 1.4 b.De VGT c.De DAT d.De WISC Bij vraagonzuiverheid doet de vraag beroep op nog een andere dan te meten psychologische eigenschap! Vraagzuiver: IRF is identiek in verschillende groepen. Mensen met dezelfde  uit verschillende groepen hebben dezelfde IRF, en dus dezelfde kansen op een goed antwoord. 2

3 Voorbeeld vraagonzuiverheid: • Psychologie studenten van de EUR en de UVT met dezelfde θ hebben niet dezelfde kans om het item correct te beantwoorden. • DIF is NIET hetzelfde als een verschil in gemiddelde meetwaarde van groepen! In dit voorbeeld: Studenten aan de EUR kunnen een hogere gemiddelde score hebben op dit item dan de UVT studenten terwijl de IRF hetzelfde is. 3 Welk van onderstaande alternatieven is een voorbeeld van een criterium-referenced test? a.De bloktoets van 1.4 b.De VGT c.De DAT d.De WISC UVT studenten EUR studenten

4 Nog even MHM en errorbars… 4 Mean Scoregroep Het gemiddelde geeft de proportie mensen weer die vraag 17 correct heeft beantwoord. Errorbar: Het 95% BI van de gemiddelde score in groep 1. Mean ± 1.96×SE Errorbar: Het 95% BI van de gemiddelde score in groep 1. Mean ± 1.96×SE

5 5 En DMM en errorbars… 5 Mean Scoregroep vraag 18  Eis is: items mogen niet snijden (in de populatie)  Maar: Items mogen wel raken!  In de steekproef hebben we steekproef variantie en daarom snijden items som “toevallig”  Een snijding met twee niet-overlappende 95% BI’s is significant!

6 En dan nog even de testinfomatiefunctie… = =

7 Hoofdstuk 5: Corrigeren voor gokken bij MC vragen? Toevalscorrectie X Eerlijk antwoord Verwacht antwoord11¼1¼¼111¼ Weet je antwoord?ja neejanee ja nee 4 keuze - items - In totaal 7 correcte antwoorden, dus 3 foute antwoorden. - Kans op goed antwoord bij gokken: ¼, kans op fout antwoord bij gokken: ¾ - Dus “aantal fout” (3) is ¾ deel van het “totaal aantal gegokte antwoorden” - Totaal aantal gegokte antwoorden = 3 / ¾ = 4 - Er is dan dus 1 antwoord goed gegokt. - De voor-gissen-gecorrigeerde (eerlijke?) score is dus: 7-1=6. - In formulevorm: 7

8 Is de voor-gissen-gecorrigeerde score wel eerlijk?  Eigenlijk is er geen scherp onderscheid te maken tussen wel en niet weten (ondercorrectie, overcorrectie)  Er bestaat een kans op een fout antwoord, terwijl er niet is gegokt: dubbel gestraft...  De variantie van de gecorrigeerde score is altijd groter dan die van de ongecorrigeerde score: S 2 (X c ) > S 2 (X). Hierdoor zal de betrouwbaarheid van de gecorrigeerde score hoger uitvallen, zonder dat er beter gemeten is…  X c is lineaire transformatie van X, dus r(X c, X)= 1, en r(X, Y)= r(X c,Y) 8

9 Bewerkte scores en normen ruwe score = de eerste score, zonder bewerking. Heeft weinig betekenis. 8 goed • Van de hoeveel opgaven? • Hoeveel goed voor een voldoende? • Hoe verhoudt het zich t.o.v. de groep? Norm is een referentiekader voor de evaluatie van de ruwe scores dat is gebaseerd op de kenmerken van de verdeling van de ruwe scores in een populatie NB: bewerkte score is nog geen norm! • afhankelijk v.d. prestaties van anderen. • afgezet tegen populatie 9

10 1.Een absolute standaard -> criterion referenced - vb. Bloktoets: 25 goed = 5.5. Ruwe scoreBewerkte score (gezakt) (geslaagd) Drie soorten vergelijkingen: 1.Een absolute standaard. 2.Een referentiegroep. 3.Een populatie. 10 • Niet afhankelijk van groepsgrootte • Niet afhankelijk van scores anderen • Niet afhankelijk van populatie

11 2. Met een referentiegroep -> norm-referenced Rangscores: de beste 3 Percentielscores: rangscore uitgedrukt in percentage: percentage respondenten uit de steekproef met een lagere of gelijke score. testscorefFpPPercentiel score *5= *12= *18= *8= *20= *22= *15=92.5 n=100 11

12 Percentielscore bij score =3 Neem de cumulatieve score behorend bij score 3, en trek daar de helft van het aantal mensen met score 3 van af: /2  18 = 26 Maak hier een percentage van:  n/100 12

13 Rationale lineaire interpolatie: • percentielscore = percentage mensen met score tot aan 3). • Van de mensen met score 3 heeft ongeveer de helft een “echte” score tussen 2.5 en 3.0 en een helft heeft “echte”score tussen 3.0 en 3.5. • We gaan er dus van uit dat er een continue lineaire schaal onder de discrete scores ligt. • We nemen alleen de eerste helft mee voor de percentielscore van score Waarom dat gedoe met “ ½×f “ en niet gewoon F ?

14 14 SPSS doet het een beetje anders… Percentielscore: de gemiddelde rangscore van alle respondenten met de ruwe score  n/100

15 NB. Het gemiddelde van Z is 0 en de SD is 1 (altijd!) 3. Uitgaande van een populatie. • Afwijkingsscore geeft aan hoever de score van een persoon van het gemiddelde ligt. • Z drukt uit hoeveel standaarddeviaties de score van een persoon van het gemiddelde ligt. • Z is dus eigenlijk gestandaardiseerde afwijkingsscore • Z is NIET per se normaal verdeeld!! 15

16 Z is een lineaire transformatie van X: 16 Bij een lineaire transformatie blijft de vorm van de verdeling precies hetzelfde.

17 17 Genormaliseerde standaardscores : niet-lineaire transformatie, we “maken” de verdeling “zo normaal mogelijk”. Niet-lineaire transformaties wanneer een variabele scheef naar rechts is: Deze transformaties zorgen er allemaal voor dat grote waarden van X relatief wat minder groot worden ten opzichte van kleine waarden.

18 18 Z Ieder stukje bevat 10% van de populatie T=Z× IQ=Z× Stanines percentielen

19 Verdeling percentielscores 19 • Ieder percentiel bevat 10% van de scores. • Daarom is de verdeling van de percentielscores altijd rechthoekig!

20 20 Als X normaal verdeeld is, dan kun je de kans op een score van X of hoger/lager opzoeken in de tabel, of door spss laten berekenen. Cdf.normal(Zscore,0,1)

21 Als de verdeling normaal is, en n is groot, dan p(Z) is gelijk aan percentielscore / Kans op een score van 8 of lager? P(X≤8) • Volgens normale verdeling:.76 • Volgens percentielscore/100 ook.76 76% X

22 22 Als verdeling is niet normaal is, dan kun je de p-waarden uit de standaard normale verdeling niet gebruiken… Maar percentielscores zijn nog wel bruikbaar % 0-10% score 1score 16 t/m 20 P(Z (X<1.00) <-3)=.005 P(Z (X>15.00) >2)=1-.975=.025


Download ppt "18-5-2011 Samantha Bouwmeester College 8 Testtheorie."

Verwante presentaties


Ads door Google