Betrouwbaarheid

Onderdelen van meetwaarde Testscore = Beoogde variabel begrip + Systematische meetfouten + Toevallige meetfouten Onbetrouwbaarheid Invaliditeit Betrouwbaarheid = overeenstemming tussen opeenvolgende metingen Validiteit = overeenstemming tussen variabel begrip en variabele

“Herhaalbaarheid” is hypothetisch BETROUWBAARHEID “In welke mate resulteert een test bij herhaalde afname (onder gelijkblijvende condities) steeds in dezelfde testscore?” Herhaalde afname Geheugen ( automatisch zelfde score) Leereffekten vaardigheden versterken ( betere score) fouten versterken ( zwakkere score) “Herhaalbaarheid” is hypothetisch Gelijkblijvende condities Omgeving (plaats, tijdstip, temperatuur, licht, …) Procedure (testitems, instructie, verwerking, …) Relevante factoren in de persoon (psychisch en fysisch)

Fluctuatie van scores onder gelijkblijvende condities OORZAKEN “black-out” “helder moment” lawaai concentratieverlies slaperigheid opdringerige gedachte hoestbui ... BRON VAN FOUTEN Toevallige factoren verbonden aan 1 testsessie Wat is het? Effekt op de testscore? Kenmerken van de persoon Doel van de test

Herhaalde metingen = ONAFHANKELIJKE REPLICATIES Testtheorie Verhouding tussen systematische eigenschappen van persoon en testsituatie onvoorspelbare invloeden Herhaalde metingen = ONAFHANKELIJKE REPLICATIES Uitgangspunt = “hypothetische” herhaalde meting Veronderstellingen Afnames zijn onderling onafhankelijk (er is geen geheugen-effekt of leereffekt) Variatie komt uitsluitend door onvoorspelbare invloeden

Klassieke testtheorie TESTSCORE omvat 2 delen Systematisch of constant deel (TRUE score) Niet-systematisch of toevallig deel (ERROR) Fout = Toevallige scorecomponent van persoon i bij onafhankelijke replicatie j Betrouwbare Score (True) = Systematische scorecomponent (= cte bij onafhankelije replicaties) Behaalde score van persoon i bij onafhankelijke replicatie j

Betrouwbare score en Meetfout gemiddelde representatieve testprestatie Meetfout q = aantal replicaties (zeer groot)

Standaardmeetfout van persoon i Aangezien geldt Voor persoon i geldt dat de spreiding van de meetfouten gelijk is aan de spreiding van de geobserveerde scores Veronderstelling: Standaardmeetfout is identiek voor alle personen Niet realistisch: vb. Multiple choice, mensen met lage Ti raden meer (hogere S(Ei)) dan mensen met hoge Ti (lagere S(Ei)).

Fysische versus Psychologische metingen Grotere meetfout Psychologische metingen (ook reactietijden!) S(Ei) T1 T2 Kleinere meetfout Fysische metingen T1 T2

Replicatie vervangen door 1 meting in een populatie Eigenschappen Hypothese 1 bewijs (zie boek p. 103) Hypothese 2 Y is willekeurige variabele waarvan E geen deel is immers: X=T+E zodat: r(E,X)>0 GEVOLG: r(E,T)=0

Betrouwbaarheid bepalen Herhaalde meting zelfde test (test-retest) parallelle test (parallel-vorm) Eenmalige meting 2 helften (split-half) items onderling (interne consistentie) Verband met meetfout