Validiteit.

Slides:



Advertisements
Verwante presentaties
Statistische uitspraken over onbekende populatiegemiddelden
Advertisements

Samantha Bouwmeester Testtheorie College Samantha Bouwmeester.
Screening van toetsen: Psychometrische analyse
Samantha Bouwmeester Testtheorie Responsie College Samantha Bouwmeester.
College 3 Meten.
Fasen van onderzoek Onderzoeksplan bureauwerk Dataverzameling
Betrouwbaarheid en validiteit: Alleen een kwestie van goed meten ?
Samantha Bouwmeester Testtheorie College Samantha Bouwmeester.
Betrouwbaarheid en Validiteit
Hoofdstuk 3 – Gegevens verzamelen
Kwaliteit van meetinstrumenten
© v d Maesen, 15 mei 2000 Presentatie SQ-test AC werkgroep Paul van der Maesen de Sombreff SQ: multimediale test voor sociale intelligentie.
Inleiding in de statistiek voor de gedragswetenschappen Met ondersteuning van SPSS Guido Valkeneers.
De ontwikkeling en validering van een cognitieve-vaardighedentest voor volwassen anderstaligen Evelien Buyse, Karine Verschueren en Walter Magez Nederlands.
Chapter 9. Understanding Multivariate Techniques
Chapter 9. Understanding Multivariate Techniques
Arousal, angst & stress Definities
Meten van onderzoeksvariabelen
Evaluatie Van Interactieve Software Systemen
Evaluatie van Interactieve Software Systemen
Validiteit van EVC-procedures
Werkbijeenkomst Leerdoelen & Toetsing Bijeenkomst in het kader van de accreditatie / zelfevaluatie IO en IDE 23 mei 2013.
Hoofdstuk 9 Verbanden, correlatie en regressie
Voorspellende analyse
Begripsvaliditeit van AC-Dimensies: Een Meta-Analyse Marise Ph. Born, Nanja J. Kolk, en Henk van der Flier Afdeling Arbeids- en Organisatiepsychologie.
Toetsen als Leerinterventie. Samenvatten in het Testing Effect Paradigma. Kim J. H. Dirkx, Liesbeth Kester, Paul A. Kirschner CELSTEC, Open Universiteit.
Aanvullende vragen Collegesheets M&S3
6 februari 2007 SPK HOE BEPAAL JE DE WAARDE VAN EEN ONDERNEMING?
Onderzoek gefinancierd door de Vlaamse Regering in het kader van het programma ‘Steunpunten voor Beleidsrelevant Onderzoek’
Samantha Bouwmeester Testtheorie College Samantha Bouwmeester.
Afdeling Revalidatiegeneeskunde
Bayes Voor psychologen. Pierre Simon Laplace Recap Bayes’ Rule.
Interpretatie van statistiek bij toetsen en toetsvragen
Bijkomende Variabelen (Extraneous Variables)
Varianties bij replicatie (herhaald testen)
Item analyse Item-Moeilijkheidsindex Item-Betrouwbaarheidsindex
Onderzoeksmethoden en -Technieken
Betrouwbaarheid.
Partiële r² Predictie van y gebaseerd op z alleen
Test- retest methode -- voorbeeld r = 0, Test Hertest r = 0, Test Hertest r = 1,00.
Kwalitatief onderzoek
Psychologische Test.
Nauwkeurigheid bij Practica
Niveautoetsen.
Hoofdstuk X Het correlatievraagstuk & SPSS toepassing
Operationaliseren Definiëren Operationaliseren
Kwantitatieve & kwalitatieve data analyse
Paramaribo, september 2015 Ten behoeve van leerkrachten van de EBGS Mr.dr.E. Marshall & M. Day.
Methoden & Technieken van Onderzoek
Module Waarnemen, observeren en rapporteren Les 2
Rotterdam, 00 januari 2007 Onderzoek I Bijeenkomst 3 kwartaal 2.
Methoden & Technieken van Onderzoek
Wat is een verstandelijke beperking en wat zijn de gevolgen ervan?
Leraareffectiviteit – wat weten we (niet)? Daniel Muijs, University of Southampton.
Begin- situatie Werk- vormen Leer- processen Leer- middelen Leerstof Evaluatie Leerdoelen.
Evaluatieonderzoek VVTO Engels Kees de Bot Sieneke Goorhuis BCN/RUG.
Expertiseteam ToetsenbankThemadag Digitale Toetsing 1 december 2011 Alex van Essen.
Marktonderzoek © 2011 | Noordhoff Uitgevers bv College 4 Hoofdstuk 6 Steekproef.
1 Toetsontwikkeling en kwaliteit AOC-raad presentatie Silvester Draaijer (Onderwijscentrum VU)
Zelfwaardering en acceptatie door leeftijdsgenoten EEN LONGITUDINAAL ONDERZOEK BIJ BASISSCHOOLKINDEREN - WENDY DONDERS EN KARINE VERSCHUEREN.
Validiteit van EVC-procedures
Alleen toevallige variaties
Grafische vergelijking meetmethoden
Waarom meten we niet hetzelfde bij herhaling van de meting?
De waarde van Zorgkaart Nederland
Controlekaarten Industrie
Alleen toevallige variaties
Leraareffectiviteit – wat weten we (niet)?
COLLEGE12005.
Voorspellende analyse
Transcript van de presentatie:

Validiteit

Onderdelen van meetwaarde meetwaarde = beoogde construct + systematische meetfouten + toevallige meetfouten WARE score Invaliditeit Onbetrouwbaarheid

Betrouwbaarheid en validiteit Betrouwbaarheid van testscore X legt restricties op aan correlatie van X met andere variabele (Y)(= criterium) Men heeft aangetoond dat (= betrouwbaarheidsindex) Gevolg: Hoogst mogelijke correlatie tussen X en Y indien meting van Y foutenvrij (Y=Ty) en bovendien Tx =Ty zodat algemeen geldt: Gevolg: Lage betrouwbaarheid  Lage validiteit Hoge betrouwbaarheid GEEFT MOGELIJKHEID TOT hoge validiteit Hoge betrouwbaarheid is NOODZAKELIJKE, maar niet voldoende voorwaarde voor goede validiteit

Validiteit bij verlengde test Betrouwbaarheid verlengde test Validiteit verlengde test Validiteit oorspronkelijke test Betrouwbaarheid oorspronkelijke test Validiteitswinst bij verlenging is kleiner dan betrouwbaarheidswinst Voorbeeld Betrouwbaarheid stijgt met .20, Validiteit stijgt met .05 (test blijft inhoudelijk dezelfde, maar meetfout verkleint)

Validiteit – 2 centrale thema’s Voorspelling van (uitspraak over) gedrag of prestatie buiten de testsituatie Predictieve validiteit Correctheid van voorspellingen Predictie (toekomst) prestatie voorspellen Paradictie (heden) diagnosticeren Postdictie (verleden) post hoc diagnose Meting van theoretisch construct Construct validiteit / Begripsvaliditeit Mate waarin het bedoelde theoretische construct correct gemeten wordt

Soorten validiteit in literatuur Predictive validity (Predictieve validiteit in enge zin) Verband tussen testprestatie en toekomstige criteriumprestatie Concurrent validity (Concurrente / confirmerende validiteit) Verband tussen testprestatie en gelijktijdige criteriumprestatie Convergente of Congruente validiteit Correlatie tussen testprestatie en prestatie op andere test die hetzelfde beoogt te meten Content validity (Inhoudsvaliditeit) Inschatting van de representativiteit van de test voor wat wordt gemeten: wiskunde toetsen met wiskunde vragen Face validity (Indruksvaliditeit) Inschatting , voor-wetenschappelijk, motiverende factor Construct validiteit (Construct validiteit) overdekking van variabel begrip door variabele(n): “welke psychologische kwaliteiten meet de test”? Discriminant validity (Discriminante validiteit) Niet correleren met andere tests die aanverwante, maar verschillende constructen beogen te meten

Betrouwbaarheid en Validiteit bepalen

Multitrait - Multimethod Matrix (Campbell & Fiske, 1959) (MTMM-matrix) Multitrek-multimethode matrix b1 = betrouwbaarheid van methode 1 va = convergente validiteit van beide methoden tav trek a m1 = discriminante validiteit van methode 1 d = “nonsens”-correlatie Vereisten: v > 0 en voldoende hoog v > d v > m d laag

Mosher Forced Choice Guilt Scale Sexual Hostile Morality FC zeer betrouwbaar, TF ook, IS niet Goede convergente validiteit Discriminante validiteit OK

Oefening 1

Oefening 2