NVMO 27 maart2013 NVMO Workshop OvO 27 maart 2013 Quasi-experimental study design and get the grant

NVMO 27 maart2013 Korte schets van quasi-experimentele designs en de achtergronden ervan 27 maart 2013 Eugène Custers UMC Utrecht, dOO, Expertisecentrum voor Onderwijs en Opleiding Lid van het WECO van de NVMO

NVMO 27 maart2013 Quasi-experimentele designs Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. Chicago: Rand McNelly & Company. Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Belmont, CA: Wadsworth Publishing.

NVMO 27 maart 2013 Zes ‘modes of inquiry’ (cf. Hammond, 1978, 1983, 1996) 1. Scientific laboratory experiments HIGH INTERVENTION → 2. Randomized controlled trials ↑ manipulation structure visibility time ↓ 3. Quasi- experiments 4. Observational studies and modeling 5. Peer consensus ← REPRESENTATION 6. Individual’s intuitive experience LOW INTUITION ← COGNITIVE MODE →ANALYSIS

NVMO 27 maart2013 Kernprobleem bij het opzetten van onderzoek en beoordelen van onderzoeksuitkomsten: Hoe valide zijn (zullen) mijn resultaten (zijn)?

NVMO 27 maart2013 Typologie van validiteit van experimentele bevindingen [1] Interne validiteit (causal inference: de interventie veroorzaakt de uitkomst)

NVMO 27 maart2013 Typologie van validiteit van experimentele bevindingen [1] Interne validiteit (causal inference: de interventie veroorzaakt de uitkomst) [2] Externe validiteit (generaliseerbaarheid van de resultaten “naar buiten”)

NVMO 27 maart2013 Typologie van validiteit van experimentele bevindingen [1] Interne validiteit (causal inference: de interventie veroorzaakt de uitkomst) [2] Externe validiteit (generaliseerbaarheid van de resultaten “naar buiten”) [3] Construct validiteit (operationaliseren van complexe of slecht gedefinieerde concepten)

NVMO 27 maart2013 Typologie van validiteit van experimentele bevindingen [1] Interne validiteit (causal inference: de interventie veroorzaakt de uitkomst) [2] Externe validiteit (generaliseerbaarheid van de resultaten “naar buiten”) [3] Construct validiteit (operationaliseren van complexe of slecht gedefinieerde concepten) [4] Statistische validiteit van de uitkomst (toevalsbevinding, onder- of overschatting van effect)

NVMO 27 maart2013 Interne validiteit van experiment: Hoe zeker kan ik ervan zijn dat de interventie (treatment), en niet “iets anders” (plausibele alternatieve verklaring), de uitkomst heeft veroorzaakt?

NVMO 27 maart2013 Interne validiteit van experiment: Hoe zeker kan ik ervan zijn dat de interventie (treatment), en niet “iets anders” (plausibele alternatieve verklaring), de uitkomst heeft veroorzaakt? Voorbeelden van alternatieve verklaringen: [a] selectie bias, [b] gebeurtenissen die tegelijk met de treatment optreden, [c] ontwikkeling (maturation), [d] uitval van deelnemers, [e] effect van (herhaalde) metingen

NVMO 27 maart2013 Interne validiteit van experiment: Hoe zeker kan ik ervan zijn dat de interventie (treatment), en niet “iets anders” (plausibele alternatieve verklaring), de uitkomst heeft veroorzaakt? Voorbeelden van alternatieve verklaringen: [a] selectie bias, [b] gebeurtenissen die tegelijk met de treatment optreden, [c] ontwikkeling (maturation), [d] uitval van deelnemers, [e] effect van (herhaalde) metingen Doel: Sluit alternatieve verklaringen uit

NVMO 27 maart2013 Borging van interne validiteit: Meest effectieve maatregel: gebruik van controlegroep (comparison group) + randomisering = RCT (gerandomiseerd experiment)

NVMO 27 maart2013 Borging van interne validiteit: Meest effectieve maatregel: gebruik van controlegroep (comparison group) + randomisering = RCT (gerandomiseerd experiment) Maar: dit is niet altijd mogelijk of wenselijk  alternatieve oplossingen zijn nodig: quasi-experimenten

NVMO 27 maart2013 Quasi-experimental designs: Minimale voorwaarden [1] Er is sprake van een discrete interventie (of treatment)

NVMO 27 maart2013 Quasi-experimental designs: Minimale voorwaarden [1] Er is sprake van een discrete interventie (of treatment) [2] Er is sprake van een uitkomstmaat

NVMO 27 maart2013 Quasi-experimental designs: Minimale voorwaarden [1] Er is sprake van een discrete interventie (of treatment) [2] Er is sprake van een uitkomstmaat [3] De interventie gaat in de tijd vooraf aan de uitkomst

NVMO 27 maart2013 Belangrijkste principes van quasi-experimenten: [1] Identificeren van plausibele bedreigingen (alternatieve verklaringen) van interne validiteit;

NVMO 27 maart2013 Belangrijkste principes van quasi-experimenten: [1] Identificeren van plausibele bedreigingen (alternatieve verklaringen) van interne validiteit; [2] “Primaat van het design”: onschadelijk maken van plausibele bedreigingen van de interne validiteit door aanpassingen van het onderzoeksdesign

NVMO 27 maart2013 Belangrijkste principes van quasi-experimenten: [1] Identificeren van plausibele bedreigingen (alternatieve verklaringen) van interne validiteit; [2] “Primaat van het design”: onschadelijk maken van plausibele bedreigingen van de interne validiteit door aanpassingen van het onderzoeksdesign dus niet primair door statistische procedures

NVMO 27 maart2013 Belangrijkste principes van quasi-experimenten: [1] Identificeren van plausibele bedreigingen (alternatieve verklaringen) van interne validiteit; [2] “Primaat van het design”: onschadelijk maken van plausibele bedreigingen van de interne validiteit door aanpassingen van het onderzoeksdesign dus niet primair door statistische procedures (dus niet: uitsluiten van alternatieve verklaringen door complexe en/of heel precieze hypothesen)

NVMO 27 maart2013 Belangrijkste design-kenmerken van quasi- experimental designs om interne validiteit te borgen: [a] pretests (een of meer) [b] controlegroepen (een of meer)

NVMO 27 maart2013 Enkele voorbeelden van quasi-experimental designs

NVMO 27 maart2013 Eenvoudigste design (geen pretest, geen controlegroep) One-group posttest-only design: X  O 1 (in 1963 nog: “One shot case study”)

NVMO 27 maart2013 Iets verfijnder design (geen pretest, geen controlegroep) One-group posttest-only design with multiple substantive posttests: X  [ O 1A O 1B O 1C … O 1N ] (bv. opsporen van de bron van een epidemie)

NVMO 27 maart2013 Designs met pretest, maar zonder controlegroep One-group pretest-posttest design: O 1  X  O 2 (kan zowel within-subjects als between-subjects)

NVMO 27 maart2013 Designs met pretest, maar zonder controlegroep One-group pretest-posttest design with double pretest: O 1  _  O 2  X  O 3 (meer dan twee pretests zijn mogelijk)

NVMO 27 maart2013 Designs met pretest, maar zonder controlegroep One-group pretest-posttest design using a nonequivalent dependent variable: [ O 1A O 1B ]  X  [ O 2A O 2B ] (van ‘B’ is bekend dat hij gevoelig is voor alternatieve hypothesen)

NVMO 27 maart2013 Designs met controlegroep, maar zonder pretest Posttest-only design with nonequivalent groups: NR  X  O NR  _  O 2 (in 1963 nog: “Static group comparison”)

NVMO 27 maart2013 Designs met controlegroep, maar zonder pretest Posttest-only design with nonequivalent groups but independent pretest samples: NR  O 1  NR  X  O NR  O 1  NR  _  O 2

NVMO 27 maart2013 Designs met controlegroep, maar zonder pretest Posttest-only design using proxy pretests: NR  O A1  X  O B NR  O A1  _  O B2 (basis voor matching en stratifying)

NVMO 27 maart2013 Designs met controlegroep en (dependent) pretest Control group design with pretest and posttest samples NR  O 1  X  O NR  O 1  _  O 2 (a.k.a. nonequivalent comparison group design)

NVMO 27 maart2013 Designs met controlegroep en (independent) pretest Cohort control group design NR  O NR  _  X  O 2 (vergelijken van jaargroepen in onderwijssituaties)

NVMO 27 maart2013 Designs met controlegroep en (dependent) pretest Cohort control group design met multiple pretests NR  O 1  O NR  __  __  O 3  X  O 4 (voordeel: vergelijkbare groepen, nadeel: history)

NVMO 27 maart2013 Hoe kies ik het meest geschikte design? Geen “recept”, maar: case building

NVMO 27 maart2013 Hoe kies ik het meest geschikte design? Geen “recept”, maar: case building Formuleer de belangrijkste potentiële bedreigingen van de interne validiteit van je onderzoek

NVMO 27 maart2013 Hoe kies ik het meest geschikte design? Geen “recept”, maar: case building Formuleer de belangrijkste potentiële bedreigingen van de interne validiteit van je onderzoek Kies dan design features (pretests, controlegroep, etc.)

NVMO 27 maart2013 Hoe kies ik het meest geschikte design? Geen “recept”, maar: case building Formuleer de belangrijkste potentiële bedreigingen van de interne validiteit van je onderzoek Kies dan design features (pretests, controlegroep, etc.) Probeer voorbeelden uit de literatuur te vinden

NVMO 27 maart2013 Hoe kies ik het meest geschikte design? Geen “recept”, maar: case building Formuleer de belangrijkste potentiële bedreigingen van de interne validiteit van je onderzoek Kies dan design features (pretests, controlegroep, etc.) Probeer voorbeelden uit de literatuur te vinden Kies pas in laatste instantie de eventuele statistische controls

NVMO 27 maart2013 A cautionary note: Zelfs een volgens de regels van de kunst opgezet en uitgevoerd (quasi-)experiment vertelt je alleen dat de interventie het resultaat heeft veroorzaakt, maar niet waarom dat het geval is (bv. placebo effect)