Experimenteel en quasi-experimenteel onderzoek Deel 3 Experimenteel en quasi-experimenteel onderzoek Chapter 16. Experimental and Quasi-Experimental Research

Vaststellen van oorzaak-gevolg relaties door manipulatie van OV en effect op AV Meestal eerst correlationeel onderzoek dan experiment om oorzaak-gevolg vast te stellen

OORZAAK-GEVOLG Goed theoretisch kader Passende subjecten Passend experimenteel onderzoeksopzet Correcte statistiek Juiste selectie en contrôle van OV Juiste selectie en meting van AV Correcte interpretatie van resultaten

1. Bedreigingen voor validiteit Interne validiteit : experiment zelf valide Externe validiteit : generaliseerbaarheid  Interne validiteit   Externe validiteit alles onder contrôle  ver weg van realiteit

KEUZE maken : wat is belangrijkst : interne of externe validiteit ??? Procedure : Eerst veel contrôle : hoge interne validiteit ten koste van externe Indien effect : dan meer experimenten met hogere externe validiteit eventueel ten koste van de interne validiteit

2. Negen bedreigingen voor interne validiteit Indien met deze bedreigingen geen rekening gehouden wordt, en ze niet gecontroleerd worden, is het moeilijk om veranderingen in AV toe te schrijven aan OV

2.1.History Iets dat zich tijdens het experiment voordoet, niet bedoeld was, en een bedreiging vormt voor interne validiteit Bv. Tijdens een interventie (bv. 2 soorten instructies) krijgt de helft van de groep ook nog ‘toevallig’ extra lessen

2.2. Maturatie Voor onderzoek dat loopt over langere tijd Rijpingeffect is concurrent van interventie-effect Vooral bij kinderen en adolescenten

2.3. Testeffect Als een test 2 of meer keer wordt afgenomen Subjecten ‘leren’ van invullen van de test alleen Zowel voor kennis als attitude als presteren

2.4. Instrument Na een tijd gaan instrumenten minder precies meten Observatoren gaan na een tijd anders coderen

2.5. Statistische regressie Groepen die geselecteerd zijn op basis van extreme scores Laag actief – hoog actief Laag angst – hoog angst zullen bij een volgende afname minder extreem scoren = regressie naar midden

2.6. Selectie bias Groep dat meedoet aan het experiment is op voorhand reeds geselecteerd Bv. Gebruik van vrijwilligers Bv. Subjecten niet representatief voor de populatie

2.7. Uitval van subjecten Uitval van controlegroep : geen actie niet meer meedoen Uitval uit experimentele groep : te moeilijk, te lastig, te tijdsintensief, ….

2.8. Selectie-maturatie interactie Indien twee groepen meedoen waarbij 1 groep experimentele en 1 groep controlegroep kunnen maturatieverschillen in beide groepen resultaten vertekenen

2.9. Verwachting Indien men weet wie in welke conditie zit : effect op scoring, codering, omgang = Self-fulfilling prophecy

3. Vier bedreigingen van externe validiteit 3.1. Testeffect Op voorhand testen van subjecten kan hen meer gevoelig maken voor participatie Zelfde programma slaat minder aan bij populatie die niet gepretest is

3.2. Interactie tussen selectie bias en experimentele manipulatie Een interventie kan wel werkzaam zijn in een specifieke populatie (bv. Jongeren) maar niet werkzaam in een andere

3.3. Reactiviteit door experimentele manipulatie Subjecten gaan enkel zo reageren in experimentele situatie maar niet in het werkelijke leven Hawthorne effect : gedrag van subjecten verandert als men er aandacht aan besteedt

3.4. Multiple interventies Als subjecten doorheen verschillende interventies gaan kunnen deze allen een aditioneel effect hebben Geen conclusies trekken over 1 manipulatie als er meerdere zijn gebeurd

4. Contrôle van bedreigingen van interne validiteit Trachten om bedreigingen zoveel mogelijk op te vangen zodat de kans groter wordt dat manipulatie van OV werkelijk effect in AV verklaart

4.1. Randomisatie Geen verschillen tussen groepen bij het begin van experiment Is antwoord op history effecten VOOR begin van experiment, niet TIJDENS experiment Antwoord op maturatie, statistische regressie, selectie bias, selectie-maturatie interactie

Techniek van gematchte paren : eerst groepen testen op bepaalde karakteristiek en dan indelen zodat de twee groepen ongeveer gelijk zijn : dit is GEEN GOEDE techniek : verborgen variabelen !! Within-subjects designs : subjecten zijn hun eigen controles : beide condities doen : volgorde counterbalanceren en random toewijzen aan volgorde

4.2. Placebo, blind en dubbel blind Placebo : echt of psychologisch effect ? Zelfde aandacht en interactie met onderzoeker Blinde studie : subjecten weten niet of ze experimentele of controleconditie zijn Dubbel blind : noch subjecten noch tester weten in welke conditie subjecten zitten

Deze technieken zijn een antwoord op controleren van Hawthorne-effecten, verwachtingseffecten, halo effecten of Avis-effect (subjecten in de controlegroep doen harder hun best omdat ze weten dat ze in de controlegroep zitten)

4.3. Niet gecontroleerd … Door randomisatie en blind onderzoeken kunnen veel bedreigingen beantwoord worden maar : Testeffect niet, wel door soort design (later) Instrument : validiteit en betrouwbaarheid vaststellen Uitval van subjecten : aangenaam maken, goed uitleggen, beloning, …

5. Contrôle van bedreigingen van externe validiteit Ook hier random selectie zeer belangrijk Ecologische validiteit ? Heeft de experimentele situatie voldoende kenmerken van « real life ? » Kan het experiment ook in veldsetting worden uitgevoerd ?

6. Soorten onderzoeksopzetten PRE-EXPERIMENTELE designs Weinig contrôle van interne validiteit Geen randomisering van subjecten

6.1. One-shot studie T O Interventie en daarna meting naar effect Geen oorzaak – gevolg Zeer zwak design

6.2. Eén groep Pre-test Post-test O1 T O2 Zwak design Toch al verandering kunnen meten Niet zeker of alleen de interventie verantwoordelijk is voor het effect History effecten of rijping

6.3. Statische groep vergelijking T O1 …………………… O2 Vergelijking van twee groepen Groepen niet gerandomiseerd, wel bestaand Selectie effect en selectie-maturatie effect

BESLUIT Deze drie pre-experimentale design laten geen conclusie toe over verandering in AV te wijten aan verandering in OV Meestal zuiver TIJDVERLIES

ECHTE EXPERIMENTELE designs Random toewijzing van de groepen Ervoor zorgen dat tijdens het experiment geen (onverwachte) interventie gebeurt voor 1 van beide groepen er geen instrument problemen zijn er geen differentiële uitval is (experimentele mortaliteit)

6.4. Gerandomiseerd groepdesign R T O1 R O2 Is vergelijkbaar met statische groeps-vergelijking maar hier wel random Indien andere bedreigingen van interne validiteit voldoende gecontroleerd worden : oorzaak –gevolg is mogleijk

R T1 O1 R T2 O2 R O3 Twee soorten behandelingen worden met elkaar vergeleken Via ANOVA drie observaties contrasteren

R A1 B 1 O1 R A1 B 2 O2 R A2 B 1 O3 R A2 B 2 O4 R A3 B 1 O5 R A3 B 2 O6 3 x 2 factorieel opzet waarbij er 2 OV zijn A met 3 niveau’s en B met 2 niveau’s

B 1 2 1 2 3 A1 B1 A1 B2 A2 B1 A2 B2 A3 B1 A3 B2 A

Random toewijzing aan de zes cellen Analyses met two-way ANOVA Hoofdeffect van A Hoofdeffect van B Interactie-effect A*B Kan nog verder complexer gemaakt worden

6.5. Pre-test Post-test gerandomiseerd groepsdesign R O1 T O2 R O3 O4 Is er meer verandering in de experimentele groep in vergelijking tot de controlegroep Testeffect wordt gecontroleerd

Statistische verwerking : Met anova voor herhaalde metingen (repeated measures) Met anova uitgezuiverd voor pre-test scores Met anova op verschilscores

6.6. Solomon Four groepsdesign R O1 T O2 R O3 O4 R T O5 R O6 Enig opzet waar testeffecten kunnen uitgesloten worden

Meest sterke design dat de meeste bedreigingen voor validiteit controleert Maar zeer veel subjecten nodig : dubbel zoveel enkel om testeffect te bekijken : wordt dan ook zelden gebruikt

QUASI-EXPERIMENTELE designs Als externe of ecologische validiteit wil verhoogd worden is strenge contrôle soms moeilijk of onmogelijk Quasi-experimenteel : om experimenten in « real world » settings te kunnen uitvoeren

6.7. Time series design Tijdreeksen analyse O1 O2 O3 O4 T O5 O6 O7 O8 Slechts 1 groep Toont dat invoegen van interventie een ander effect heeft dan geen interventie

Effect van behandeling Treatment

6.8. Reversal design O1 O2 T1 O3 O4 T2 O5 O6 Opnieuw bekijken op grafiek T2 T1

6.9. Non-equivalent contrôle groep design O1 T O2 …………………………….. O3 O4 Equivalent met pre-test post-test gerandomiseerd groepsdesign, maar niet gerandomiseerd Dan kijken naar pre-test verschillen en hiervoor controleren

6.10. Ex post facto design Vergelijking tussen twee groepen waarvan we weten dat ze op bepaalde karakterisitieken verschillend zijn Fit –niet fit Atleten – niet-atleten Vrouwelijke sporters – mannelijke sporters Welke variabelen discrimineren tussen deze groepen