Experimenteel en quasi-experimenteel onderzoek

Presentatie over: "Experimenteel en quasi-experimenteel onderzoek"— Transcript van de presentatie:

1 Experimenteel en quasi-experimenteel onderzoek
Deel 3 Experimenteel en quasi-experimenteel onderzoek Chapter 16. Experimental and Quasi-Experimental Research

2 Vaststellen van oorzaak-gevolg relaties door manipulatie van OV en effect op AV
Meestal eerst correlationeel onderzoek dan experiment om oorzaak-gevolg vast te stellen

3 OORZAAK-GEVOLG Goed theoretisch kader Passende subjecten Passend experimenteel onderzoeksopzet Correcte statistiek Juiste selectie en contrôle van OV Juiste selectie en meting van AV Correcte interpretatie van resultaten

4 1. Bedreigingen voor validiteit
Interne validiteit : experiment zelf valide Externe validiteit : generaliseerbaarheid  Interne validiteit   Externe validiteit alles onder contrôle  ver weg van realiteit

5 KEUZE maken : wat is belangrijkst : interne of externe validiteit ???
Procedure : Eerst veel contrôle : hoge interne validiteit ten koste van externe Indien effect : dan meer experimenten met hogere externe validiteit eventueel ten koste van de interne validiteit

6 2. Negen bedreigingen voor interne validiteit
Indien met deze bedreigingen geen rekening gehouden wordt, en ze niet gecontroleerd worden, is het moeilijk om veranderingen in AV toe te schrijven aan OV

7 2.1.History Iets dat zich tijdens het experiment voordoet, niet bedoeld was, en een bedreiging vormt voor interne validiteit Bv. Tijdens een interventie (bv. 2 soorten instructies) krijgt de helft van de groep ook nog ‘toevallig’ extra lessen

8 2.2. Maturatie Voor onderzoek dat loopt over langere tijd
Rijpingeffect is concurrent van interventie-effect Vooral bij kinderen en adolescenten

9 2.3. Testeffect Als een test 2 of meer keer wordt afgenomen
Subjecten ‘leren’ van invullen van de test alleen Zowel voor kennis als attitude als presteren

10 2.4. Instrument Na een tijd gaan instrumenten minder precies meten
Observatoren gaan na een tijd anders coderen

11 2.5. Statistische regressie
Groepen die geselecteerd zijn op basis van extreme scores Laag actief – hoog actief Laag angst – hoog angst zullen bij een volgende afname minder extreem scoren = regressie naar midden

12 2.6. Selectie bias Groep dat meedoet aan het experiment is op voorhand reeds geselecteerd Bv. Gebruik van vrijwilligers Bv. Subjecten niet representatief voor de populatie

13 2.7. Uitval van subjecten Uitval van controlegroep : geen actie niet meer meedoen Uitval uit experimentele groep : te moeilijk, te lastig, te tijdsintensief, ….

14 2.8. Selectie-maturatie interactie
Indien twee groepen meedoen waarbij 1 groep experimentele en 1 groep controlegroep kunnen maturatieverschillen in beide groepen resultaten vertekenen

15 2.9. Verwachting Indien men weet wie in welke conditie zit : effect op scoring, codering, omgang = Self-fulfilling prophecy

16 3. Vier bedreigingen van externe validiteit 3.1. Testeffect
Op voorhand testen van subjecten kan hen meer gevoelig maken voor participatie Zelfde programma slaat minder aan bij populatie die niet gepretest is

17 3.2. Interactie tussen selectie bias en experimentele manipulatie
Een interventie kan wel werkzaam zijn in een specifieke populatie (bv. Jongeren) maar niet werkzaam in een andere

18 3.3. Reactiviteit door experimentele manipulatie
Subjecten gaan enkel zo reageren in experimentele situatie maar niet in het werkelijke leven Hawthorne effect : gedrag van subjecten verandert als men er aandacht aan besteedt

19 3.4. Multiple interventies
Als subjecten doorheen verschillende interventies gaan kunnen deze allen een aditioneel effect hebben Geen conclusies trekken over 1 manipulatie als er meerdere zijn gebeurd

20 4. Contrôle van bedreigingen van interne validiteit
Trachten om bedreigingen zoveel mogelijk op te vangen zodat de kans groter wordt dat manipulatie van OV werkelijk effect in AV verklaart

21 4.1. Randomisatie Geen verschillen tussen groepen bij het begin van experiment Is antwoord op history effecten VOOR begin van experiment, niet TIJDENS experiment Antwoord op maturatie, statistische regressie, selectie bias, selectie-maturatie interactie

22 Techniek van gematchte paren : eerst groepen testen op bepaalde karakteristiek en dan indelen zodat de twee groepen ongeveer gelijk zijn : dit is GEEN GOEDE techniek : verborgen variabelen !! Within-subjects designs : subjecten zijn hun eigen controles : beide condities doen : volgorde counterbalanceren en random toewijzen aan volgorde

23 4.2. Placebo, blind en dubbel blind
Placebo : echt of psychologisch effect ? Zelfde aandacht en interactie met onderzoeker Blinde studie : subjecten weten niet of ze experimentele of controleconditie zijn Dubbel blind : noch subjecten noch tester weten in welke conditie subjecten zitten

24 Deze technieken zijn een antwoord op controleren van
Hawthorne-effecten, verwachtingseffecten, halo effecten of Avis-effect (subjecten in de controlegroep doen harder hun best omdat ze weten dat ze in de controlegroep zitten)

25 4.3. Niet gecontroleerd … Door randomisatie en blind onderzoeken kunnen veel bedreigingen beantwoord worden maar : Testeffect niet, wel door soort design (later) Instrument : validiteit en betrouwbaarheid vaststellen Uitval van subjecten : aangenaam maken, goed uitleggen, beloning, …

26 5. Contrôle van bedreigingen van externe validiteit
Ook hier random selectie zeer belangrijk Ecologische validiteit ? Heeft de experimentele situatie voldoende kenmerken van « real life ? » Kan het experiment ook in veldsetting worden uitgevoerd ?

27 6. Soorten onderzoeksopzetten PRE-EXPERIMENTELE designs
Weinig contrôle van interne validiteit Geen randomisering van subjecten

28 6.1. One-shot studie T O Interventie en daarna meting naar effect
Geen oorzaak – gevolg Zeer zwak design

29 6.2. Eén groep Pre-test Post-test
O1 T O2 Zwak design Toch al verandering kunnen meten Niet zeker of alleen de interventie verantwoordelijk is voor het effect History effecten of rijping

30 6.3. Statische groep vergelijking
T O1 …………………… O2 Vergelijking van twee groepen Groepen niet gerandomiseerd, wel bestaand Selectie effect en selectie-maturatie effect

31 BESLUIT Deze drie pre-experimentale design laten geen conclusie toe over verandering in AV te wijten aan verandering in OV Meestal zuiver TIJDVERLIES

32 ECHTE EXPERIMENTELE designs
Random toewijzing van de groepen Ervoor zorgen dat tijdens het experiment geen (onverwachte) interventie gebeurt voor 1 van beide groepen er geen instrument problemen zijn er geen differentiële uitval is (experimentele mortaliteit)

33 6.4. Gerandomiseerd groepdesign
R T O1 R O2 Is vergelijkbaar met statische groeps-vergelijking maar hier wel random Indien andere bedreigingen van interne validiteit voldoende gecontroleerd worden : oorzaak –gevolg is mogleijk

34 R T1 O1 R T2 O2 R O3 Twee soorten behandelingen worden met elkaar vergeleken Via ANOVA drie observaties contrasteren

35 R A1 B 1 O1 R A1 B 2 O2 R A2 B 1 O3 R A2 B 2 O4 R A3 B 1 O5 R A3 B 2 O6 3 x 2 factorieel opzet waarbij er 2 OV zijn A met 3 niveau’s en B met 2 niveau’s

36 B 1 2 3 A1 B1 A1 B2 A2 B1 A2 B2 A3 B1 A3 B2 A

37 Random toewijzing aan de zes cellen Analyses met two-way ANOVA
Hoofdeffect van A Hoofdeffect van B Interactie-effect A*B Kan nog verder complexer gemaakt worden

38 6.5. Pre-test Post-test gerandomiseerd groepsdesign
R O1 T O2 R O3 O4 Is er meer verandering in de experimentele groep in vergelijking tot de controlegroep Testeffect wordt gecontroleerd

39 Statistische verwerking :
Met anova voor herhaalde metingen (repeated measures) Met anova uitgezuiverd voor pre-test scores Met anova op verschilscores

40 6.6. Solomon Four groepsdesign
R O1 T O2 R O3 O4 R T O5 R O6 Enig opzet waar testeffecten kunnen uitgesloten worden

41 Meest sterke design dat de meeste bedreigingen voor validiteit controleert
Maar zeer veel subjecten nodig : dubbel zoveel enkel om testeffect te bekijken : wordt dan ook zelden gebruikt

42 QUASI-EXPERIMENTELE designs
Als externe of ecologische validiteit wil verhoogd worden is strenge contrôle soms moeilijk of onmogelijk Quasi-experimenteel : om experimenten in « real world » settings te kunnen uitvoeren

43 6.7. Time series design Tijdreeksen analyse O1 O2 O3 O4 T O5 O6 O7 O8
Slechts 1 groep Toont dat invoegen van interventie een ander effect heeft dan geen interventie

44 Effect van behandeling
Treatment

45 6.8. Reversal design O1 O2 T1 O3 O4 T2 O5 O6
Opnieuw bekijken op grafiek T2 T1

46 6.9. Non-equivalent contrôle groep design
O1 T O2 …………………………….. O3 O4 Equivalent met pre-test post-test gerandomiseerd groepsdesign, maar niet gerandomiseerd Dan kijken naar pre-test verschillen en hiervoor controleren

47 6.10. Ex post facto design Vergelijking tussen twee groepen waarvan we weten dat ze op bepaalde karakterisitieken verschillend zijn Fit –niet fit Atleten – niet-atleten Vrouwelijke sporters – mannelijke sporters Welke variabelen discrimineren tussen deze groepen