Methoden van Onderzoek Hoorcollege 2: Onderzoeksontwerp

Onderzoeksontwerpen Interne validiteit: éénduidigheid relatie afhankelijke onafhankelijke variabele Veel problemen met interne validiteit kun je oplossen met het onderzoeksdesign Weergave ondezoeksontwerpen: O: observatie X: Manipulatie (R): Randomisatie (M): Matching

One shot case Interne validiteit Voorbeelden: Houtkoop (1991) Examens Fiets X O

Examenprestaties

One shot case Interne validiteit Voorbeelden: Houtkoop (1991) Examens Fiets X O

Validiteitsbedreigende factoren: Geschiedenis Rijping Instrumentatie Selectie Uitval Regressie naar het gemiddelde

Eén-groep-voortoets-natoets-ontwerp: Voorbeeld: Economie Hoorcolleges O X

Voortoets-natoets-controle-groep-ontwerp (1) Voorbeeld: Onderwijsonderzoek Controlegroep hoorcolleges O X

Voortoets-natoets-controle-groep-ontwerp (2) Voorbeeld: Observerend leren (R) O X

Voortoets-natoets-controle-groep-ontwerp (3) Effect voormeting? Hoe goed kun je A? Hoe goed kun je B? Etc.

Twee problemen voormeting: Maakt duidelijk wat belangrijk is Veel dingen ‘denk’ je dat je kan, maar … Dus: voormeting lastig

Solomon-vier-groepen-ontwerp Is er een effect van voormeting? Vergelijk (3+4) en (5+6) Groep Voormeting Manipulatie Nameting I Ja (1) Nee Ja (3) II Ja (2) Ja Ja (4) III Ja (5) IV Ja (6)

Solomon-vier-groepen-ontwerp Is er een effect van de manipulatie? Vergelijk (3+5) en (4+6) Groep Voormeting Manipulatie Nameting I Ja (1) Nee Ja (3) II Ja (2) Ja Ja (4) III Ja (5) IV Ja (6)

Natoets-controle-groep-ontwerp Voorbeelden: Fooi serveersters (R) X O1 O2

Vier serveersters 2 in de experimentele- en 2 in de controle-conditie Manipulatie Fooi Herhalen bestelling Geen herhaling

Herhaalde metingen: Voorbeeld: Effect implantaten op horen/taal-leren X O5 O6 O7 O8

Leren ‘tijd’ en ‘aspect’ Spaans Panel designs Leren ‘tijd’ en ‘aspect’ Spaans O1 X O2 O3 O4 O5 O6

Manipulatie

Simpel: één onafhankelijke variabele Complex: twee onafhankelijke variabelen Complexer: drie onafhankelijke variabelen Super complex: vier … Ondoenlijk: vijf …

Factoriële designs: Twee of meer onafhankelijke variabelen Serveersters: Herhalen bestelling (ja vs nee) Glimlachen (ja vs nee) 2x2 factorieel ontwerp

Factoriële designs: Twee of meer onafhankelijke variabelen Onderwijstijd: 1 vs 4 uur Setting: individueel vs groepsgewijs 2x2 factorieel ontwerp

Onderwijstijd 1 uur 4 uur Totaal Setting Individueel In groepjes

Hoofd-effect Onderwijstijd 1 uur 4 uur Totaal Setting Individueel GEM In groepjes Hoofd-effect

Hoofd-effect Hoofdeffect Onderwijstijd 1 uur 4 uur Totaal Setting Individueel GEM In groepjes Hoofd-effect Hoofdeffect

Interactie-effect Hoofd-effect Hoofdeffect Onderwijstijd 1 uur 4 uur Totaal Setting Individueel GEM In groepjes Interactie-effect Hoofd-effect Hoofdeffect

Hoofd-effect Hoofdeffect Onderwijstijd 1 uur 4 uur Totaal Setting Individueel 6 8 7 In groepjes 4 5 Hoofd-effect Hoofdeffect

Hoofd-effect Hoofdeffect Onderwijstijd 1 uur 4 uur Totaal Setting Individueel 5 9 7 In groepjes Hoofd-effect Hoofdeffect

Hoofd-effect Hoofdeffect Onderwijstijd 1 uur 4 uur Totaal Setting Individueel 4 9 7 In groepjes 6 5 Hoofd-effect Hoofdeffect

Hoofd-effect Hoofdeffect Onderwijstijd 1 uur 4 uur Totaal Setting Individueel 5 7 6 In groepjes Hoofd-effect Hoofdeffect

Hoofd-effect Hoofdeffect Onderwijstijd 1 uur 4 uur Totaal Setting Individueel 5 7 6 In groepjes Hoofd-effect Hoofdeffect

Hoofd-effect Hoofdeffect Onderwijstijd 1 uur 4 uur Totaal Setting Individueel 7 In groepjes 5 6 Hoofd-effect Hoofdeffect

Factoriële ontwerpen: Opgezet om interactie-effecten aan te tonen Interactie-effect significant? Hoofdeffecten betekenisloos

Alleen hoofdeffecten: Interactie-effect: Lijnen lopen niet parallel Alleen hoofdeffecten: Lijnen lopen parallel

Interpretatie: Maak een tekening Let op! Formuleer in termen van beide onafhanke-lijke variabelen

Setting: Individueel vs groepsgewijs Onderwijstijd: 1, 2 en 4 uur Setting: Individueel vs groepsgewijs 3x2 factorieel ontwerp Geslacht: Jongens vs. meisjes 3x2x2 factorieel ontwerp

Effect brooddiëet Ontwerp: Conclusie: Brooddieet werkt Zowel ♂ als ♀ in steekproef. Dus: werkt evengoed voor ♂ als ♀ Gewicht Brooddieet 70 Ja 50 Nee

Uitgesplitst naar sekse Voor Dieet Na ♂ 75 Nee 95 85 Ja ♀ 65 55 45 Wat is hier aan de hand?

Conclusie: Wel generaliseren over de hele groep Generalisatie van steekproef naar populatie Niet generalisaren naar specifieke (sub)steekproeven

Effect sesamstraat op schoolprestaties? Geen design uit de kast te trekken! Probleem Quasi-exeperimenteel onderzoek

Leerlingen gaan voor uit! Ze kennen meer letters Ze kennen steeds meer cijfers Effect Sesamstraat? Uitsplitsen naar kijkfrequentie Vergelijken met gegevens broertjes en/of zusjes

Correlationeel onderzoek Verbanden: Relatie SES en schoolprestaties Relatie vooropleiding en studiesucces Relatie IQ en inkomen Relatie motivatie en prestaties Geen oorzaak-gevolg relatie

Correlatiecoëfficiënt: Maximaal 1: perfect positief verband Minimaal -1: perfect negatief verband 0: geen relatie Correlatie tussen motivatie en prestaties circa 0.30

rmotivatie, prestaties = 0.30 Motivate < - > Prestaties Onderzoek

M1 M2 r r P1 P2 Tijdstip 1 Tijdstip 2

M1 M2 r r P1 P2 Tijdstip 1 Tijdstip 2

M1 > 0.3 M2 0.0 0.0 r r P1 P1 > 0.5 Tijdstip 1 Tijdstip 2

Conclusie Prestaties -> Motivatie Prestaties <- Motivatie

The End Daan, Daniël, Maurice