Onderzoeksontwerp Jac Christis & Annet Jantien Smit maart 2017

“As we begin our discussion” 30 June - 2 July 2014 Network Analysis, Jac Christis

De cursus Opdracht: breder palet aan designs dan alleen RCT’s Dagdeel 1: overzicht designs van fundamenteel en toegepast onderzoek Dagdeel 2: uitwerking toegepast onderzoek, met speciale aandacht evaluatie studie/effect studie Dagdeel 3: methoden van data constructie en wat verder ter tafel komt

Uitgangspunt Twee vormen praktijkgericht onderzoek (van de kundes) Fundamenteel: genereren nieuwe kennis voor wetenschap (kennisprobleem wetenschap) Toegepast: toepassen bestaande kennis op individueel probleemgeval (handelingsprobleem praktijk) Geneeskunde, werktuigbouwkunde, enzovoort: “[…], though it may apply science, is not the same as or entirely applied science” (Vincenti 1990: 4) Vincenti (1990) What engineers know and how they know it

Twee opvattingen Wij: Praktijkgericht onderzoek Fundamenteel Toegepast Anderen: Onderzoek Fundamenteel Praktijkgericht (theoriegericht) 30 June - 2 July 2014 Network Analysis, Jac Christis

Een beslisboom Formuleer onderzoeksvraag Bepaal aard onderzoek Fundamenteel Toegepast Beschrijven Verklaren Bepaal design ahv vraag Diagnostisch Ontwerp Implementatie Evaluatie 30 June - 2 July 2014 Network Analysis, Jac Christis

Combineren toegepast en fundamenteel onderzoek Wetenschappelijke stroom Kennisstroom Praktijkstroom

Wat is empirisch onderzoek? Empirisch onderzoek: beantwoorden van onderzoeksvraag door het verzamelen en analyseren van gegevens Gemeenschappelijk kenmerk van elk empirisch onderzoek Methoden van data constructie Methoden van data analyse Dit heet vaak: onderzoeksmethoden. Kwaliteitscriteria: Meetvaliditeit Meetbetrouwbaarheid (Validiteit data analyse)

Onderzoeksopzet Formuleer je onderzoeksvraag Bepaal welke gegevens je nodig hebt Bepaal hoe je die gegevens verzamelt Verzamel en analyseer de gegevens Beantwoord je onderzoeksvraag Is dit – altijd – voldoende, dat wil zeggen, hoe weet je waarover je gegevens moet verzamelen (waar kijk je dan naar)?

Welke gegevens heb je nodig? Voor het bepalen van de benodigde gegevens kijk je Naar je onderzoeksvraag Naar je theorie (over oorzaken en gevolgen) Naar je design (bewijskracht) Beschrijvend onderzoek: kijk naar onderzoeksvraag Verklarend onderzoek: onderzoeksvraag plus de theorie die je gebruikt (toetsen of toepassen) Beschrijvend en verklarend onderzoek: je design, dat wil zeggen, de strategie om je idee te bewijzen

Beschrijvend onderzoek Beschrijven: gegevens verzamelen, categoriseren en zoeken naar patronen. Het belang ervan Vaak direct praktisch relevant (allerlei organisaties die gegevens verzamelen) Voorbereiding voor verklarend onderzoek: naar de oorzaken van de gevonden verschijnselen/patronen Vergelijk Stapel over vlees eten en agressief gedrag Is beschrijvend en niet verklarend onderzoek Data verzonnen: je gaat artefact van onderzoek verklaren

Verklarend onderzoek Beschrijven: wat is het geval (werkt het)? Verklaren: waarom is dat het geval (waarom werkt het)? Verklaren is beschrijven in termen van oorzaken en gevolgen en daar heb je een theorie voor nodig Nieuwe theorie toetsen: fundamenteel onderzoek Bestaande theorie toepassen: toegepast onderzoek Dus: theoretische verantwoording en onderzoeksmodel Fundamenteel: vullen kennisleemte Toegepast: selecteren uit bestaande kennis

Causaal verklaren Oorzaak x produceert door haar inwerking op systeem z uitkomst y (‘mechanism, context, outcome model’) x y Aspirines (x) verlichten hoofdpijn (y) Niet regelmaat: doen aspirines niet altijd Wel causale capaciteit: aspirines kunnen dat doen Maar niet altijd: afhankelijk van toestand systeem z Causaal mechanisme: proces tussen x en y Systeem z 30 June - 2 July 2014 Network Analysis, Jac Christis

Bewijzen: je design Interne validiteit: hoe kan ik bewijzen dat x en niet andere factoren y veroorzaken? Externe validiteit: kan ik generaliseren naar de populatie?

Alternatieve designs effectmeting Experiment: variëren x, registreren y en controleren voor andere factoren (werkt het?) Laboratorium experiment RCT: verschil interventie en controle groep Natuurlijk experiment SCE: wat gebeurt als je de interventie stopt? Gevalsstudie: kijken naar wat tussen x en y gebeurt: het causale mechanisme (waarom werkt het) ‘Program theory evaluation’

RCT

Single Case Experiment

Programma theorie

Program theory evaluation Programma theorie: over het causale proces tussen x en y Interveniërende (mediators) en modererende (moderators) variabelen Werkzame mechanismen (CMOs: Context, Mechanism, Outcome) Process tracing Als programma theorie, dan Theoretische verantwoording: gehanteerde theorie Onderzoeksmodel: x leidt via a, b en c in context z tot y Data constructie: over a, b, c en z 30 June - 2 July 2014 Network Analysis, Jac Christis

Kwaliteitscriteria Kwaliteitscriteria design: Interne validiteit: klopt mijn verklaring? Externe validiteit: kan ik die ook generaliseren? Kwaliteitscriteria data constructie: Meet validiteit Meet betrouwbaarheid Kwaliteitscriterium data analyse Analyse validiteit

Kwantitatief/kwalitatief? Het onderscheid tussen kwantitatief en kwalitatief: Aantal cases (kleine en grote n) Meetniveaus: nominaal, ordinaal, interval, ratio Analyse techniek: statistisch, visueel, inhoudsanalyse, set theorie Sluiten elkaar niet uit, dus beter (informatiever): Design: bv gevalsstudie Data constructie: bv ‘story telling’ Data analyse: bv inhoudsanalyse

Wat doen studenten? Onderzoek bij bedrijf x (school y, sportvereniging z): Wat zijn de problemen? Wat zijn daar de oorzaken van? Hoe kunnen de problemen opgelost worden? Onderzoek bij een bedrijf (n = 1) dus kwalitatieve gevalsstudie: Voordeel: in de diepte onderzoeken (interne validiteit) Nadeel: generaliseringsproblemen (externe validiteit) Klopt dit (vergelijk het met een bezoek aan de huisarts)?

Bezoek aan de huisarts Diagnostisch onderzoek: Inventariseren problemen: klachten, symptomen Zoeken naar oorzaak: virus, dus Spaanse griep Behandelplan Vraag: kunt U dit generaliseren? Antwoord: onzinnige vraag, want of U de Spaanse griep heeft is onafhankelijk van de vraag of anderen de Spaanse griep hebben 30 June - 2 July 2014 Network Analysis, Jac Christis

Toegepast onderzoek Toegepast onderzoek is altijd n = 1 onderzoek, want je past bestaande kennis toe op een probleemgeval Bestaande kennis, dus vraag: Is niet: kan ik generaliseren naar de populatie? Is wel: tot welke van de bekende populaties behoort X? Virus infecties Bacteriële infecties Hypochonders Persoon X 30 June - 2 July 2014 Network Analysis, Jac Christis

Let op! Let op het verschil tussen: Je onderzoekseenheid (je case, bijvoorbeeld een klas) Je waarnemingseenheden (de ondervraagde of geobserveerde leerlingen) Je metingen: een of meer per leerling 30 June - 2 July 2014 Network Analysis, Jac Christis

Diagnostisch onderzoek Werkdrukonderzoek bij ALO met gestandaardiseerde vragenlijst Alhoewel een case (ALO als probleemgeval), geen kwalitatieve gevalsstudie, want Vragenlijst: veel waarnemingseenheden Kwantitatieve data analyse Geen generaliseringsproblemen: je toetst geen nieuwe theorie Gerring (2007): diagnostisch onderzoek is geen gevalsstudie. Het verschil tussen: Fundamenteel onderzoek: nieuwe theorie bewijzen Toegepast onderzoek: bewezen theorie toepassen op probleem geval

Praktijkgericht onderzoek Praktijkgericht onderzoek: kan fundamenteel en toegepast zijn. Vergelijk fundamenteel AIDS onderzoek: Beschrijvend: hoeveel mensen hebben aids, welke mensen, waar komt het voor, enzovoort? Verklarend: wordt het veroorzaakt door een bacterie, leefstijl of virus (concurrerende onderzoeksprogramma’s) Toegepast onderzoek: nooit fundamenteel, want toepassen bestaande kennis in bv diagnostisch onderzoek ‘symptom-based’: set van symptomen ‘cause-based’: symptomen plus oorzaak/virus Dus: alleen toegepast onderzoek heeft eigen methodologie

Onderscheidingen De praktijkgerichte wetenschappen (kundes) beoefen je als Onderzoeker Professional Kennisprobleem wetenschap * Handelingsprobleem praktijk Genereert nieuwe w. kennis * Past bestaande w. kennis toe Fundamenteel onderzoek * Toegepast onderzoek Productdefinitie wetenschap * Procesdefinitie wetenschap Empirische cyclus * Interventiecyclus

De empirische cyclus Patronen Hypothesen De empirische cyclus (dialoog tussen idee en bewijs): Theorie abductie deductie Patronen Hypothesen inductie toetsing Empirie Weegbree voorbeeld Empirisch onderzoek: beschrijven en verklaren/toetsen

Beschrijvend (inductief) onderzoek

Voorbeelden Abductieve fase: de creativiteit van de onderzoeker(s) Aidsonderzoek Weegbree Ziekteverzuim Abductieve fase: de creativiteit van de onderzoeker(s) Deductieve fase: Als oorzaak Xa dan ook gevolg Ya1, Ya2 en Ya3 Als oorzaak Xb, dan ook gevolg Yb1, Yb2 en Yb3 Vergelijken: niet nul en alternatieve hypothese, maar theorie a en b 30 June - 2 July 2014 Network Analysis, Jac Christis

Interventiecyclus (DOVE) Interventiecyclus: dialoog tussen probleem en oplossing Diagnose Evaluatie Ontwerp Verandering/ Implementatie Interveniëren vereist zowel ontwerpkundige (wat) als veranderingskundige (hoe) kennis en vaardigheden

Toegepast onderzoek Diagnostisch onderzoek: Beschrijven: wat zijn de problemen (kloofanalyse)? Verklaren: wat zijn daarvan de oorzaken (onderzoeksmodel)? Ontwerpgericht onderzoek: wat is de beste oplossing? Bepalen functionele vereisten (doelen) Genereren van alternatieve oplossingen (middelen) Selecteren oplossing: mbv functionele vereisten Implementatie onderzoek: hoe implementeren? Projectorganisatie: wie moet wat wanneer doen? Veranderingskundig: hoe creëer je draagvlak? Evaluatie onderzoek: doelstellingen bereikt? Beschrijven: kloofanalyse Verklaren: oorzaken succes/falen

Gedragsverandering Wat wij doen (denken en voelen) relateren aan persoon en/of omgeving Persoon: * Motivaties Karakter * Vaardigheden Handelen Omgeving: Handelingsmogelijkheden/beperkingen * Structuur * Cultuur 30 June - 2 July 2014 Network Analysis, Jac Christis

Growth Diagnostics

Oorzaken en gevolgen Diagnostisch onderzoek: oorzaken van ongewenste gevolgen Ontwerpgericht onderzoek: oorzaken van gewenste gevolgen, dus middelen voor bereiken doelen Functioneel alternatieve middelen (genereren) Multifunctionele middelen (selecteren) 30 June - 2 July 2014 Network Analysis, Jac Christis

Evaluatieonderzoek Beschrijvend: kloof tussen feitelijke en gewenste situatie Verklarend gedeelte: Geen kloof: ligt dat aan de interventie? Wel kloof: ligt dat aan Verkeerde diagnose (probleem en oorzaken)? Verkeerd ontwerp oplossing? Verkeerde implementatie? 30 June - 2 July 2014 Network Analysis, Jac Christis

Interventiecyclus De meest gemaakte fouten: denken te weten wat het probleem is zonder dat onderzocht te hebben wat de oorzaken zijn zonder die onderzocht te hebben wat de oplossing is, zonder dat onderzocht te hebben dat er draagvlak is zonder dat onderzocht te hebben 30 June - 2 July 2014 Network Analysis, Jac Christis

Handtekeningen: Auteur: Datum: Versie: De A3 methode 14/09/2018 Achtergrond/Aanleiding Tegenmaatregelen / oplossingen / future state Huidige situatie/Current State Implementatie planning Doelen Analyse Monitoring, Issues, Next steps Handtekeningen: Auteur: Datum: Versie:

Vormen van onderzoek Conceptueel Theoretisch Empirisch Genereren nieuwe kennis Toepassen bestaande kennis (empirische cyclus) (interventiecyclus) Beschrijvend Diagnostisch Ontwerpgericht Verklarend Implementatie Evaluatie De vier discussies (conceptueel, theoretisch, empirisch, praktisch)

Voorbeelden van vragen Overgenomen uit Swanborn. Diens vuistregel: Beschrijvend: wat is het geval? Verklarend: waarom is dat zo? Praktijkgericht: wat moeten we doen?

Oefenopdracht Na de koeien en de kippen sterven nu schapen in grote getale. Ze vertonen een set van symptomen die in deze combinatie nieuw is. We noemen deze set van symptomen ‘de gekke schapenziekte’ (definitie) Formuleer rond dit verschijnsel een beschrijvende, verklarende, diagnostische, ontwerpgerichte, implementatiegerichte en evaluatieve onderzoeksvraag.

www.hanze.nl

Praktijkgericht onderzoek: ‘basic and applied’ “[Engineering], though it may apply science, is not the same as … applied science” (Vincenti) Network Analysis, Jac Christis

Taal problemen De woorden die we gebruiken als we spreken over onderzoeksmethodologie. Soms gebruiken we Hetzelfde woord, maar in verschillende betekenissen Verschillende woorden, maar in dezelfde betekenis Verschillende woorden met verschillende betekenissen Het zou prettig zijn als we dezelfde taal spreken. Is dat mogelijk? Hoe voer je een conceptuele discussie? Onderzoeksmodel Onderzoeksmodel en conceptueel model Lineair en cyclisch onderzoek Elkaars taal leren begrijpen (Kuhn)

Taal en theorie Taal gebruiken we om Te beschrijven: daarvoor hebben we begrippen nodig Te verklaren: beschrijven in termen van oorzaken en gevolgen Daarvoor hebben we een theorie over oorzaken en gevolgen nodig Zonder begrippen weten we niet wat we zien Zonder theorieën weten we niet waar we moeten kijken 30 June - 2 July 2014 Network Analysis, Jac Christis

Verklaren

Onderzoeksontwerp: fundamenteel Onderzoeksontwerp ‘Experimental’ ‘Observational’ Lab RCT Natural SCE Variable oriented () Case oriented Cross sectional Longitudinal Single Comparative Ethnographic Process Tracing Small N Large N 30 June - 2 July 2014 Network Analysis, Jac Christis

Data constructie: meten Het meten van de afhankelijke en onafhankelijke variabelen uit je onderzoek Definiëren Operationaliseren (begrip, dimensies en indicatoren) Meten Het verschil tussen operationaliseren (vooraf) en coderen (achteraf) 30 June - 2 July 2014 Network Analysis, Jac Christis

Validiteit “Threats to validity are specific reasons why we can be partly or completely wrong when we make an inference about covariance, about causation, about constructs, or about whether the causal relationship holds over variations in persons, settings, treatments, and outcomes” (SCC, p. 39). 30 June - 2 July 2014 Network Analysis, Jac Christis