Wetenschappelijk onderzoek Het schrijven van een onderzoeksplan Informatie van Wageningse wetenschappers dr. Ruud Zaalberg dr. Jurian Meijering

Waar gaat deze presentatie over? Wat is wetenschap? Fundamenteel onderzoek (empirische cyclus) Praktijkgericht wetenschappelijk onderzoek (regulatieve cyclus) We gaan het eerst hebben over wat we precies verstaan onder wetenschap En we zullen twee cycli bespreken die je kunnen helpen om onderzoeksvragen te formuleren. De empirische cyclus voor fundamenteel onderzoek en de regulatieve cyclus voor praktijkgericht wetenschappelijk onderzoek

Wat is wetenschap? Kenmerken Empirisch Systematisch Theoretisch Cumulatief Enkele kenmerken die aangeven op welk punt wetenschap zich onderscheidt van andere praktijken zoals bv. religie Empirisch; gebaseerd op waarneming Systematisch; het toepassen van methodologische spelregels (bv. steekproeftrekking) Theoretisch; theorievorming of -toetsing Cumulatief; voortbordurend op reeds uitgevoerd onderzoek en dito uitkomsten

Kenmerken wetenschap Kenmerk Betekenis Empirisch/Systematisch Gebaseerd op waarneembare feiten, verzameld in onderzoek dat herhaalbaar en controleerbaar is Theoretisch/Cumulatief Theorie vorming en hypothese toetsing om kennishiaten op te vullen Empirisch/systematisch: systematisch verzamelen van waarneembare feiten Theoretisch/cumulatief: ontwikkeling en toetsing van (bestaande) theorie om kennishiaten op te vullen Overgang naar wetenschappelijke integriteit door herhaalbaarheid en controleerbaarheid te benadrukken

Wetenschappelijke integriteit Herhaalbaarheid (replicatie) en controleerbaarheid van onderzoek Regels voor correcte uitoefening van wetenschappelijk onderwijs en onderzoek zijn op schrift gesteld om ze te delen en er elkaar, indien nodig, op aan te kunnen spreken Nederlandse Gedragscode Wetenschapsbeoefening (NGW, https://www.knaw.nl/nl/actueel/nieuws/naar-een- nieuwe-gedragscode-voor-de-wetenschap Herhaalbaarheid en controleerbaarheid van onderzoek krijgen steeds meer aandacht, temeer daar er de laatste jaren meerdere malen wetenschapsfraude is vastgesteld (Stapel) en er replicatieonderzoek heeft plaatsgevonden met opmerkelijke resultaten (slechts 40% replicatie van onderzoeksresultaten in de psychologie) Verschillende wetenschappelijke organisaties (o.a. KNAW, NWO, VSNU) hebben gezamenlijk de NGW opgesteld welke in 2014 is herzien. Update in mei 2017

Typen wetenschappelijk onderzoek Fundamenteel Verzamelen van kennis, gericht op ontwikkeling en toetsing van theorie als oplossing van kennisproblemen Praktijkgericht wetenschappelijk Verzamelen van kennis, gericht op helpen oplossen van praktijkproblemen Er wordt een onderscheid gemaakt tussen fundamenteel en praktijkgericht wetenschappelijk onderzoek Fundamenteel onderzoek is gericht op kennisvermeerdering t.b.v. van theorievorming en toetsing Een bekend voorbeeld hiervan is de deeltjesversneller in Geneve (CERN) om het Higgs deeltje te vinden. Praktijkgericht wetenschappelijk onderzoek is ook gericht op kennisvermeerdering, maar specifiek voor het leveren van een bijdrage aan de oplossing van een praktijkprobleem.

Empirische cyclus (fundamenteel onderzoek) A. Kennisprobleen: wat? F. Evaluatie B. Inductie hypothesen E. Toetsing C. Theorie Allereerst de empirische cyclus (EC) welke begint met een kennisprobleem Algemene relativiteitstheorie (1915) van Einstein voorspelt zwaartekrachtgolven (hypothese). Met LIGO (Laser Interferometer Gravitational Wave Observatory ) is de theorie getoetst (2016) waarmee Einstein’s theorie kon worden beoordeeld (evaluatie) D. Deductie hypothesen

Regulatieve cyclus (praktijkgericht wetenschappelijk onderzoek) A. Praktijkprobleem: Wat is het probleem? F. Verandering Is het probleem opgelost? B. Diagnose Wat zijn de oorzaken? C. Planvorming E. Ingreep/interventie Wordt de oplossing juist uitgevoerd? Praktijkgericht wetenschappelijk onderzoek start vanuit een praktijkprobleem, en de regulatieve cyclus geeft aan binnen welke stappen wetenschappelijk onderzoek kan aangrijpen Binnen elke stap worden typische onderzoeksvragen gesteld D. Plan- en besluitvorming Is oplossing haalbaar en/of efficient?

Onderwerp kiezen Wat wil je onderzoeken? Wil je kennis aandragen die tot op heden onbekend is? Fundamenteel onderzoek Wil je nieuwe kennis aandragen om een praktijkprobleem mee te helpen oplossen? Praktijkgericht wetenschappelijk onderzoek

Voordat je begint met onderzoek Literatuuronderzoek Wat is er bekend over het kennis- of praktijkprobleem? Hoe werd eerder onderzoek uitgevoerd? Welke theorieën werden er al opgesteld? Welke kennis ontbreekt er? De voorbereiding op het onderzoeksplan bestaat uit literatuuronderzoek. Fundamenteel onderzoek: Welke kennis is er al en waar ontbreekt kennis over? Praktijkgericht wetenschappelijk onderzoek: Wat is er al bekend over het praktijkprobleem, en wat voor kennis ontbreekt er nog? Het gaat om het leveren van nieuwe kennis! Iets dat we eerder nog niet wisten.

Het schrijven van een onderzoeksplan Probleemstelling (waarom en wat) Doelstelling Vraagstelling (hoofd- en deelvragen) Onderzoeksontwerp (hoe) Onderzoeksopzet Wat voor data?  Dataverzamelingsplan Bij wie of wat (onderzoekseenheden)?  Steekproefplan Hoe analyseer je de gegevens?  Data-analyseplan Het onderzoeksplan bestaat uit 2 grote onderdelen: de probleemstelling en het onderzoeksontwerp In de probleemstelling wordt de doelstelling opgenomen Ook wordt hier de vraagstelling opgenomen: wat wil de onderzoeker precies weten? De vraagstelling bestaat meestal uit een hoofdvraag, vergezeld door een of meerdere deelvragen Het onderzoeksontwerp beschrijft de methoden om de onderzoeksvragen te beantwoorden Welke opzet (bv. experiment) Wat voor data (bv. vragenlijst) Bij wie/wat data verzamelen? (personen / bedrijven / appels) Welke analyse? (beschrijvend en/of toetsend)

Het onderzoeksplan - doelstelling Voorbeeld doelstelling fundamenteel onderzoek Het doel van dit onderzoek is de invloed te onderzoeken van weersomstandigheden op stemgedrag (kennisdoel) Voorbeeld doelstelling praktijkgericht onderzoek Het doel van dit onderzoek is om zwerfafval te helpen verminderen (handelingsdoel) door te onderzoeken wat de redenen zijn waarom mensen afval op straat gooien (kennisdoel) Beide hebben een kennisdoel

Het onderzoeksplan: vraagstelling Kennisdoel als hoofdvraag geformuleerd Specificeer begrippen in hoofdvraag Voorbeeld Initiële hoofdvraag: Waarom doen mensen niet mee aan enquêtes? Nieuwe hoofdvraag: Wat zijn de voornaamste motieven van daartoe geselecteerde personen om niet mee te doen aan enquêtes voor officiële statistiek? De vraagstelling is nauw verbonden met de doelstelling. Beantwoorden van de vraag moet bijdragen aan het realiseren van het doel van het onderzoek Allereerst is het belangrijk om de begrippen in de vraagstelling te specificeren. Dit maakt de onderzoeksvraag beter onderzoekbaar

Het formuleren van deelvragen Twee hulpmiddelen Pad diagram (causaal verband) Boomdiagram We zullen nu kort een tweetal hulpmiddelen bespreken die je kunt gebruiken om te komen tot deelvragen Het pad diagram en het boomdiagram

Pad diagram Wat is het effect van verkeersdrempels op het aantal verkeersongevallen in een bepaalde stad? Identificeer primair oorzaak-gevolg verband Zijn er tussenliggende begrippen? Verkeersdrempels Verkeersongevallen Onderzoekseenheden kunnen geselecteerde straten zijn Verkeersongevallen Verkeersdrempels Snelheid

Pad diagram Wat is het effect van verkeersdrempels op het aantal verkeersongevallen in een bepaalde stad? Deelvraag 1: Wat is het effect van verkeersdrempels op de (gemiddelde) snelheid van passerende voertuigen? Deelvraag 2: Wat is het effect van de (gemiddelde) snelheid van passerende voertuigen op het aantal verkeersongevallen? Formuleer deelvragen op basis van de effect pijlen Beantwoorden van de beide deelvragen geeft antwoord op de hoofdvraag

Boomdiagram Opdeling (soms op basis van gebruikte definitie) van een begrip in aspecten (zijn geen oorzaken of gevolgen!) Milieuvervuiling Watervervuiling Luchtvervuiling Bodemvervuiling Abstract > concreet Geen oorzaken of gevolgen, want anders wordt het weer een pad diagram Gebruik dan ook lijnen en geen pijlen

Boomdiagram Stap 1: Identificeer begrippen (stammen) in centrale vraag Stap 2: Deel elk begrip (stam) op in aspecten (takken) Stap 3: Selecteer aspecten die relevant zijn voor het onderzoek Stap 4: Formuleer de deelvragen

Voorbeeld boomdiagram Wat zijn de voornaamste motieven van daartoe geselecteerde personen om niet mee te doen aan enquêtes voor officiële statistiek? Deelvragen In hoeverre doen geselecteerde personen niet mee aan enquêtes voor officiële statistiek, omdat ze geen tijd hebben? In hoeverre doen geselecteerde personen niet mee aan enquêtes voor officiële statistiek, omdat ze het onderwerp niet interessant vinden? In hoeverre doen geselecteerde personen niet mee aan enquêtes voor officiële statistiek, omdat ze ziek zijn? ... Deelvragen zijn in dit voorbeeld slechts concretere motieven.

Veel gemaakte fouten ... Overdreven ambitieus vragen zijn te algemeen / talrijk Doelstelling en/of vragen zijn onderling inconsistent Centrale onderzoeksvraag breidt de doelstelling uit of beperkt die, of heeft er niets mee te maken Deelvragen breiden de centrale onderzoeksvraag uit of beperken die, of hebben er niets mee te maken Te algemeen: maak vragen specifiek Te talrijk: beperkt aantal deelvragen Zorg dat je focust!

Het onderzoeksplan - onderzoeksopzet Experimenteel Cross-sectioneel Experiment – Causaal – Heeft zoutconcentratie invloed op het drijfvermogen van eieren? Cross-sectioneel - Beschrijvend of vergelijkend – Hoeveel alcohol drinken jongeren? Drinken jongens meer dan meisjes?

Het onderzoeksplan - onderzoeksopzet Experimenteel Causale vragen Manipulatie door onderzoeker (oorzaak variëren) Verschillende condities in experimenteel ontwerp (randomisatie) Causale vraag: Heeft zoutconcentratie invloed op het drijfvermogen van eieren? Slechte eieren drijven ook in vers water (randomisatie belangrijk)

Het onderzoeksplan - onderzoeksopzet Cross-sectioneel Beschrijvende of vergelijkende vragen Relatief grote steekproef Gestandaardiseerd meetinstrument (afnameprocedure) Diverse dataverzamelingsmethoden (vragenlijst / interview / observatie) Momentopname of korte periode Beschrijvend - Hoeveel alcohol drinken jongeren? Vergelijkend - Drinken jongens meer dan meisjes?

Waar moet je verder nog aan denken? Onderzoekseenheden? Kies een steekproefmethode (kans- versus niet-kanssteekproeven) Hoe analyser je de gegevens? Andere elementen uit het onderzoeksontwerp waar je aan moet denken voordat je data kunt gaan verzamelen

Wetenschappelijke kwaliteit Meetvaliditeit Meten we wat we willen meten? Interne validiteit Zijn de conclusies geldig binnen de steekproef? Externe validiteit Zijn de conclusies geldig buiten de steekproef? Wees duidelijk over de systematiek in het eigen onderzoek. Dat maakt het onderzoek transparant en dus controleerbaar/repliceerbaar (wetenschappelijke integriteit) Al jullie keuzes hebben invloed op de wetenschappelijke kwaliteit van het onderzoek Belangrijke kwaliteitsvragen die je jezelf kunt stellen zijn: Door duidelijk te zijn over wat je wilt gaan doen voorkom je dat je door het ijs zakt

Vragen? Hulp nodig? Kijk op www.wur.nl/youthinstitute voor inspiratie van onderwerpen Mail naar info.youthinstitute@wur.nl met jouw vraag en ontvang begeleiding van Wageningse studenten en wetenschappers