Benjamin Boerebach, Esther Helmich NVMO workshop 12 juni 2014

programma Voorstelronde onzekerheid in onderzoek (intro) onzekerheid in kwalitatief onderzoek onzekerheid in kwantitatief onderzoek workshops verdieping in kwalitatief óf kwantitatief onderzoek (incl pauze) terugkoppeling en afronding einde

Actueel discussie onderzoek

Publication bias

Is dit een primaire taak van de onderzoeker? Ik doe gewoon mijn eigen onderzoek Ik moet publiceren Dat zal toekomstig onderzoek moeten uitwijzen Ik kan daar niets zinnigs over te zeggen

Wat is de het doel van wetenschap? Bewijzen dat je hypothese/theorie juist is Bewijzen dat je hypothese/theorie onjuist is

Karl Popper Quote: “A theory in the empirical sciences can never be proven, but it can be falsified, meaning that it can and should be scrutinized by decisive experiments. If the outcome of an experiment contradicts the theory, one should refrain from ad hoc manoeuvres that evade the contradiction merely by making it less falsifiable.”

Falsificeren of falsificatie? Bewijzen dat je hypothese/theorie juist is Bewijzen dat je hypothese/theorie onjuist is

Spin

over

Spin away, embrace uncertainty

Onzekerheid in wetenschappelijk onderzoek Welke vraag stel je? (En welke niet?) Wie doen er mee? (En wie vallen erbuiten?) Waar kijk je naar? (En wat wil je niet weten?) Wat wil je zien? (En wat zie je liever niet?) Welk verhaal vertel je? (Wat laat je weg?)

Welke vraag stel je?

Wie doen er mee?

Waar kijk je naar?

Wat wil je zien?

Welk verhaal vertel je?

causal assumptions, confounders and other biasing factors that can spoil your research

Correlation and causation

Causation?

Confouding

confounding

No causation

Causation

Correlation

Confounder selection Example highlights the importance of careful selection and adjustment of the appropriate confounders Workshop: How do we find and select the appropriate confounders? Causality theory developed by Prof. Judea Pearl and collegues

Other sources of bias Design bias Selection bias Measurement bias Response bias Drop out

Other sources of bias Design bias Selection bias Measurement bias Response bias Drop out

Non-response modelleren Niet volledig at random je hebt (beperkte) data van je non- responders je hebt geen data van je non- responders, maar kunt op basis van ander onderzoek wel aannames doen over je responders/nonresponders

Wegen van de cases bij de inverse probability of response of probability of drop-out Bereken voor iedere participant de kans dat hij uitvalt of niet-reageert op basis van alles wat je wel weer van deze persoon Drop-out or response bias

Weging cases Proefpersoo n Kans op drop out of respons (p) Weging drop out (p) Weging respons (1/p) , ,11