Evidence-based practice? Kritische kanttekeningen bij de relevantie van randomized controlled trials (RCT’s) voor de professionele praktijk in de zorg- en welzijnssector en een pleidooi voor alternatieve onderzoeksmethoden Conferentie ‘Bewijsvoering binnen praktijkgericht onderzoek’ Kohnstammhuis, Hogeschool van Amsterdam, 19 september 2012 Em. prof. dr. Louis Tavecchio, Lector Vraaggerichte Methodiekontwikkeling & Onderzoek, Kenniscentrum Maatschappij & Recht (Hogeschool van Amsterdam) Bewijsvoering binnen praktijkgericht onderzoek

Bewijsvoering binnen praktijkgericht onderzoek

De lange en moeizame weg van (bio)medisch onderzoek naar de praktijk Bewijsvoering binnen praktijkgericht onderzoek

Bewijsvoering binnen praktijkgericht onderzoek The Pipeline Fallacy Bewijsvoering binnen praktijkgericht onderzoek

Wat is er toch met al die data gebeurd …? Bewijsvoering binnen praktijkgericht onderzoek

Bewijsvoering binnen praktijkgericht onderzoek Howe (2004) * Echte ‘random selectie’ in de praktijk vaak niet mogelijk In feite gaat het om ‘aselecte toewijzing ’ van personen aan experimentele en controle condities De zgn. ‘zuivere’ (unbiased) schattingen van effecten gelden in feite voor de vrijwilligers die aan het onderzoek meededen en daarna random werden verdeeld over de groepen Ook aselecte toewijzing is op grond van politieke, legale of ethische overwegingen in de praktijk vaak onmogelijk * Howe, K. (2004). A Critique of Experimentalism. Qualitative Inquiry, 10 (1), 42-61. Bewijsvoering binnen praktijkgericht onderzoek

Efficacy vs. Effectiveness Efficacy: het getoetste effect van een interventie onder strikt gecontroleerde (‘laboratorium’) condities Effectiveness: het getoetste effect van een interventie onder min of meer ‘normale’ omstandigheden (minder controle, real-time en ‘typische’ context, populatie en condities) Brede programma evaluatie. Het getoetste effect van een gecombineerde (gemengde) serie interventies op grotere systemen en populaties. ‘Natuurlijke experimenten’ met minimale controle en maximale variabiliteit (zie bijv. Multi-center opzet, sheet 10) Voor het verbeteren van professioneel handelen is onderzoek naar de effectiviteit van interventies in de alledaagse praktijk (effectiveness) het meest relevant! Bewijsvoering binnen praktijkgericht onderzoek

Bewijsvoering binnen praktijkgericht onderzoek Nadelen van (eenzijdig) ‘natuurwetenschappelijk’ onderzoek naar (gezondheids)zorg en welzijn * Misplaatst vertrouwen in onnatuurlijke experimenten Misplaatst vertrouwen in generaliseerbare, constante (stabiele) effecten, met name op populatieniveau Misplaatst streven naar enkelvoudige interventies Misplaatste precisie - bij toetsing en deconstructie van theoretische modellen - in het generaliseren naar diverse settings/contexten en populaties - in het verwarren van statistische met praktisch relevante significantie Misplaatste dichotomieën en categorische variabelen * Green, L.W. (2001). From research to ‘best practices’ in other settings and populations. American Journal of Health Behavior, 25 (3), 165-178. Bewijsvoering binnen praktijkgericht onderzoek

Methodologische Oplossingen en Alternatieven Replicaties, in veel settings, populaties … Multi-center opzet: een deel van de onderzochte instellingen past interventie toe, de rest werkt met de traditionele methodiek (care as usual) Bundeling (cluster) van randomized trials Observationele studies (zie Shrier et al., 2007; Rawlins, 2008) Triangulatie (zie RPC model, volgende sheet) Mixed methods Bewijsvoering binnen praktijkgericht onderzoek

Bewijsvoering binnen praktijkgericht onderzoek Categorie 1 en 2 van het Range of Possible Changes (RPC) Model (De Los Reyes & Kazdin, 2008) Categorie Criteria Beste bewijs voor verandering Ten minste 80 procent van de resultaten van 3 of meer informanten, maten en analytische methoden vertoont verschillen en ten minste 3 resultaten zijn afkomstig van elk van de informanten, maten en methoden. Er is sprake van een duidelijk informant-specifiek, maat-specifiek, of methode-specifiek resultaatpatroon. Het bewijsmateriaal wijst op een succesvolle interventie. Bewijs voor waarschijnlijke verandering Meer dan 50 procent van de resultaten van 3 of meer informanten, maten en analytische methoden vertoont verschillen en ten minste 3 resultaten zijn afkomstig van elk van de informanten, maten en methoden. Er is geen sprake van een duidelijk informant-specifiek, maat-specifiek, of methode-specifiek resultaatpatroon. Het bewijsmateriaal wijst op een waarschijnlijke verandering in de beoogde richting, maar nader onderzoek naar de soms inconsistente resultaten is vereist. Bewijsvoering binnen praktijkgericht onderzoek

Evidence-based Practice (EBP)

Practice-based Evidence (PBE)

Bewijsvoering binnen praktijkgericht onderzoek Donald T. Campbell If we are to be truly scientific, we must reestablish the qualitative grounding of the quantitative * When quantitative-experimental research is detached from its qualitative grounding, the result is an “unhealthy division of labor” * Campbell argued that the sophisticated use of many approaches, each with its own distinct but measurable flaws, was required to design reliable research projects. * Donald T. Campbell (1974, September). Qualitative knowing in action research. Kurt Lewin Address, Society for the Psychological Study of Social Issues, presented at the meeting of the American Psychological Association, New Orleans, LA. Bewijsvoering binnen praktijkgericht onderzoek