Effectiviteit in Praktijkgericht Onderzoek Zijn er alternatieven voor RCT’s? Symposium ‘Praktijkonderzoek in discussie, een pas op de plaats’ HvA/Kring Andragologie (UvA)/ZonMw/NOSMO Hogeschool van Amsterdam, Muller-Lulofs Huis 23 mei 2014 Em. prof. dr. Louis Tavecchio (UvA/HvA) l.w.c.tavecchio@uva.nl l.w.c.tavecchio@hva.nl

Het Praktijkcircuit Professionele praktijk/hulpverlening staat centraal Belang van professional is cliënten goed te helpen Focus van professional is gericht op ‘zijn/haar’ cliënten/doelgroep en de daarin aanwezige variëteit Evaluatie vormt vast onderdeel van dagelijkse praktijk, bijv. in het kader van individueel hulpverleningsplan bij casus X of Y of i.h.k.v. meer algemene reflectie op handelen en optimalisering van aanpak (intervisie; casusbesprekingen)

Evidence-based practice en kwaliteitseisen aan praktijkgericht onderzoek Deugdelijkheid data uit kwalitatief onderzoek vaak probleem Twijfelachtige analyse en synthese Hoe valide conclusies te trekken uit kwalitatieve data? Alleen degelijke data mogen leiden tot (verdere toepassing van) resultaten in beleid en praktijk Dan kan ‘evidence’ uit kwalitatief onderzoek grotere praktijkwaarde krijgen

Maar … Evidence-based practice (EBP) is in de praktijk vaak verengd tot (gebruik van) resultaten uit effectiviteitonderzoek - kosteneffectiviteitanalyse (ROI; SROI) bij de selectie van interventies De RCT staat aan de top van Geddes’ hiërarchie van effectonderzoek Dit soort gerandomiseerde en gecontroleerde evaluatiestudies vooral mogelijk binnen kwantitatief-statistisch onderzoek en niet of nauwelijks bij onderzoek naar werk van professionals in zorg- en welzijn sector

5

Bewijsvoering binnen praktijkgericht onderzoek Howe (2004) * Echte ‘random selectie’ in de praktijk vaak niet mogelijk In feite gaat het om ‘aselecte toewijzing ’ van personen aan experimentele en controle condities De zgn. ‘zuivere’ (unbiased) schattingen van effecten gelden in feite voor de vrijwilligers die aan het onderzoek meededen en daarna random worden verdeeld over de groepen Ook aselecte toewijzing is op grond van politieke, juridische of ethische overwegingen in de praktijk vaak onmogelijk * Howe, K. (2004). A Critique of Experimentalism. Qualitative Inquiry, 10 (1), 42-61. Bewijsvoering binnen praktijkgericht onderzoek

De lange en moeizame weg van (bio)medisch onderzoek naar de praktijk Bewijsvoering binnen praktijkgericht onderzoek

Wat is er toch met al die data gebeurd …? Bewijsvoering binnen praktijkgericht onderzoek

Efficacy vs. Effectiveness Efficacy: het getoetste effect van een interventie onder strikt gecontroleerde (‘laboratorium’) condities Effectiveness: het getoetste effect van een interventie onder min of meer ‘normale’ omstandigheden (minder controle, real-time en in ‘karakteristieke’ context, populatie en condities) Voor het verbeteren van professioneel handelen is onderzoek naar de effectiviteit van interventies in de alledaagse praktijk (effectiveness) het meest relevant! Brede programma evaluatie. Het getoetste effect van een gecombineerde (gemengde) serie interventies op grotere systemen en populaties. ‘Natuurlijke experimenten’ met minimale controle en maximale variabiliteit (zie bijv. Multi-center opzet, volgende sheet) Bewijsvoering binnen praktijkgericht onderzoek

Methodologische Oplossingen en Alternatieven voor RCT’s Multi-center opzet: een deel van de onderzochte instellingen past interventie toe, de rest werkt met de traditionele methodiek (Care as usual (CAU); Treatment as usual (TAU)) Observationele studies (zie Shrier et al., 2007; Rawlins, 2008) Triangulatie (Zie RPC model, volgende sheet) Mixed methods (Combinatie van kwantitatief en kwalitatief onderzoek) Pragmatische trial, wordt in alledaagse praktijk uitgevoerd

Bewijsvoering binnen praktijkgericht onderzoek Categorie 1 en 2 van het Range of Possible Changes (RPC) Model (De Los Reyes & Kazdin, 2008) Categorie Criteria Beste bewijs voor verandering Ten minste 80 procent van de resultaten van 3 of meer informanten, maten en analytische methoden vertoont verschillen en ten minste 3 resultaten zijn afkomstig van elk van de informanten, maten en methoden. Er is sprake van een duidelijk informant-specifiek, maat-specifiek, of methode-specifiek resultaatpatroon. Het bewijsmateriaal wijst op een succesvolle interventie. Bewijs voor waarschijnlijke verandering Meer dan 50 procent van de resultaten van 3 of meer informanten, maten en analytische methoden vertoont verschillen en ten minste 3 resultaten zijn afkomstig van elk van de informanten, maten en methoden. Er is geen sprake van een duidelijk informant-specifiek, maat-specifiek, of methode-specifiek resultaatpatroon. Het bewijsmateriaal wijst op een waarschijnlijke verandering in de beoogde richting, maar nader onderzoek naar de soms inconsistente resultaten is vereist. Bewijsvoering binnen praktijkgericht onderzoek

Evidence-based Practice (EBP)

Practice-based Evidence (PBE)

Waarom niet teveel verwachten van de universiteit Ze publiceren bij voorkeur binnen het dominante paradigma (denk aan de te behalen ‘punten’ en de pijplijn) en bijna nooit over ‘negatieve’ resultaten Ze schrijven (liever) niet in het Nederlands Daardoor bereiken ze de professionals in de praktijk indirect en vaak veel later (pijplijn) Ze zijn minder geïnteresseerd in (relatief) snelle oplossingen en hebben vaak niet de know-how met welke onderzoeksopzetten en –methoden je dan toch ‘valide’ en ‘betrouwbaar’ onderzoek kunt doen In het universitaire curriculum is nauwelijks plaats voor ‘kwalitatieve methoden’, ‘mixed methods’ en ‘praktijkgericht’ onderzoek ‘

Bewijsvoering binnen praktijkgericht onderzoek Literatuur De Los Reyes, A., & Kazdin, A.E. (2008). When the evidence says, ‘Yes, no, and maybe so’. Attending to and interpreting inconsistent findings among evidence-based interventions. Current Directions in Psychological Science, 17 (1), 47-51. Rawlins, M. (2008). De testimonio : on the evidence for decisions about the use of therapeutic interventions. Lancet, 372 (9656), 2152-2161. Shrier, I., et al. (2007). Should Meta-Analyses of Interventions Include Observational Studies in Addition to Randomized Controlled Trials? A Critical Examination of Underlying Principles. American Journal of Epidemiology, 166 (10), 1203-1209. Tavecchio, Louis & Gerrebrands, Martin (2012). Bewijsvoering binnen praktijkgericht onderzoek. Den Haag: Boom Lemma. Tavecchio, L. (2014). Effectiviteit in praktijkgericht onderzoek. Op zoek naar alternatieven voor de randomized controlled trail (RCT). Kwaliteit in Zorg (KiZ), nr. 2, 16-20. Bewijsvoering binnen praktijkgericht onderzoek

Bewijsvoering binnen praktijkgericht onderzoek Shrier, I., et al. (2007)* Deden onderzoek naar het effect van het weglaten of toevoegen van observationele studies aan RCT-resultaten in meta-analyses. Ze constateerden: “(…) including information from observational studies may improve the inference based on only randomized trials” en “(…) meta-analyses based on observational studies generally produce estimates of effect similar to those from meta-analyses based on randomized controlled trials”. Met andere woorden, observationele studies doen niet onder voor en kunnen even waardevol zijn als RCT’s en dienen dus zeker niet als tweederangs data te worden beschouwd! *American Journal of Epidemiology, 166 (10), 1203-1209. Bewijsvoering binnen praktijkgericht onderzoek