De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Effectiviteit in Praktijkgericht Onderzoek Zijn er alternatieven voor RCT’s? Effectiviteit in Praktijkgericht Onderzoek Zijn er alternatieven voor RCT’s?

Verwante presentaties


Presentatie over: "Effectiviteit in Praktijkgericht Onderzoek Zijn er alternatieven voor RCT’s? Effectiviteit in Praktijkgericht Onderzoek Zijn er alternatieven voor RCT’s?"— Transcript van de presentatie:

1 Effectiviteit in Praktijkgericht Onderzoek Zijn er alternatieven voor RCT’s? Effectiviteit in Praktijkgericht Onderzoek Zijn er alternatieven voor RCT’s? Symposium ‘Praktijkonderzoek in discussie, een pas op de plaats’ HvA/Kring Andragologie (UvA)/ZonMw/NOSMO HvA/Kring Andragologie (UvA)/ZonMw/NOSMO Hogeschool van Amsterdam, Muller-Lulofs Huis 23 mei 2014 Em. prof. dr. Louis Tavecchio (UvA/HvA) 1

2 Het Praktijkcircuit Professionele praktijk/hulpverlening staat centraal Professionele praktijk/hulpverlening staat centraal Belang van professional is cliënten goed te helpen Belang van professional is cliënten goed te helpen Focus van professional is gericht op ‘zijn/haar’ cliënten/doelgroep en de daarin aanwezige variëteit Focus van professional is gericht op ‘zijn/haar’ cliënten/doelgroep en de daarin aanwezige variëteit Evaluatie vormt vast onderdeel van dagelijkse praktijk, bijv. in het kader van individueel hulpverleningsplan bij casus X of Y of i.h.k.v. meer algemene reflectie op handelen en optimalisering van aanpak (intervisie; casusbesprekingen) Evaluatie vormt vast onderdeel van dagelijkse praktijk, bijv. in het kader van individueel hulpverleningsplan bij casus X of Y of i.h.k.v. meer algemene reflectie op handelen en optimalisering van aanpak (intervisie; casusbesprekingen)

3 Evidence-based practice en kwaliteitseisen aan praktijkgericht onderzoek Deugdelijkheid data uit kwalitatief onderzoek vaak probleem Deugdelijkheid data uit kwalitatief onderzoek vaak probleem Twijfelachtige analyse en synthese Twijfelachtige analyse en synthese Hoe valide conclusies te trekken uit kwalitatieve data? Hoe valide conclusies te trekken uit kwalitatieve data? Alleen degelijke data mogen leiden tot (verdere toepassing van) resultaten in beleid en praktijk Alleen degelijke data mogen leiden tot (verdere toepassing van) resultaten in beleid en praktijk Dan kan ‘evidence’ uit kwalitatief onderzoek grotere praktijkwaarde krijgen Dan kan ‘evidence’ uit kwalitatief onderzoek grotere praktijkwaarde krijgen

4 Maar … Evidence-based practice (EBP) is in de praktijk vaak verengd tot (gebruik van) resultaten uit effectiviteitonderzoek - kosteneffectiviteitanalyse (ROI; SROI) bij de selectie van interventies Evidence-based practice (EBP) is in de praktijk vaak verengd tot (gebruik van) resultaten uit effectiviteitonderzoek - kosteneffectiviteitanalyse (ROI; SROI) bij de selectie van interventies De RCT staat aan de top van Geddes’ hiërarchie van effectonderzoek De RCT staat aan de top van Geddes’ hiërarchie van effectonderzoek Dit soort gerandomiseerde en gecontroleerde evaluatiestudies vooral mogelijk binnen kwantitatief-statistisch onderzoek en niet of nauwelijks bij onderzoek naar werk van professionals in zorg- en welzijn sector Dit soort gerandomiseerde en gecontroleerde evaluatiestudies vooral mogelijk binnen kwantitatief-statistisch onderzoek en niet of nauwelijks bij onderzoek naar werk van professionals in zorg- en welzijn sector

5

6 Howe (2004) * Echte ‘random selectie’ in de praktijk vaak niet mogelijk Echte ‘random selectie’ in de praktijk vaak niet mogelijk In feite gaat het om ‘aselecte toewijzing ’ van personen aan experimentele en controle condities In feite gaat het om ‘aselecte toewijzing ’ van personen aan experimentele en controle condities De zgn. ‘zuivere’ (unbiased) schattingen van effecten gelden in feite voor de vrijwilligers die aan het onderzoek meededen en daarna random worden verdeeld over de groepen De zgn. ‘zuivere’ (unbiased) schattingen van effecten gelden in feite voor de vrijwilligers die aan het onderzoek meededen en daarna random worden verdeeld over de groepen Ook aselecte toewijzing is op grond van politieke, juridische of ethische overwegingen in de praktijk vaak onmogelijk Ook aselecte toewijzing is op grond van politieke, juridische of ethische overwegingen in de praktijk vaak onmogelijk * Howe, K. (2004). A Critique of Experimentalism. Qualitative Inquiry, 10 (1), Bewijsvoering binnen praktijkgericht onderzoek 6

7 De lange en moeizame weg van (bio)medisch onderzoek naar de praktijk Bewijsvoering binnen praktijkgericht onderzoek 7

8 Wat is er toch met al die data gebeurd …? Bewijsvoering binnen praktijkgericht onderzoek 8

9 Efficacy vs. Effectiveness Efficacy: het getoetste effect van een interventie onder strikt gecontroleerde (‘laboratorium’) condities Efficacy: het getoetste effect van een interventie onder strikt gecontroleerde (‘laboratorium’) condities Effectiveness: het getoetste effect van een interventie onder min of meer ‘normale’ omstandigheden (minder controle, real-time en in ‘karakteristieke’ context, populatie en condities) Effectiveness: het getoetste effect van een interventie onder min of meer ‘normale’ omstandigheden (minder controle, real-time en in ‘karakteristieke’ context, populatie en condities) Voor het verbeteren van professioneel handelen is onderzoek naar de effectiviteit van interventies in de alledaagse praktijk (effectiveness) het meest relevant! Voor het verbeteren van professioneel handelen is onderzoek naar de effectiviteit van interventies in de alledaagse praktijk (effectiveness) het meest relevant! Brede programma evaluatie. Het getoetste effect van een gecombineerde (gemengde) serie interventies op grotere systemen en populaties. ‘Natuurlijke experimenten’ met minimale controle en maximale variabiliteit (zie bijv. Multi-center opzet, volgende sheet) Brede programma evaluatie. Het getoetste effect van een gecombineerde (gemengde) serie interventies op grotere systemen en populaties. ‘Natuurlijke experimenten’ met minimale controle en maximale variabiliteit (zie bijv. Multi-center opzet, volgende sheet) Bewijsvoering binnen praktijkgericht onderzoek 9

10 Methodologische Oplossingen en Alternatieven voor RCT’s Multi-center opzet: een deel van de onderzochte instellingen past interventie toe, de rest werkt met de traditionele methodiek (Care as usual (CAU); Treatment as usual (TAU)) Multi-center opzet: een deel van de onderzochte instellingen past interventie toe, de rest werkt met de traditionele methodiek (Care as usual (CAU); Treatment as usual (TAU)) Observationele studies (zie Shrier et al., Observationele studies (zie Shrier et al., 2007; Rawlins, 2008) 2007; Rawlins, 2008) Triangulatie (Zie RPC model, volgende sheet) Triangulatie (Zie RPC model, volgende sheet) Mixed methods (Combinatie van kwantitatief en kwalitatief onderzoek) Mixed methods (Combinatie van kwantitatief en kwalitatief onderzoek) Pragmatische trial, wordt in alledaagse praktijk uitgevoerd Pragmatische trial, wordt in alledaagse praktijk uitgevoerd

11 Categorie 1 en 2 van het Range of Possible Changes (RPC) Model (De Los Reyes & Kazdin, 2008) CategorieCriteria Beste bewijs voor verandering Ten minste 80 procent van de resultaten van 3 of meer informanten, maten en analytische methoden vertoont verschillen en ten minste 3 resultaten zijn afkomstig van elk van de informanten, maten en methoden. Er is sprake van een duidelijk informant-specifiek, maat- specifiek, of methode-specifiek resultaatpatroon. Het bewijsmateriaal wijst op een succesvolle interventie. Bewijs voor waarschijnlijke verandering Meer dan 50 procent van de resultaten van 3 of meer informanten, maten en analytische methoden vertoont verschillen en ten minste 3 resultaten zijn afkomstig van elk van de informanten, maten en methoden. Er is geen sprake van een duidelijk informant-specifiek, maat-specifiek, of methode-specifiek resultaatpatroon. Het bewijsmateriaal wijst op een waarschijnlijke verandering in de beoogde richting, maar nader onderzoek naar de soms inconsistente resultaten is vereist. Bewijsvoering binnen praktijkgericht onderzoek 11

12 Evidence-based Practice (EBP) Evidence-based Practice (EBP)

13 Practice-based Evidence (PBE) Practice-based Evidence (PBE)

14 Waarom niet teveel verwachten van de universiteit Ze publiceren bij voorkeur binnen het dominante paradigma (denk aan de te behalen ‘punten’ en de pijplijn) en bijna nooit over ‘negatieve’ resultaten Ze publiceren bij voorkeur binnen het dominante paradigma (denk aan de te behalen ‘punten’ en de pijplijn) en bijna nooit over ‘negatieve’ resultaten Ze schrijven (liever) niet in het Nederlands Ze schrijven (liever) niet in het Nederlands Daardoor bereiken ze de professionals in de praktijk indirect en vaak veel later (pijplijn) Daardoor bereiken ze de professionals in de praktijk indirect en vaak veel later (pijplijn) Ze zijn minder geïnteresseerd in (relatief) snelle oplossingen en hebben vaak niet de know-how met welke onderzoeksopzetten en –methoden je dan toch ‘valide’ en ‘betrouwbaar’ onderzoek kunt doen Ze zijn minder geïnteresseerd in (relatief) snelle oplossingen en hebben vaak niet de know-how met welke onderzoeksopzetten en –methoden je dan toch ‘valide’ en ‘betrouwbaar’ onderzoek kunt doen In het universitaire curriculum is nauwelijks plaats voor ‘kwalitatieve methoden’, ‘mixed methods’ en ‘praktijkgericht’ onderzoek In het universitaire curriculum is nauwelijks plaats voor ‘kwalitatieve methoden’, ‘mixed methods’ en ‘praktijkgericht’ onderzoek ‘ 14

15 Literatuur De Los Reyes, A., & Kazdin, A.E. (2008). When the evidence says, De Los Reyes, A., & Kazdin, A.E. (2008). When the evidence says, ‘Yes, no, and maybe so’. Attending to and interpreting inconsistent findings among evidence-based interventions. Current Directions in Psychological Science, 17 (1), ‘Yes, no, and maybe so’. Attending to and interpreting inconsistent findings among evidence-based interventions. Current Directions in Psychological Science, 17 (1), Rawlins, M. (2008). De testimonio : on the evidence for decisions about the use of therapeutic interventions. Lancet, 372 (9656), Rawlins, M. (2008). De testimonio : on the evidence for decisions about the use of therapeutic interventions. Lancet, 372 (9656), Shrier, I., et al. (2007). Should Meta-Analyses of Interventions Include Observational Studies in Addition to Randomized Controlled Trials? A Critical Examination of Underlying Principles. American Journal of Epidemiology, 166 (10), Shrier, I., et al. (2007). Should Meta-Analyses of Interventions Include Observational Studies in Addition to Randomized Controlled Trials? A Critical Examination of Underlying Principles. American Journal of Epidemiology, 166 (10), Tavecchio, Louis & Gerrebrands, Martin (2012). Bewijsvoering binnen praktijkgericht onderzoek. Den Haag: Boom Lemma. Tavecchio, Louis & Gerrebrands, Martin (2012). Bewijsvoering binnen praktijkgericht onderzoek. Den Haag: Boom Lemma. Tavecchio, L. (2014). Effectiviteit in praktijkgericht onderzoek. Op zoek naar alternatieven voor de randomized controlled trail (RCT). Kwaliteit in Zorg (KiZ), nr. 2, Tavecchio, L. (2014). Effectiviteit in praktijkgericht onderzoek. Op zoek naar alternatieven voor de randomized controlled trail (RCT). Kwaliteit in Zorg (KiZ), nr. 2, Bewijsvoering binnen praktijkgericht onderzoek 15

16 Shrier, I., et al. (2007) * Deden onderzoek naar het effect van het weglaten of toevoegen van observationele studies aan RCT-resultaten in meta-analyses. Ze constateerden: “(…) including information from observational studies may improve the inference based on only randomized trials” en “(…) meta-analyses based on observational studies generally produce estimates of effect similar to those from meta-analyses based on randomized controlled trials”. Met andere woorden, observationele studies doen niet onder voor en kunnen even waardevol zijn als RCT’s en dienen dus zeker niet als tweederangs data te worden beschouwd! *American Journal of Epidemiology, 166 (10), Bewijsvoering binnen praktijkgericht onderzoek 16


Download ppt "Effectiviteit in Praktijkgericht Onderzoek Zijn er alternatieven voor RCT’s? Effectiviteit in Praktijkgericht Onderzoek Zijn er alternatieven voor RCT’s?"

Verwante presentaties


Ads door Google