Effectiviteit van interventies Iets over de Erkenningscommissie Justitiële Interventies Hans Boutellier 21 juni 2019 NVC-congres Leiden 24-7-2019

Erkenningscommissie Interventies Een heel systeem Waarom eigenlijk? 10 deelcommissies op verschillende terreinen Wetenschap en praktijk Onafhankelijke beoordeling Volgens vastgestelde criteria Oordelen op basis van consensus ECJI sinds september 2015 Er zijn inmiddels 10 deelcommissies die onderdeel uitmaken van de Erkenningscommissie Interventies. De commissie bestaat uit zowel wetenschappers als vertegenwoordigers uit de praktijk. Goed om te benadrukken dat het om een onafhankelijke beoordeling gaat. Vier commissieleden bereiden het oordeel voor, de definitieve beoordeling vindt plaats in de vergadering, waarin de beoordelingen van deze commissieleden per criterium worden besproken en waar discussie onder alle commissieleden plaatsvindt. Het uiteindelijke oordeel is gebaseerd op consensus binnen de hele commissie. De Erkenningscommissie is onafhankelijk in haar oordelen, uitspraken die de commissie doet hebben geen juridische consequenties. Het secretariaat maakt geen onderdeel uit van de besluitvorming. Als een individueel commissielid op één of andere manier betrokken is bij een te beoordelen interventie, dan houdt hij zich afzijdig van de discussie en het uiteindelijke oordeel. De commissieleden ondertekenen per interventie een belangenverklaring waarmee ze aangeven geen directe of indirecte belangen te hebben bij de beoordeling van deze specifieke interventie. Het secretariaat van de commissie maakt geen onderdeel uit van de besluitvorming. Er is sprake van een tweeledig belang: Het beloont ontwikkelaars voor het neerzetten van een gedegen interventie De interventies kunnen dienen als een goed voorbeeld en inspiratiebron voor anderen. www.nji.nl | 24-7-2019

Samenwerkingsverband erkenning van interventies Er zijn 10 deelcommissies voor de beoordeling. Naast het NJi maken zes andere kennisinstituten deel uit van dit Erkenningstraject. In najaar 2015 is de Erkenningscommissie Justitiële Interventies gestart (tot voor een jaar geleden de Erkenningscommissie Gedragsinterventies Justitie). www.nji.nl | 24-7-2019

Beschrijving van een interventie Onderdelen in het werkblad Doel Doelgroep Aanpak Opzet Inhoud Uitvoerbaarheid Onderbouwing Onderzoek Werkzame elementen Literatuur Het werkblad waarop de interventie moet worden beschreven kent de volgende onderdelen. Allereerst het doel, de doelgroep en de aanpak. Bij de uitvoerbaarheid kun je denken aan de beschrijving van beschikbare materialen, wie zijn de uitvoerders en welke opleiding en competenties hebben zij nodig, implementatie (is er een systeem voor implementatie en hoe ziet dat er dan uit). Bij de onderbouwing gaat het er met name om aannemelijk te maken dat met deze aanpak ook daadwerkelijk de doelen bij deze doelgroep bereikt kunnen worden. Bij onderzoek wordt onderscheid gemaakt tussen onderzoek naar de uitvoering en onderzoek naar de effectiviteit. Tot slot Wat zijn de werkzame elementen van deze interventie waardoor de gestelde doelen bij de doelgroep gerealiseerd worden? en de literatuur. Redenen om aanpak te gaan beschrijven? Reden 1: Het is een leerzaam proces Het concreet formuleren van het doel, de subdoelen en de activiteiten van jouw aanpak kan best lastig zijn. Waar werk je precies aan? Wat valt daar wel en niet onder? En wat doe je om die doelen te bereiken? Door deze dingen op te schrijven dwing je jezelf om jouw werkwijze scherp te krijgen en zie je wellicht al welke activiteiten hier goed bij passen en welke wat minder relevant zijn. Reden 2: Het vergroot je geloofwaardigheid Waarom is het aannemelijk dat jij met jouw aanpak de door jou geformuleerde doelen gaat bereiken? Waar baseer je dat op? Als je jouw werkwijze kunt onderbouwen met kennis over wat werkt bij de aanpak van jouw vraagstuk, dan weet je zeker dat je goed bezig bent én heb je een sterk verhaal richting opdrachtgever, werkgever en de doelgroep. Reden 3: Het maakt mogelijk dat anderen jouw aanpak toepassen Weten jouw collega’s eigenlijk hoe je werkt? Als jij een andere baan vindt of plotseling uitvalt, kunnen zij jouw aanpak dan gemakkelijk voortzetten, of zit alles in jouw hoofd? Door je werkwijze op papier te zetten maak je jouw impliciete kennis expliciet. Reden 4: Je maakt jezelf expert van jouw aanpak Als jij goede resultaten boekt met jouw aanpak en je wilt je werkwijze graag delen met het werkveld, dan is een volledige beschrijving nodig in de vorm van een handboek (externe link). Op die manier maak je jezelf expert. Al dan niet gecombineerd met een training maakt het jouw aanpak klaar om te verspreiden en verkopen. Reden 5: Het vormt de basis voor evaluatie en monitoring Een goede beschrijving van jouw aanpak vormt de basis voor onderzoek. Of het nu gaat om monitoring, evaluatie- of effectonderzoek: zonder goed geformuleerde uitgangspunten valt er weinig te onderzoeken. Onderzoek helpt je de sterke punten van jouw aanpak te benoemen en geeft zicht op punten die je nog kunt verbeteren. Reden 6: Het laat zien dat jouw aanpak wérkt Tot slot kun je alles wat er bekend is over jouw aanpak kwijt in een interventiebeschrijving (externe link). Jouw aanpak komt dan in een databank te staan en wordt door een erkenningscommissie beoordeeld. Een mooie manier om de aanpak te blijven verbeteren en aantoonbaar goed bezig te zijn. www.nji.nl | 24-7-2019

Resultaten sinds 2015 4 interventies niet erkend 20 interventies goed onderbouwd 7 interventies effectief volgens: eerste aanwijzingen (3) goede aanwijzingen (2) sterke aanwijzingen (2) Óf onder voorbehoud (8) In de pijplijn (9) Effectladder van Tom van Yperen: hierlangs kan een interventie groeien in kwaliteit en effectiviteit. Op ieder niveau wordt de effectiviteit aannemelijker. In een goede onderbouwing is de samenhang tussen doel, doelgroep en aanpak logisch weergegeven op basis van wetenschappelijke theorie en bestaande kennis uit onderzoek Voor een erkenning als effectief moet er Nederlands onderzoek gedaan zijn. De bewijskracht daarvan bepaalt het niveau van (bewezen) effectiviteit. Simpelweg kun je zeggen dat de commissie een interventie kan erkennen als Goed Onderbouwd en als Effectief. In beide gevallen is het aannemelijk gemaakt dat met de beoogde aanpak de doelen gerealiseerd gaan worden bij de doelgroep (hetzij op basis van theorie, hetzij op basis van onderzoek). Of een interventie dan wordt erkend als Effectief volgens eerste, goede of sterke aanwijzingen, hangt vervolgens af van het soort effectonderzoek, de kwaliteit van het onderzoek, de aard van het effect, de grootte van het gevonden effect, het aantal onderzoeken. De DEI is niet alleen bedoeld als een ‘stand van zaken van de wetenschap, maar vooral ook om een beweging te creëren en faciliteren richting een meer effectieve jeugdhulp. Ontwikkelaars worden gestimuleerd om na vijf jaar opnieuw beoordeeld te worden en hopelijk dan op een hoger niveau. Goed onderbouwd: dit oordeel geeft aan dat de interventie theoretisch goed in elkaar steekt. En gebaseerd is op bestaande empirische kennis, maar dat er nog geen of onvoldoende onderzoek naar de effectiviteit is gedaan. De samenhang tussen doel, doelgroep en aanpak is logisch weergegeven op basis van wetenschappelijke theorie en bestaande kennis uit onderzoek. Voor erkenning als ‘goed onderbouwd’ hoeft geen effectonderzoek beschikbaar te zijn. Wel vraagt een de commissie om een procesevaluatie. Ook kijkt de commissie naar de uitvoerbaarheid van de interventie. Een interventie krijgt het oordeel effectief indien uit effectonderzoek blijkt dat de interventie haar doelen bereikt. Criteria voor effectiviteit Voor de erkenning als ‘effectief’ gelden dezelfde criteria als voor ‘goed onderbouwd’, aangevuld met criteria voor het uitgevoerde effectonderzoek. Er zijn drie niveaus van effectiviteit. Daarvoor gelden de volgende criteria: Eerste aanwijzingen voor effectiviteit Uit onderzoek met een voormeting en een nameting is gebleken dat er veranderingen zijn opgetreden conform het doel van de interventie. Er zijn minimaal twee van dergelijke studies beschikbaar waarvan tenminste één is uitgevoerd in Nederland.   Goede aanwijzingen voor effectiviteit Effectiviteit is aangetoond met één Nederlands onderzoek met sterke of zeer sterke bewijskracht (gerandomiseerd onderzoek) of meerdere studies (waarvan één Nederlands) met tenminste redelijke bewijskracht (zoals bijvoorbeeld quasi-experimenteel onderzoek). Sterke aanwijzingen voor effectiviteit Effectiviteit is aangetoond met twee Nederlandse onderzoeken met tenminste sterke bewijskracht (gerandomiseerd onderzoek met een controlegroep en 6 maanden follow-up) of één Nederlands onderzoek met sterke bewijskracht in combinatie met dergelijk onderzoek uit het buitenland. www.nji.nl | 3-11-2016

Wat moeten we hier nu van denken? Past in pragmacratie Nauwkeurige beoordeling Onderzoek en praktijk Weinig navolging - not invented here Proliferatie van interventies Ook een beleidsinstrument Effectladder van Tom van Yperen: hierlangs kan een interventie groeien in kwaliteit en effectiviteit. Op ieder niveau wordt de effectiviteit aannemelijker. In een goede onderbouwing is de samenhang tussen doel, doelgroep en aanpak logisch weergegeven op basis van wetenschappelijke theorie en bestaande kennis uit onderzoek Voor een erkenning als effectief moet er Nederlands onderzoek gedaan zijn. De bewijskracht daarvan bepaalt het niveau van (bewezen) effectiviteit. Simpelweg kun je zeggen dat de commissie een interventie kan erkennen als Goed Onderbouwd en als Effectief. In beide gevallen is het aannemelijk gemaakt dat met de beoogde aanpak de doelen gerealiseerd gaan worden bij de doelgroep (hetzij op basis van theorie, hetzij op basis van onderzoek). Of een interventie dan wordt erkend als Effectief volgens eerste, goede of sterke aanwijzingen, hangt vervolgens af van het soort effectonderzoek, de kwaliteit van het onderzoek, de aard van het effect, de grootte van het gevonden effect, het aantal onderzoeken. De DEI is niet alleen bedoeld als een ‘stand van zaken van de wetenschap, maar vooral ook om een beweging te creëren en faciliteren richting een meer effectieve jeugdhulp. Ontwikkelaars worden gestimuleerd om na vijf jaar opnieuw beoordeeld te worden en hopelijk dan op een hoger niveau. Goed onderbouwd: dit oordeel geeft aan dat de interventie theoretisch goed in elkaar steekt. En gebaseerd is op bestaande empirische kennis, maar dat er nog geen of onvoldoende onderzoek naar de effectiviteit is gedaan. De samenhang tussen doel, doelgroep en aanpak is logisch weergegeven op basis van wetenschappelijke theorie en bestaande kennis uit onderzoek. Voor erkenning als ‘goed onderbouwd’ hoeft geen effectonderzoek beschikbaar te zijn. Wel vraagt een de commissie om een procesevaluatie. Ook kijkt de commissie naar de uitvoerbaarheid van de interventie. Een interventie krijgt het oordeel effectief indien uit effectonderzoek blijkt dat de interventie haar doelen bereikt. Criteria voor effectiviteit Voor de erkenning als ‘effectief’ gelden dezelfde criteria als voor ‘goed onderbouwd’, aangevuld met criteria voor het uitgevoerde effectonderzoek. Er zijn drie niveaus van effectiviteit. Daarvoor gelden de volgende criteria: Eerste aanwijzingen voor effectiviteit Uit onderzoek met een voormeting en een nameting is gebleken dat er veranderingen zijn opgetreden conform het doel van de interventie. Er zijn minimaal twee van dergelijke studies beschikbaar waarvan tenminste één is uitgevoerd in Nederland.   Goede aanwijzingen voor effectiviteit Effectiviteit is aangetoond met één Nederlands onderzoek met sterke of zeer sterke bewijskracht (gerandomiseerd onderzoek) of meerdere studies (waarvan één Nederlands) met tenminste redelijke bewijskracht (zoals bijvoorbeeld quasi-experimenteel onderzoek). Sterke aanwijzingen voor effectiviteit Effectiviteit is aangetoond met twee Nederlandse onderzoeken met tenminste sterke bewijskracht (gerandomiseerd onderzoek met een controlegroep en 6 maanden follow-up) of één Nederlands onderzoek met sterke bewijskracht in combinatie met dergelijk onderzoek uit het buitenland. www.nji.nl | 3-11-2016