Welk onderzoek is nodig en waarom? Conferentie P arent M anagement T raining O regon 12 januari 2006 Wim Slot, PI Research en Vrije Universiteit Han Spanjaard, PI Research Vrije universiteit

Ontwikkeling Advies & Training Advies & Training Praktijkonderzoek Praktijkonderzoek Academisch onderzoek met Vrije Universiteit Academisch onderzoek met Vrije Universiteit

3 redenen om evaluatie onderzoek te doen* 3 reasons for doing evaluation research 1.Werkt een interventie? Does it work? 2.Is de interventie een gewenste bijdrage? Is it an appropriate addition to a comprehensive intervention strategy? 3.Is de interventie kosten–baten effectief? Is it cost effective? *: er zijn veel meer redenen maar vanmiddag gaat het om deze drie.

1 Werkt een interventie? 3 redenen om evaluatie onderzoek te doen*

We weten tegenwoordig beter welke interventies werken en welke niet. Bootcamps bijvoorbeeld, werken niet…

Scare Straight werkt averechts. Dit programma laat jeudgigen gevangenissen bezoeken om te zien en te horen van de ‘inmates’ hoe erg het daar wel is.

‘ What Works ’ : Ontwikkelingsgericht Nadruk op leren van concrete vaardigheden Concreet (vaak gedragstherapeutisch) van opzet Aandacht voor cognities (planning) en emoties Aangrijpend op protectieve factoren Betrekking op meerder contexten / systemen: jeugdige é n ouder(s) Outreachend (het gezin in)

focus on concrete pro social skills, on cognitions (planning) as well as emotions Mostly behavioral have a multi system focus are multi modal are developmentally appropriate outreaching ‘ What Works ’ :

Nieuw onderzoek laat zien dat competentie vergroting ook werkt bij adolescenten en jongvolwassen die al vanaf hun vroege jeugd probleem gedrag en delicten hebben laten zien. Positieve omkeringen in de ontwikkeling van deze hardnekkig problematische jongeren werden voorafgegaan door oppakken van ontwikkelingstaken gerelateerd aan: het opbouwen van relaties en aan werk. (Roisman, Aguilar en Egeland. 2004)

Multisystemic therapy (Henggeler e.a., Multisystemic therapy (Henggeler e.a., 1998) 9

Het belang van onderzoek naar de effectiviteit wordt nog groter als dit onderzoek nader ingaat op werkzame factoren. De volgende dia laat zien dat het succesvolle FFT AVERECHTS werkt als de therapeut de interventie niet conform de methodiek uitvoert. (de client is dan slechter af als de client die geen therapie krijgt),

Het belang van ‘programma integriteit’ = mate waarin het programma op juiste manier wordt uitgevoerd

‘ What Works should be keeping working ’ Veel interventies die blijken te werken zijn onder speciale condities tot stand gekomen (experiment, extra geld, promotie-onderzoek) -> efficacy Interventies zonder die extra ’ s doen het veel minder goed. Men spreekt van effectivity als een interventie het onder normale omstandigheden (die nooit normaal zijn) ook goed doet

Voorbeeld: tbv de implementatie van het deltaplan worden 6 compo- nenten van jeugdbescherming onderscheiden (PI Research/v.Montfoort)

Maar om een goede realisatie van die componenten te bewerkstelligen moet je ook aandacht schenken aan andere werkzame factoren zoals…

Human Resorce Management, Kwaliteitsverankering, Bedrijfsvoering

2 Is de interventie een gewenste bijdrage? 3 redenen om evaluatie onderzoek te doen

Een wandelaar ziet ‘snachts onder een lantaarnpaal een dronken man die iets aan het zoeken is. ‘Wat zoek u?’ ‘Mijn eh eh huissleutels’ ‘Jee wat lastig voor u, zal ik helpen zoeken?’ De twee zoeken een half uur lang maar vinden niets. ‘Weet u zeker dat u ze hier verloren heeft?’ ‘Nee, een eindje verder op’. ‘Maar waarom zoekt u dan hier??’ ‘Hier schijnt tenminste licht…’

In ons land zijn we bezig ‘evidence based treatment’ te introduceren. Dat is een zeer gewenste ontwikkeling. Maar weten we wel zeker dat we de jongeren die hulp nodig hebben echt bereiken als we de jeugdzorg toespitsen een aantal evidence based interventies? Er zijn organisaties die zich enerzijds inspannen om ‘evidence based treatment’ te realiseren en die zich tegelijkertijd genoodzaakt zien hulpvormen af te stoten of in te krimpen.

Je moet eerst epidemiologisch onderzoek beschikbaar hebben dat inzicht geeft in de omvang en aard van de problematiek van de jeugd in de regio voordat je keuzes maakt voor een – uiteraard evidence based - interventie En dan ben je er nog niet…

Want als epidemiologisch onderzoek bijvoorbeeld uitwijst dat de prevalentie van een bepaald probleem (bijv agressie) bij adolescenten hoog is, moet je dan kiezen of voor een meer curatieve interventie of ga je eerder in de ontwikkeling interveniëren?.

risico’s en protectieve factoren 3 jaar 6 jaar 9 jaar 12 jaar 15 jaar 18 jaar gezin school leeftijd- individuele straat of genoten kenmerken buurt gedrags problemen politie- delinquentie ernstige problemen op school contacten gewelddadige delinquentie Preventie / vroege interventie / interventie / sancties & inter- venties Preventie, interventie en sancties; aangrijpingspunten per ontwikkelingsstadium Bron: Howell (2003)

Samenvattend, je moet eerst weten: wat de problematiek is van de populatie (aard, omvang, ernst), in welk ontwikkelingsstadium je deze problematiek wilt aanpakken (vroeg, bij manifeste symptomen, bij ernstige manifestatie) waar de lacunes zitten in het huidige interventie-aanbod voor je een keuze maakt voor een nieuwe interventie.

Voorbeeld: PI Research zocht in opdracht van de ROA uit hoe het komt dat in de stad Amsterdam meer OTS- en worden uitgesproken dan in de gebieden om de stad heen. Deels is dat te verklaren door zwaardere problematiek in de stad. Maar dat verklaarde niet alles. De verschillen hadden ook te maken met het feit dat in de gebieden rond Amsterdam de aansluiting met de jeugd GGZ beter geregeld was en het feit dat daar korte ambulante interventies beter functioneerden. (Overigens is het met die aansluiting op de jeugd GGZ inmiddels beter gesteld)

41% van de ots’ers in Amsterdam krijgt zorg op indicatie tegen 32% in de gebieden om Amsterdam. (stapeleffect want er waren in Amsterdam al meer OTS-ers). Wat betekent dit? Gaan we de hulp op indicatie extra toerusten met evidence based interventions om dat grote aantal OTS-ers betere zorg e bieden, of beter samenwerken met jeugd GGZ en proberen kort ambulant overeind te houden? (In weerwil van wet en beleid?)

Evaluatie onderzoek dat zich beperkt tot 1 interventie is niet voldoende. Evaluatie onderzoek moet laten zien of de populatie als geheel voldoende zorg krijgt en dat de onderzochte interventie daar in voldoende mate toe bijdraagt.

3 Is de interventie kosten–baten effectief? Een voorbeeld van Het Perry Pre School Project 3 redenen om evaluatie onderzoek te doen

High/Scope Perry Preschool Interventie Zwarte kinderen, moeilijk lerend, arme buurt (3 en 4 jarigen) 4Vergelijking met controlegroep 4Twee jaar actief geïndividualiseerd onderwijs, maaltijden op school en aanvullende gezinsinterventies (1 maal per week het gezin in)

Kosten – Baten 25 jaar later: Ex-Perry kinderen hebben meer jobs en zijn vaker huizenbezitter, dus meer belastinginkomsten en minder uitkeringskosten. En omdat er minder delinquentie onder de Ex-Perry groep voorkomt zijn er minder justitie- en slachtofferkosten. Totaalrendement: 716%

Dialectical Behavior Therapy (in Washington) $31,243 Multidimensional Treatment Foster Care (v. regular group care) $24,290 Adolescent Diversion Project $17,936 Mentoring (in the juvenile justice system)* $16,672 Functional Family Therapy (in Washington) $14,315 Other Family-Based Therapy Programs for Juvenile Offenders* $12,441 Multi-Systemic Therapy (MST) $9,316 Aggression Replacement Training (in Washington) $8,805 Juvenile Offender Interagency Coordination Programs$8,100 Diversion Progs. with Services (v. regular juvenile court processing) $1,865 Coordination of Services -$408 Juvenile Intensive Probation Supervision Programs - $1,482 Juvenile Intensive Parole (in Washington) - $5,992 Scared Straight -$11,056 Regular Parole (v. not having parole) -$12,478 U hoeft al deze projecten niet te lezen. Deze dia laat zien dat er in Washington een grote variëteit aan interventies was, waarbij kosten-baten effectiviteit enorm verschilde. De beste interventie leverde $ per behandeling op, de slechtste kostte $ per behandeling

Praatprogramma’s of variaties op ‘houthakken & water putten’.

Slot Onderzoek betekent veel meer dan het kijken of interventie x goede resultaten heeft bij populatie y. Die constatering betekent niet noodzakelijkerwijs dat onderzoek nog ingewikkelder of moeilijker wordt. Het betekent wel dat aspecten die voorheen meer tot het domein van beleid(sonderzoek) behoorden, geïntegreerd dienen te worden met evaluatieonderzoek. De Federatie zie ik als een van de instrumenten om dat te bewerkstelligen.