Theory of Change-evaluatie: weten is méér dan meten Erik Snel Afdeling Sociologie (EUR) Lezing t.b.v. Seminar Ex Ante-Evaluatie onderzoek van Rekenkamer Rotterdam 29 januari 2015

Inhoud Beperkingen klassiek evaluatieonderzoek Wat is “Theory of change”-evaluatie? TOC-evaluatie in vier stappen Nogmaals het causaliteitsprobleem Discussie

Uitgangspunt Klassiek evaluatieonderzoek (RCT met controlegroep) misschien ideaal, maar ….. lukt in de praktijk vaak niet! Wat dan? “Theory of change”-evaluatie als verantwoord en praktisch uitvoerbaar alternatief

TOC-evaluatie als verantwoord en uitvoerbaar alternatief als controlegroep niet lukt… Programmadoelen vaak niet expliciet en onduidelijk Verschillende partijen hebben verschillende doelen, die vaak veranderen in loop der tijd Evaluatie vaak pas achteraf. Geen nul-meting Geen controlegroep (zeker bij buurtinterventies) “Real-life”-interventies: interveniërende factoren “Black box”: zelfs als we effect vaststellen, weten we niet waarom dit tot stand komt (vgl. R. Pawson)

Alles plus controlegroep Experimenteel onderzoek (RCT) Bewijskracht Omschrijving Soorten onderzoek Kwalificatie Causaal Alles plus controlegroep Experimenteel onderzoek (RCT) ------------------------- Quasi-experimenteel onderzoek Effectmeting Klanttevredenheids-onderzoek 4 Werkzaam (effectief) Indicatief Beschrijving, interventietheorie plus effectmeting (klanttevredenheid) 3. Doeltreffend Theoretisch Beschrijving plus geloofwaardige interventietheorie (mechanismen) Meta-analyse Literatuurstudie (“review”) 2. Veelbelovend Descriptief Beschrijving van interventie (doel-groep, middel, uitkomst) en context Descriptief onderzoek Documentenanalyse Interviews 1. Potentieel

“Effectladder” (naar Veerman & Van Yperen 2004) Bewijskracht Vereist onderzoek 4. Causaal (‘Werkzaam’) Experimenteel onderzoek (RCT) Quasi-experimenteel onderzoek 3. Indicatief (‘Doeltreffend’) Aantonen Cliëntwaardering Aantonen Doelrealisatie Aantonen Gedragsverandering 2. Theoretisch (‘Veelbelovend’) Theoretische onderbouwing Geloofwaardige interventietheorie Beschrijving relevant onderzoek (‘review’) 1. Descriptief (‘Potentieel’) Beschrijving interventiedoel en doelgroep Beschrijving methodiek Kwaliteitsbewaking

Wat is Theory-of-change-evaluatie? Programma’s zijn theorieën Evaluatie is toetsen van theorieën Bron: lezing Ray Pawson

“Theory of change”-evaluatie “The concept of grounding evaluation in theories of change takes for granted that social programs are based on explicit or implicit theories about how and why the program will work. The evaluation should surface those theories and lay them out in as fine detail as possible, identifying all the assumptions and sub-assumptions built into the program. The evaluators then construct methods for data collection and analysis that track the unfolding assumptions. The aim is to examine the extent to which program theories hold” (Weiss 1995)

“Theory of change”-evaluatie Veranderingstheorieën in en van de praktijk (vgl. ‘interventietheorie’ of ‘beleidstheorie’) “..a theory of how and why an initiative works” (Weiss) Geeft antwoord op vragen naar de “..intended outcomes, the activities (..) to implement to achieve these outcomes, and the contextual factors that may have an effect on implementation and their potential to bring about desired outcomes” (Connell & Kubisch 1998)

“TOC”-evaluatie in vier stappen Reconstrueren “theory of change” Onderbouwen “theory of change”: hoe plausibel? Meten van activiteiten en bedoelde uitkomsten Analyseren en interpreteren van resultaten

Reconstrueren veranderingstheorie Centrale vragen: Wat zijn de doelen op korte, middellange en lange termijn? “Backward mapping”: welke voorwaarden (‘conditions’) zijn nodig om doelen te bereiken? Welke interventies moeten worden uitgevoerd om deze voorwaarden te bewerkstelligen?

Reconstrueren veranderingstheorie “Backward mapping” Resources Activities Outputs Initial outcomes Inter-mediate outcomes Long-term outcomes “Forward mapping”

Voorbeeld 1: Theory of a Program of Teacher Home Visits Bron: Weiss 1972, p. 50

Voorbeeld 2: community building Bron: Connell & Kubisch 1998

Reconstrueren veranderingstheorie Waarom belangrijk? Leerproces: kan planning en uitvoering van interventie aanscherpen. Kijken alle neuzen in dezelfde richting? Stuurt dataverzameling van evaluatie: wat willen we precies weten? Expliciteren veranderingstheorie en daarover praten, geeft eerste (maar niet laatste!) idee van beoogde causaliteit (“waarom denkt men door A te doen B te bereiken?”) Reconstrueer veranderingstheorie met betrokkenen!

Onderbouwen veranderingstheorie Wat is een goede veranderingstheorie? Uitvoerbaar: is de interventie mogelijk gegeven beschikbare economische, technische, politieke randvoorwaarden? Plausibel: is er wetenschappelijk bewijs (desnoods ervaring of ‘common sense’) dat voorgenomen activiteiten tot de gewenste uitkomsten leiden? Meetbaar: theory of change voldoende specifiek geformuleerd zodat evaluator de voortgang van ingreep en effecten kan meten?

Meetbaar: de effectmeting Benoem meetbare indicatoren van uitgevoerde activiteiten (‘output’) en van doelen op korte, middellange en lange termijn (‘outcome’) Verzamel relevante gegevens over diverse indicatoren (vooral over activiteiten en doelen op korte en middellange termijn) Doe dit liefst samen met betrokkenen!

De effectmeting

Analyse en interpretatie Relevante vragen Treden in veranderingstheorie voorspelde effecten op? Zo ja, in welke omstandigheden, bij wie en in welke mate? Is dit definitief bewijs dat de veranderingstheorie correct is? Nee, want geen test voor eventuele externe invloeden (controlegroep)

Analyse en interpretatie Vier voorwaarden om te weten of interventie ‘werkt’ Gespecificeerde en plausibele veranderings-theorie over hoe interventie tot doel leidt Beoogde interventie (‘output’) adequaat uitgevoerd Aantoonbare realisatie beoogde uitkomsten (‘outcomes’) op korte, middellange en lange termijn Geen veranderingen in context die waargenomen effecten zouden kunnen verklaren Maar geen absolute zekerheid!

Discussie “Nothing as practical as a good theory”: met goed literatuuronderzoek (ex ante) is omvangrijk en duur effectenonderzoek vaak niet nodig Met goede theoretische onderbouwing kun je ook na effectmeting zonder controlegroep met enige zekerheid iets zeggen over effectiviteit van een interventie