Theory of Change-evaluatie: weten is méér dan meten Erik Snel Afdeling Sociologie Erasmus Universiteit Rotterdam Lezing voor Workshop ‘Evaluatieonderzoek in praktijk’, d.d. 28-3-2013

Inhoud Beperkingen klassiek evaluatieonderzoek Wat is “Theory of change”-evaluatie? TOC-evaluatie in vier stappen Nogmaals het causaliteitsprobleem

TOC-evaluatie als verantwoord en uitvoerbaar alternatief als controlegroep niet lukt… Programmadoelen vaak niet expliciet en onduidelijk Verschillende partijen hebben verschillende doelen, die vaak veranderen in loop der tijd Evaluatie vaak pas achteraf. Geen nul-meting Geen controlegroep (zeker bij buurtinterventies) “Real-life”-interventies: interveniërende factoren “Black box”: zelfs als we effect vaststellen, weten we niet waarom dit tot stand komt

Wat is Theory-of-change-evaluatie? Programma’s zijn theorieën Evaluatie is toetsen van theorieën Bron: Ray Pawson

“Theory of change”-evaluatie The concept of grounding evaluation in theories of change takes for granted that social programs are based on explicit or implicit theories about how and why the program will work. The evaluation should surface those theories and lay them out in as fine detail as possible, identifying all the assumptions and sub-assumptions built into the program. The evaluators then construct methods for data collection and analysis that track the unfolding assumptions. The aim is to examine the extent to which program theories hold. (Weiss 1995)

“Theory of change”-evaluatie “..a theory of how and why an initiative works” (Carroll Weiss) Veranderingstheorieën in en van de praktijk (vgl. ‘interventietheorie’ of ‘beleidstheorie’)

“TOC”-evaluatie in vier stappen Reconstrueren “theory of change” Onderbouwen “theory of change”: hoe plausibel? Meten van activiteiten en bedoelde uitkomsten Analyseren en interpreteren van resultaten

Reconstrueren veranderingstheorie Centrale vragen: Wat zijn de doelen op korte, middellange en lange termijn? “Backward mapping”: welke voorwaarden (‘conditions’) zijn nodig om doelen te bereiken? Welke interventies moeten worden uitgevoerd om deze voorwaarden te bewerkstelligen?

Reconstrueren veranderingstheorie “Backward mapping” Resources Activities Outputs Initial outcomes Inter-mediate outcomes Long-term outcomes “Forward mapping”

Reconstrueren veranderingstheorie Waarom belangrijk? Kan planning en uitvoering van interventie aanscherpen: kijken alle neuzen in dezelfde richting? Stuurt dataverzameling van evaluatie: wat willen we precies weten? Expliciteren veranderingstheorie en daarover praten, geeft een eerste (maar niet laatste!) idee van beoogde causaliteit (“waarom denkt met door A te doen B te bereiken?”)

Onderbouwen veranderingstheorie Goede veranderingstheorie is uitvoerbaar, meetbaar en plausibel Plausibel? Is er wetenschappelijk bewijs (of ‘common sense’ of praktijkervaring) dat geplande activiteiten tot gewenste uitkomsten leiden? Literatuurreview, interviews met experts: wat weten we over activiteiten en mogelijke effecten? Vgl. lezing Vasco Lub

De effectmeting Benoem meetbare indicatoren van uitgevoerde activiteiten (‘output’) en van doelen op korte, middellange en lange termijn (‘outcome’) Verzamel relevante gegevens over diverse indicatoren (vooral over activiteiten en doelen op korte en middellange termijn) Doe dit liefst samen met betrokkenen!

De effectmeting

Analyse en interpretatie Relevante vragen Treden in veranderingstheorie voorspelde effecten op? Zo ja, in welke omstandigheden, bij wie en in welke mate? Is dit definitief bewijs dat de veranderingstheorie correct is? Nee, want geen test voor eventuele externe invloeden (controlegroep)

Analyse en interpretatie Vier voorwaarden om te weten of interventie ‘werkt’ Gespecificeerde en plausibele veranderings-theorie over hoe interventie tot doel leidt Beoogde interventie (‘output’) adequaat uitgevoerd Aantoonbare realisatie beoogde uitkomsten (‘outcomes’) op korte, middellange en lange termijn Geen veranderingen in context die waargenomen effecten zouden kunnen verklaren Maar geen absolute zekerheid!