Het meten van impact in de Goede Doelen sector Dinand Webbink 13 september 2011 Rotterdam 1

Outline  1. Waarom impact meten?  2. Wat is impact?  3. Een private en maatschappelijke nutsfunctie  4. Van impactmeting naar effectmeting  5. Het effect van X op Y  6. Wanneer welk type evaluatie? 2

Waarom impact meten? Argumenten tegen  Eigen keuze van fondsen om al dan niet verantwoording af te leggen aan belanghebbenden.  Schaalgrootte  Omvang van afzonderlijke donaties  Evaluatiebeleid kan op vele wijzen worden gedefinieerd, er bestaat veel verwarring  Causale relatie moeilijk te onderzoeken  Impactmeting is duur en tijdrovend  Veranderingstheorie over opschalen succesprojecten wordt zelden in praktijk gebracht  Aandacht voor kwantiteit bij prestatie-indicatoren verdrijft aandacht voor kwaliteit 3

Argumenten tegen  Door nieuwe werkwijze van fondsen is de vraag niet meer ‘wat is de waardetoevoeging van onze financiele bijdragen’ maar ‘wat moeten we weten om onze doeltreffendheid’ te vergroten  Alles dat kan worden geteld telt niet noodzakelijkerwijs  Fondsen richten zich vaak op innovaties, succesvolle programma’s zijn vaak initiatieven die al eerder zijn genomen  Meten van impact heeft alles te maken met veranderingstheorie die men voor ogen heeft. Denken in termen van impact kan megalomane veranderingstheorieen stimuleren. 4

Waarom wel impact meten?  Het alternatief voor impactmeting: niet kijken naar resultaten  Impact meten is kijken naar de resultaten om daarvan te leren.  Impact evaluaties beantwoorden de vraag wat werkt, wat werkt niet, en hoe komt dat.  Impactmeting is een instrument om de resultaten van de organisatie te verbeteren.  Impactmeting maakt het mogelijk om verantwoording af te leggen en bij te dragen aan accountability 5

Opbrengsten van impactevaluatie  Ex ante  Focus, afweging en prioritering  Ex post  Leereffect  Bijstellen, stopzetten of opschalen  Verantwoording over inzet van middelen 6

Wat is impact: impact voor GDO  Vertrekpunt private nutsfunctie van GDO  Doelstellingen/uitkomsten Y van GDO genereren nut voor organisatie (zowel bedoelde als onbedoelde uitkomsten)  GDO onderneemt activiteiten X om doelstellingen te realiseren 7

Wat is impact: maatschappelijk impact  Maatschappelijke (sociale) nutsfunctie = nut van de samenleving als geheel  De maatschappelijk welvaart neemt toe als sommigen erop vooruit gaan en niemand erop achteruit gaat.  Verandering van maatschappelijke welvaart is niet duidelijk als sommigen erop vooruit gaan en anderen erop achteruit gaan, (is compensatie mogelijk?).  Afweging hangt af van preferenties, terrein van politiek 8

Bijdrage doelen GDO aan maatschappelijke welvaart  Eerste impactvraag  Hoe belangrijk zijn doelen van GDO voor maatschappelijke welvaart, hoe verhoudt de private nutsfunctie zich tot de sociale nutsfunctie?  Belangrijke vraag, maar dit is primair een vraag voor GDO. GDO bepaalt doelen vanuit missie/identiteit van de organisatie.  Tweede impactvraag:  In hoeverre worden de doelen van GDO gerealiseerd door de projecten/activiteiten van GDO? 9

Van impactmeting naar effectmeting  Effectmeting onderzoekt in hoeverre projecten leiden tot realiseren van concrete doelen:  Wat is het effect van X op Y  Y doel/uitkomst  X project  εniet waargenomen factoren  αeffect van X op Y 10

Hoe kan het effect van X op Y worden bepaald?  Hoofdvraag van programevaluation  Het gaat dan over α en ε  Controlegroep, rol van niet waargenomen factoren  Selectieprobleem  Oplossingen  Experimentele designs: voorbeelden. 11

Experimentele designs  Gecontroleerd experiment  Toekenning interventie op basis van regel of restrictie  Voor- en nameting met controlegroep  Voor- en nameting zonder controlegroep  Alleen nameting voor groep die treatment heeft gekregen.  Geloofwaardigheid van het effect hangt af van het gekozen onderzoeksdesign en de daarbij horende aanname. 12

Wanneer welk type evaluatie?  1. Hoe belangrijk is het voor uw organisatie om het effect van X op Y te weten?  Kosten – baten afweging  2. Praktische mogelijkheden voor evaluatie  Hoe goed kan Y worden gemeten?  Hoe intensief is X en hoeveel middelen zijn ermee gemoeid: het effect van een kleine, korte interventie is vaak moeilijk te meten  Wat zijn de mogelijkheden voor een geloofwaardig design? Evaluatie met zwak design levert weinig op. 13

Vragen over Y  Welke Y’s?  Y uit private nutsfunctie of uit sociale nutsfunctie?  Is de Y uit private nutsfunctie eigenlijk een X (input of outcome)?  Hoe meten we Y, wat zijn de beste proxies?  Kunnen we Y wel meten?  Leidt focus op Y1 tot verwaarlozing van Y2? 14

Vragen rond X  Afbakening van X  Omvang van X  Door wie wordt X betaald?  Aggregatieniveau: is X een project of hele organisatie? 15

Vragen over controlegroep  Wat is geloofwaardige controlegroep  Ethiek  Spillovers tussen experimentele en controlegroep. 16

Ingezonden vraag  Is goed impactonderzoek mogelijk zonder controlegroep en zo nee, hoe kunnen wij op een goede manier met ethisch vraagstuk (leerlingen wel werven maar niet plaatsen omgaan).  Zonder controlegroep kun je alleen vaststellen of doelstelling is gerealiseerd, maar niet waardoor dit komt.  Op andere wijze controlegroep zoeken  Gebruik maken van bijzondere situaties: Evaluatie Wijkscholen in R’dam 17

Ingezonden vraag  We brengen mensen met en zonder verstandelijke beperking bij elkaar. Er is een externe evaluatie gedaan op basis van ‘story telling’. Men is enthousiast. Zijn er andere manieren om dit te meten?  Wat is precies het doel? Kan Y scherp worden geformuleerd.  Algemene indruk: lastig te evalueren want X en Y weinig concreet. 18

Ingezonden vraag X  Door verandering in Wmo staat eigenkracht van mensen zelf voorop. Dat vraagt om meer samenwerking tussen organisaties die samen de client centraal stellen en daar dienend aan zijn. Maar maakt het lastiger om impact van een bepaalde organisatie vast te stellen. Hoe kun je dit toch concreter maken?  Effectevaluatie bepaalt in principe totale effect van X. Wat effect is van verschillende componenten van X is niet duidelijk. 19

Ingezonden vraag X  In R’dam 4500 vrijwilligersorganisaties actief. Deze organisaties hebben allemaal eigen impact. Kan de impact van alle organisaties te samen worden bepaald?  Counterfactual vinden van R’dam zonder 4500 organisaties is lastig.  Alternatieve strategie: bepaal zo goed mogelijk de impact van één of enkele organisaties, vervolgens aggregatie.  Hoe goed doen steunorganisaties het?  Voor wie werken steunorganisaties, valt hun bereik af te bakenen en zijn daarbij de doelen te formuleren? 20

Ingezonden vraag  Effecten van M25-project. Jongeren maken onder begeleiding van vrijwilligers kennis- met vrijwilligerswerk voor kwetsbare groepen. Hoe kunnen we effecten meten voor jongeren, begeleiders en de profijtgroep?  Doelen formuleren  Controlegroepen zoeken  Voor- en nameting 21

Ingezonden vraag  Hoe kan meten worden ingevoerd zonder dat dit door medewerkers als controleren wordt ervaren, maar als verbeteren en van elkaar leren wordt ervaren.  Informatie en prikkels  Beloon medewerkers die zorgen voor zicht op de effecten van de activiteiten. 22