Impact van Goede Doelen Organisaties 13 december 2010 Dr. Karen Maas

Veel discussie: nut en noodzaak Hoe weet je wat je bereikt hebt? Inzicht in Impact Er wordt heel veel over gesproken, zowel in bedrijfsleven als bij overheden, NGO’s en GDO’s. Veel discussie: nut en noodzaak Hoe weet je wat je bereikt hebt? De goede dingen doen Effectiviteit: waarde propositie (wat wil je bereiken?) veranderingstheorie (hoe kun je dat bereiken?) De dingen goed doen Efficiency: welke activiteit, op welke manier, wanneer De goede dingen doen is heel resultaat gericht. De dingen goed doen is meer een efficiency vraagstuk en kijkt of het proces goed is ingericht. Een voorbeeld hiervan is voorkomen van Aids. Hoe kun je dat bereiken: bewustwording, gebruik condooms, beahndeling babies voor geboorte etc. Binnen dit scala aan mogelijkheden maak je een keuze hoe jij je wilt inzetten voor dit probleem. Bijv. Door condooms te verspreiden. Maar binnen deze keuze zijn er veel verschillende aanpakken mogelijk. Je zou eigenlijk willen weten welke manier van condooms verspreiding het het meeste effect heeft (gratis uitdelen, laten kopen, met training, via scholen, via dorpshoofden etc.) en wanneer. 2

Wat is impact? Impact is de waarde die een goede doelen organisatie (GDO) creëert voor haar doelgroep (Emerson et al., 2000). Som van totale impact op de maatschappij: bedoelde en onbedoelde positieve en negatieve effecten Maatschappelijke impact ten opzicht van een benchmark ‘what would have happened anyway’ Impact zoals deze ervaren wordt door de doelgroep en andere geraakten, per definitie dus participatief, waarbij het perspectief wordt verlegd van de organisatie naar deze groepen

Van input tot impact Outcome Resultaten – middel- en lange termijn Verbeterde levenscondities, gezondheid, etc. Hogere inkomsten Versterkte politieke stem Input Wat erin gaat: Geld Materiaal Kennis Uren Activiteiten Wat er wordt gedaan: Basis benodigdheden geleverd zoals voeding behandeling en onderdak Capacity building Constructie van infrastructuur Politieke dialoog Output Resultaten – direct Mensen gevoed, behandeld of behuisd Mensen getraind of opgeleid Wegen gebouwd Goederen getransporteerd naar de markt en verkocht Notities en rapporten geschreven Coalities gesloten en netwerken opgebouwd Impact Resultaten – LT blijvende effecten: Afname armoede Verandering in politieke situatie en regels Verbeterde rechtspositie en politieke macht Fundamentele verandering in maatschappelijke normen en verhoudingen 4

Impactmeting Beperking van bestaand onderzoek & praktijk: 1. Weinig informatie over waarom je impact zou meten 2. Weinig informatie op wat je met de resultaten kunt 3. Focus op input & output in plaats van impact 4. Focus op organisatie in plaats van op de maatschappij 5. Focus op wat te meten in plaats van hoe te meten

Vragen bij meten: Waarom meten? Wat wil ik meten? Als je besluit outcome of impact te meten: Is er impact (direct, indirect, positief, negatief, bedoeld, onbedoeld)? Causaliteit (draagt de activiteit bij aan impact)? Attributie (komt de verandering door jouw bijdrage)?

Verantwoording afleggen: Waarom meten? Legitimiteit Verantwoording afleggen: Upwards  naar donatoren/funders Downwards  naar doelgroep Intern Besluitvorming De lerende organisatie Strategie ontwikkeling

Wat wil ik meten? Ongericht Uitgaven Behalen doelstellingen Audit Behalen missie Outcome Impact Data verzameling: meer en moeilijker

Hoe kun je impact meten? Is er impact (direct, indirect, positief, negatief, bedoeld, onbedoeld)? Causaliteit (draagt de activiteit bij aan impact)? Attributie (komt de verandering door jouw bijdrage)? Zoveel mogelijk objectiveren van subjectieve resultaten a. Reconstructie met data en statistieken b. Voorspellend O.b.v. ervaring, expert knowledge of literatuur Evaluatie - Perceptiestudie Voor en Na-meting (causaliteit vaststellen) Controle groep (attributie vaststellen) Randomized Control Trial (RCT) 9

Wanneer gebruik je wat? Ebrahim & Rangan, 2010 Complex Veranderingstheorie Complex Institutionele resultaten Verandering in maatschappelijke normen en beleid (over rechten en vrijheden, goed bestuur en efficiënte markten) Meet output en invloed (intermediaire outcomes) Systeem resultaten Economische ontwikkeling, landelijke ontwikkeling, beheer natuurlijke hulpbronnen, ontwikkeling samenwerking Meet outcomes en impact Eenvoudig Niche resultaten O.a. basisvoorzieningen en noodhulp, voedselbanken, crisis centra’s Meet input, activiteiten en outputs Geïntegreerde resultaten Dienstverlening (in gezondheid, onderwijs, werk), inentings campagnes, complexe hulpdiensten Meet outputs, outcomes en soms impacts Gericht Operationele strategie Ebrahim & Rangan, 2010 10

Wat kun je met de resultaten? Let op: Meten is een middel om inzicht te krijgen en geen doel op zich Gaan voor de grootste impact? Accepteren lage of LT impact? Opstellen mix? Het meetproces levert al veel informatie op. 11

Conclusie Meten van impact geeft meerwaarde Geen generieke methode kan gebruikt worden door alle organisaties Verschillende methoden voor verschillende doelstellingen

Discussie Impact meten is geldverspilling Donateurs zijn niet geinteresseerd in impact RCT’s zijn onethisch