Een gids voor Impactmeting Karen Maas 22 september 2011 Rotterdam 1

Outline  1. Achtergrond van de gids  2. Wat is impact?  3. Waarom impact meten?  4. Het proces van impact meten :  Impact van wat?  Impact waarop?  Hoe impact meten?  Gebruik resultaten?  5. Een aantal impact mythes  6. Discussie 2

Achtergrond van de gids  Steeds meer organisaties bezig met impact meten  Steeds meer vraag naar impact meten  Binnen ECSP ook steeds meer ervaring  Verschillende organisaties  Verschillende doelen en doelgroepen  Verschillende methoden (kwalitatief – RCT)  Stappen in het impact meet proces blijken min of meer generiek  Compilatie van kennis en ervaring 3

Wat is impact?

 Strategy [A] Input  Money  Material  Knowledge …… [B] Activities  Training  Basic needs ……  Building schools [E] Impact  Developmen t index  Progress out of poverty index  Well-being index …… [D] Outcome  Enrolment rates  Hours in school  Books read …… [C] Output ……  Teachers  trained  Books available  Schools built [0] Mission  Universal Education  Poverty reduction Internal External Wat is impact?

Waarom impact meten? 1.Verantwoording afleggen: 1.Upwards  naar donatoren/funders 2.Downwards  naar doelgroep 3.Intern 2.Besluitvorming & strategie 3.Legitimiteit 4. De lerende organisatie 6

Het proces van impact meten Leren 1. Impact van wat? 2. Impact waarop? 3. Hoe meten? 4. Gebruik resultaten

1. Impact van wat?  Dat is afhankelijk van:  strategie (wat, wie, waar en hoe)  Verbetervraag (strategisch, tactisch of operationeel) De goede dingen doen Effectiviteit: waarde propositie (wat wil je bereiken?) veranderingstheorie (hoe kun je dat bereiken?) De dingen goed doen Efficiency: welke activiteit, op welke manier, wanneer 8

1. Impact van wat? Veranderingstheorie Complex Institutionele resultaten  Verandering in maatschappelijke normen en beleid (over rechten en vrijheden, goed bestuur en efficiënte markten) Meet output en invloed (intermediaire outcomes) Systeem resultaten  Economische ontwikkeling, landelijke ontwikkeling, beheer natuurlijke hulpbronnen, ontwikkeling samenwerking Meet outcomes en impact Eenvoudig Niche resultaten  O.a. basisvoorzieningen en noodhulp, voedselbanken, crisis centra’s Meet input, activiteiten en outputs Geïntegreerde resultaten  Dienstverlening (in gezondheid, onderwijs, werk), inentings campagnes, complexe hulpdiensten Meet outputs, outcomes en soms impacts GerichtComplex Operationele strategie Ebrahim & Rangan, 2010

 Strategy Operationele vraag Project efficiency Tactische vraag Project performance Strategische vraag Mission-related performance Effectiveness [A] Input  Money  Material  Knowledge …… [B] Activities  Training  Basic needs ……  Building schools [E] Impact  Developmen t index  Progress out of poverty index  Well-being index …… [D] Outcome  Enrolment rates  Hours in school  Books read …… [C] Output ……  Teachers  trained  Books available  Schools built [0] Mission  Universal Education  Poverty reduction Internal External Efficiency

2. Impact waarop?  Mijn impact:  1. Wat zijn belangrijke impact thema’s Intern extern  2. Prioriteiten stellen  3. Van thema naar indicator  4. Implicaties voor benodigde data 11

3. Hoe impact meten?  Welke data heb je nodig?  Als je besluit outcome of impact te meten: 1.Is er impact (direct, indirect, positief, negatief, bedoeld, onbedoeld)? 2.Causaliteit en attributie? 12

3. Hoe impact meten? a. Reconstructie met data en statistieken b.Voorspellend -O.b.v. ervaring, expert knowledge of literatuur c.Evaluatie - Perceptiestudie d.Voor en Na-meting e.Controle groep f.Controle groep met random toewijzing (RCT)

3. Hoe impact meten? Eenzaamheid Voor (T0-meting) (N=200) Na (T1-meting) (N=200) Deelnemers (wel activiteit) Benchmark (what would have happened anyways) = Controlegroep Impact+ 50 Alternatief (ander (type) activiteit Resultaat-25 met huidige activiteit  Tabel X: Voorbeeld van resultaten van een gerandomiseerde evaluatie

4. Gebruik resultaten?  Let op: Meten is een middel om inzicht te krijgen en geen doel op zich!  Gaan voor de grootste impact?  Accepteren lage of LT impact?  Opstellen mix?  Het meetproces levert al veel informatie op.

Een aantal impact mythes  Impact evaluaties…..:  Zijn duur!  Kosten veel tijd  Leveren vaak teleurstellende resultaten  Kunnen alleen kwantitatieve effecten meten (nummers & cijfers)  Zijn er om donateurs tevreden te stellen  Kunnen vele projecten, zoals lobby, niet meten.

Discussie