Directeur Inspectie Ontwikkelingssamenwerking & Beleidsevaluatie (IOB) Rapporteren over Resultaten Jaarvergadering CBF December 2012 Prof. dr. Ruerd Ruben Directeur Inspectie Ontwikkelingssamenwerking & Beleidsevaluatie (IOB)

Verantwoording van Resultaten CBF : ‘weet waarvoor je geeft’ – Zo zorgt het CBF ervoor …. dat we erop kunnen vertrouwen dat goede doelen verstandig (met de giften) omgaan. Legitimiteit en Vertrouwen - van ‘rechtmatigheid’ naar ‘doelmatigheid’ + ‘doeltreffendheid’ Evalueren = Systematisch verzamelen, interpreteren en presenteren van informatie teneinde de waarde van een programma te bepalen. Landbouw kan een schadelijk effect hebben op het milieu  kunnen jullie voorbeelden geven? (vervuiling grondwater, houtkap, verdroging, erosie) In 2015 wil Nederland ervoor gezorgd hebben dat in landen waar Nederland mee samenwerkt (partnerlanden) de voedselproductie in de landbouw omhoog is gegaan op ecologisch verantwoorde wijze, dus: meer oogst maar met minder schade voor milieu en natuur. Ook wil Nederland de waterproductiviteit in deze landen met minimaal 25% verbeteren, dat is de verhouding tussen de hoeveelheid water die gebruikt wordt en wat er geoogst wordt. Stel er dat er eerst 4000 liter water nodig was voor het produceren van 1 kilo rijst dan wil Nederland ervoor zorgen dat dit in 2015 nog maar 3000 liter is. 2 2

5 belangrijke lessen Effectiviteit is een noodzakelijke voorwaarde voor maatschappelijk vertrouwen Programma’s worden beoordeeld op ‘value for money’ Evaluatie begint bij de start van het programma Impactmeting kan in bijna elk project Evaluatie is een investering, geen ‘overhead’ Landbouw kan een schadelijk effect hebben op het milieu  kunnen jullie voorbeelden geven? (vervuiling grondwater, houtkap, verdroging, erosie) In 2015 wil Nederland ervoor gezorgd hebben dat in landen waar Nederland mee samenwerkt (partnerlanden) de voedselproductie in de landbouw omhoog is gegaan op ecologisch verantwoorde wijze, dus: meer oogst maar met minder schade voor milieu en natuur. Ook wil Nederland de waterproductiviteit in deze landen met minimaal 25% verbeteren, dat is de verhouding tussen de hoeveelheid water die gebruikt wordt en wat er geoogst wordt. Stel er dat er eerst 4000 liter water nodig was voor het produceren van 1 kilo rijst dan wil Nederland ervoor zorgen dat dit in 2015 nog maar 3000 liter is. 3 3

Over IOB Mandaat & Werkwijze Beoordeling van de beleidseffectiviteit Leren van ervaringen Verbeteren ‘evidence-based’ beleidsvoering Verantwoording afleggen aan Parlement, Publiek en Samenleving Bijdragen aan Transparantie & Vertrouwen 4

Context: Afnemend vertrouwen (2005-2011) Consumenten vertrouwen Donateurs vertrouwen 5

Reputatie & Vertrouwen Tell me” “Show me” “Tell me” “Show me” “Trust me” “Trust me” Inzicht in effectiviteit is een noodzakelijke (maar niet voldoende) voorwaarde voor maatschappelijk vertrouwen

B&M Gates Foundation: ‘Innovation with Impact’ 7

Informatie over goede doelen 8

Leren van fouten 9

Effectiviteit = Value for Money Zinvolle resultaten (‘meaningful results’) Netto effecten (bijdrage van het project) Kosten-effectiviteit (efficiency) Attributie/Contributie Additionaliteit Zakelijkheid

Kosten van evaluatie: max 1-2 %

Quality at Entry (Q@E) Heldere resultaatketen Haalbare doelen Meetbare indicatoren Zicht op risico’s Eerlijke Kosten/baten 12

Outreach = aantal clienten Van Input naar Impact Outreach = aantal clienten

Robuuste impactmeting Doel Impact meting = vergelijking van: voor/na interventie (over de tijd) met/zonder interventie (counterfactual) Verschillende methoden beschikbaar (e.g. story harvesting, outcome mapping, SROI, etc) (Zie: NONIE Guidelines ; 3ie) met zonder T=0 T=1 Tijd

Difference – in – Difference Vooraf Achteraf Met Programma A B Zonder C D

Lessen uit Impact evaluaties (1) Impact meting: ● Meting van Waterkwaliteit ● Interactie Water-Sanitatie ● Infrastructuur + Gedrag Geleerde Lessen: ● Output is o.k. ● Impact verdwijnt ● Integraal beheer nodig ● Samenwerking meerdere partners E-coli in rurale waterbronnen (Benin) – bron: IOB 16

Lessen uit Impact evaluaties (2) Impact meting: ● Meting van schoolresultaten ● Kosteneffectiviteit ● Verschillende investeringsopties Geleerde Lessen: ● Genoeg schoolgebouwen ● Tekort aan leermiddelen ● Voldoende leraren ● Gebrekkige aanwezigheid docenten Effecten van onderwijsinvesteringen (Oeganda) – bron: IOB 17

Keuze van methoden Experimenten (RCTs/Real-time evaluation) Story harvesting Outcome mapping Robuuste Impact studies Experimenten (RCTs/Real-time evaluation) Systematische Reviews (Campbell protocol) Thematische studies (Kritische succes factoren)

Experimenten (RCTs) ● Nadruk op (kleinschalige) experimenten ● A-selecte keuze van deelnemers ● Uitzoeken ‘wat werkt’ ● Geen selectie-effecten ● Toepassingen: trainingen schooldeelname individuele/groepsleningen

‘Results-based’ financiering Gebaseerd op achteraf betaling (cash on delivery) Voor/mede-financiering door clienten Combinatie van lening & schenking Onafhankelijke verificatie / transparantie Lokale uitvoerings verantwoordelijkheid Toepassingen in onderwijs, wegenonderhoud, drinkwater, ed.

Frontloading: resultaten naar voren halen

Evaluatie hulpmiddelen 22

Belangrijkste Uitdagingen Onafhankelijkheid van de Evaluatiefunctie Focus op Evalueerbaarheid (Q@E) Deelname van lokale partners (RCTs) Open datasystemen (bv. Ngo-database.nl; Kennisbank filantropie.nl) Openheid over Successen én Mislukkingen Uitzicht bieden op duurzame netto effecten

Veel succes gewenst …