Hoe projecten evalueren?

Presentatie over: "Hoe projecten evalueren?"— Transcript van de presentatie:

1 Hoe projecten evalueren?
Valérie Pattyn Instituut voor de Overheid, K.U. Leuven Week van de integrale veiligheid- 27 juni 2011

2 Wat is beleidsevaluatie (niet)? Waarom en wanneer evalueren?
Focus presentatie Wat is beleidsevaluatie (niet)? Waarom en wanneer evalueren? Anticiperen op een projectevaluatie: Randvoorwaarden voor evalueerbaarheid Evaluatievragen en –criteria Beleidstheorie Monitoringinfrastructuur Capaciteit/ Cultuur

3 Beleidsevaluatie – enkele kenmerken
“Het bepalen van de meerwaarde (‘merit’) van datgene wat geëvalueerd wordt” (M. Scriven) Informele versus formele evaluatie. Gestructureerd/systematisch proces – Inzet methoden en technieken: Evaluatievraag + Evaluatiecriterium Data-verzameling Data-analyse Beoordeling

4 Evaluatie van beleid “Beleid” = ? Maatregel Pakket van maatregelen
Project (voorbeeld: Project aanpak fietsdiefstal) Programma Preventie Structurele oorzaak van diefstal wegnemen -Verbeteren stallingsvoorzieningen -Bevorderen gebruik Preparatie Voorbereiding op bestrijding diefstal -Gravering fietsen Repressie Bestraffing diefstal -Stimuleren aangifte -Controle en handhaving

5 Afbakening van beleidsevaluatie
Ten aanzien van andere functies ter ondersteuning van beleid en beheer (Widmer, 2005)

6 Waarom evalueren? MOTIEVEN om beleid te evalueren:
Beleidsplanning ondersteunen Verbeteren van de uitvoering van het beleid en bijdragen tot institutionele ontwikkeling van de betrokken organisaties Het afleggen van verantwoording m.b.t. de resultaten van het beleid en de ingezette middelen Beleidsleren: het antwoord op de vraag waarom en hoe beleid wel of niet geslaagd is “The purpose of an evaluation conditions the use that can be expected of it” (Chelimsky, 1997)

7 Wanneer evalueren?

8 Anticiperen op een projectevaluatie
Toetsing op evalueerbaarheid: “Evaluability Assessment” Aandacht voor de organisatorische en inhoudelijke evalueerbaarheid van de evaluatievraag “Is het mogelijk (cf. randvoorwaarden) om het beleid op te volgen en te evalueren (ex ante / tussentijds / ex post)?” = bijzondere vorm van ex ante evaluatie Opstart evaluatie? Ja/Neen Scope evaluatie?

9 Randvoorwaarden evalueerbaarheid
Consensus evaluatievragen/ evaluatiecriteria? Beleidstheorie? Betrouwbare en valide indicatoren? Evaluatiecapaciteit en -cultuur?

10 (1) Consensus evaluatievragen/Criteria
Consensus evaluatievragen tussen verschillende stakeholders? Aard van vragen (beschrijvend; voorspellend..)? Een goede evaluatievraag bevat slechts één evaluatiecriterium

11 Evaluatiecriteria

12 (2) Beleidstheorie Explicitering beleidstheorie als vertrekpunt voor ‘scoping’ van de evaluatie. Beleidstheorie? Projectlogica het geheel van assumpties die beleidsmakers volgen bij de uitwerking en uitvoering van een concreet beleidsinitiatief Vaak impliciete redeneringen, niet uitgesproken. “Waarom dit project precies? Hoe denken we dat dit bepaald resultaat kan genereren in maatschappij?

13 (2) Beleidstheorie Een inhoudelijke beschrijving van het beleidsinitiatief en van de wijze waarop dit bepaalde doelstellingen zal bereiken of effecten zal genereren (“Hoe werkt het beleid?”) = “ Causaal Veranderingsmodel” Een oordeel over wat er gedaan moet worden om deze doelstellingen te halen (“Wat moet er concreet gebeuren?”)  beschrijvend én prescriptief (Chen, 2005)

14 Beleidstheorie-gedreven evaluatie
Beschrijvende assumpties: Causale mechanismen ten grondslag van maatschappelijk probleem Causale processen waardoor beleid werkt en de beoogde maatschappelijke verandering optreedt Determinanten: relevante factoren waarop het beleid dient in te spelen om de gewenste effecten te bereiken Veranderingsmodel achter het beleid

15 Beleidstheorie: Veranderingsmodel achter een projectinitiatief

16 Reconstructie beleidstheorie: Voorbeeld

17 (2) Beleidstheorie Solide redenering achter beleid verhoogt slaagkansen Voorwerp van evaluatie (“is beleid goed doordacht?) én Reconstructie beleidstheorie als vehikel tot uitzetten bakens evaluatie. Aandacht voor determinanten waarop het beleid kan ingrijpen. Aandacht voor mogelijke neveneffecten Stuurt selectie van indicatoren voor monitoring en gepaste technieken voor dataverzameling

18 (3) Monitoring en beleidsevaluatie
Relatie monitoring en beleidsevaluatie:  Tandem Belang van adequaat monitoringssysteem Functie van indicatoren =Indicaties van realiteit =Kwantitatieve weergave van kwaliteit/kwantiteit van meetobject =Beschrijvend; niet verklarend!

19 Stelregels bij opstellen indicatoren
Maak gebruik van beleidstheorie Zoek naar bestaande meetpraktijken Betrek stakeholders SMART-principe: Specificiteit: Indicator heeft 1 op 1 relatie met datgene wat gemeten wordt Meetbaar Afgesproken: consensus stakeholders Relevantie Tijdsgebonden (maar stabiel!) Kosten-batenanalyse van de data-verzameling Belang van nulmeting! Betrouwbaarheid en validiteit

20 Betrouwbaarheid Garanties van de meting op het vlak van objectiviteit en reproduceerbaarheid Maak steekkaart met meta-info over de indicator

21 Validiteit: “Meet men wat men wil meten?”
Valkuilen bij indicatorenontwikkeling Men meent onterecht dat de indicator het totale meetobject afdekt Te weinig aandacht voor moeilijker meetbare aspecten van het meetobject Reductie: men past het meetobject of concept aan de indicator aan, ipv omgekeerd

22 Indicatoren: soorten Cfr. Componenten in schema beleidscyclus
Input: Aantal ingezette politiepatrouilles; aantal manuren; Aantal aanwezigen op infosessies “woningbeveiliging” Proces: “Doorlooptijden” Output: aantal gesloten dealpanden; verwerkte PV’s; aantal aanvragen premies inbraakbeveiliging Effect: minder druggebruik in bepaald stadsdeel; aantal mislukte pogingen tot inbraak Impact: lange termijn. Blijvend effect? Veiligheidsgevoel bewoners Efficiëntie: input/output. Effectiviteit: effect/output. Kosteneffectiviteit: effect/input

23 (4) Evaluatiecapaciteit/ Cultuur
Interne versus externe evaluatie Relatieve kostprijs evaluatie i.f.v. projectkost Evaluatiecultuur

24 Instituut voor de Overheid
Meer informatie? Valérie Pattyn Instituut voor de Overheid