Slimme subsidies 17 september 2013 Evaluatie van subsidies Dries Verlet Studiedienst van de Vlaamse Regering

Overzicht Inleiding Wat is beleidsevaluatie? Types van evaluatie Wat te evalueren Indicatoren Zelf doen of uitbesteden? Evalueren in drie stappen Ter uitleiding

Inleiding Wat zijn subsidies? Een subsidie is een financiële aansporing om het gedrag van de bevolking of van een specifieke doelgroep (dat kan ook een andere overheid zijn) te beïnvloeden in de door de overheid gewenste richting. Een frequent ingezet instrument: maar liefst 260 soorten premies en subsidies die vanuit de Vlaamse overheid worden gegeven aan een diversiteit aan doelgroepen

Inleiding Soorten premies en subsidies: Bouwen, wonen en energie (35) Cultuur, sport en vrije tijd (34) Economie en werk (75) Gezin, welzijn en gezondheid (63) Mobiliteit en openbare werken (9) Natuur en milieu (14) Onderwijs en wetenschap (29) Overheid (9) Bron: http://www.vlaanderen.be/nl/premies-en-subsidies Belangrijke uitgavepost van de Vlaamse overheid

Wat is beleidsevaluatie? Enkele definities: ‘Evaluation is the systematic and objective determination of the worth or merit of an object’ (Scriven, 2007) ‘A systematic or careful assessment of the merit, worth, and value of administration, output, and outcome of government interventions, which is intended to play a role in the future, practical action situation’ (Vedung, 1997) Link met beleidspraktijk Evalueren is waarderen Evaluatie ≠monitoring

Beleidsevaluatie versus monitoring Evaluatie en monitoring tegenover elkaar: Globaal: verschillend qua focus en gebruik, maar methodologisch complementair Gelijkenissen: qua structurering, planning alsook wat betreft het verkrijgen, analyseren en beoordelen van data Monitoring: Beschrijvend, wat Permanent Algemeen Bronnen vaker verankerd in organisatiestructuur Belangrijke rol voor managers Evaluatie Waarom/hoe Ad hoc Onderwerpspecifiek Gerichte bronnen nodig Vaak niet door het management zelf

Types van beleidsevaluaties I Naargelang het tijdstip in de beleidscyclus Bron figuur: De Peuter, 2007, 36

Types ex ante evaluaties van subsidies Bevragen van de potentiële ontvangers Enkele aandachtspunten: - Strategisch gedrag vermijden - Goede steekproef - Wel overwogen voorstelling van de thematiek - Nood aan een controlegroep Eerder kwalitatieve bevraging van experten  “Modellenspoor”: door middel van structurele modellen die gebaseerd zijn op economische theorie de reactie van subsidieontvangers trachten in te schatten. Bron: studie LNE  

Types ex post evaluaties van subsidies beleidsdoorlichting: evaluatie van het beleid op het niveau van de algemene of operationele doelstellingen effectenonderzoek ex post: het meten van netto-effecten van beleid Bron: studie LNE  

Wat te evalueren? Beleidsniveau Organisatieniveau Maatschappelijke problemen en noden Omgevingsfactoren Beleidsniveau Beleid input Structuren, institutionele en management Organisatieniveau Activiteiten en processen Outputs Outcomes op korte en ml termijn Outcomes op langere termijn Doelstellingen input Context

Omschrijving van de samenstellende delen Doelstellingen: strategische versus operationele; stabiliteit en consistentie doorheen de verschillende planningsdocumenten Input: mensen en middelen die men inzet Throughput: processen en activiteiten waarin inputs tot outputs worden omgezet Output: volume, kwaliteit en waarde van goederen en diensten Outcome: gebeurtenissen of omstandigheden die het (on-)bedoelde resultaat zijn van de acties van de overheid. Vaak niet éénduidig toe te schrijven aan de handelingen van de overheid Omgevingsfactoren: als organisatie geen vat op, maar kunnen doorslaggevende invloed uitoefenen

Omschrijving van de samenstellende delen INPUT TROUGHPUT OUTPUT OUTCOME Makkelijker te meten want zeer concreet Minder concreet en dus moeilijker te meten Kunnen op een meer regelmatige basis worden bijgehouden Zijn moeilijker om op regelmatige basis te verzamelen omdat het langer duurt vooraleer de effecten zich voordoen Minder externe factoren die een rol spelen Worden ook bepaald door vele externe factoren Meer bruikbaar voor dagelijks bestuur Zijn meer bruikbaar voor periodieke plannings- en beleidsdoelstellingen De betrouwbaarheid van de indicatoren ligt hoger De betrouwbaarheid van de indicatoren is lager, ze zijn meer vatbaar voor meetfouten Geven vaak minder informatie over het feit of de organisatie haar missie vervult Geven wel informatie over het feit of de organisatie haar missie vervult De indicatoren zijn makkelijker te controleren op hun juistheid De indicatoren zijn moeilijker te controleren op hun juistheid

Voorbeeld: schooltoelage Middelen: personeel, hun huisvesting en logistiek en financiën Activiteiten/processen: juridische kader, subsidiereglement, … Prestaties/Output: toekenning van een schooltoelage, bereik van de doelgroepen… Effecten: de mate waarin de leerlingen de kennis/attitudes verder ontwikkelen, vorm geven, etc.; toegankelijkheid van het onderwijs verhogen

Types van beleidsevaluaties II Evaluatiecriteria : Aanvaarbaarheid Coherentie Consistentie Doelbereiking Duurzaamheid Efficiëntie Effectiviteit Uitvoerbaarheid … Interne versus externe evaluatie Nog tal van subtypes

Indicatoren ter voeding van de evaluatie Wat zijn indicatoren? Enkele ingrediënten: Indicatoren als operationalisering van abstracte concepten, proxies Maken deel uit van een één of ander informatiesysteem dat een rol speelt in de beleidsvoering (en expliciet of impliciet deel uitmaakt van beleidstheorie) Statistieken zijn niet per definitie indicatoren (en omgekeerd)

Wat maakt een indicator een goede indicator? Indicatoren zelf: “FABRIC”: Focused Appropriate Balanced Robust Integrated Cost effective Doelstellingen: “SMART”: Specific Measurable Achievable Relevant Time-bound

Een diversiteit aan types van indicatoren Enkelvoudige versus samengestelde indicatoren “Objectieve” versus “subjectieve” indicatoren Besturingsniveau: strategisch, tactisch of operationeel Managementcyclus Dimensies: bereik, volume, kwaliteit Productieproces (cf. supra)

Op zoek naar indicatoren Wetenschap en beleid: een moeilijk huwelijk Onderbenutting van informatie uit indicatoren: Redenen: 1. Minder goede match tussen beleid en wetenschap 2. Organisatiestructuren die integratie in de weg staan 3. Onvoldoende politieke incentives

De link tussen het beleidsproces, indicatoren en het “veld” (Brennin, 2007)

Lessen uit het gebruik van indicatoren bij overheden Cijfers op zich zijn nog geen goede indicatoren Bruikbare indicatoren vereisen een duidelijke conceptuele basis Exhaustief (trachten te) zijn is een rem op de bruikbaarheid Symbolische waarde van een indicator, kan het wezenlijk belang ervan overschaduwen Indicator ≠ maatschappelijke realiteit Het meten op zich indiceert nog niet de geschikte actie Bij het ondernemen van actie, zoek indicatoren die iets zeggen over oorzaken, niet over symptomen

Lessen uit het gebruik van indicatoren bij overheden Het meten op zich oefent een invloed uit: men meet wat men belangrijk acht en indicatoren kunnen ons bewustzijn en focus op specifieke thema’s beïnvloeden Uitdaging: van beschrijving naar analyse

Evaluatie van subsidies: lessen uit Nederland (Algemene Rekenkamer, 2011) Waarom is de kwaliteit van effectevaluaties bij wijlen gebrekkig Bij rapporteringen van de evaluaties heeft men vaak meer aandacht voor de bruikbaarheid in de politieke context dan voor de kwaliteit van de eigenlijke evaluatie Sommige subsidies lenen zich minder goed voor een effectevaluatie (bv. exploitatiesubsidies) De kostprijs van het evalueren leidt soms tot effectevaluaties van mindere kwaliteit

Lessen uit Nederland (Algemene Rekenkamer, 2011) Waarom is het goed evalueren van de subsidies en hun effectiviteit zo belangrijk? Bewijs voor effectief beleid Bewijs voor effectiever en efficiënter beleid Basis voor verbetering van ander beleid Basis voor goede verantwoording

Zelf doen of uitbesteden? Interne dan wel externe evaluatie - Intern: evaluator maakt deel uit van de organisatie waarvan het beleid wordt geëvalueerd Extern: evaluator staat los van de organisatie Geen strikt onderscheid Een combinatie van beiden is mogelijk en soms ook te verkiezen Link met motieven tot evaluatie

Zelf doen of uitbesteden? Voor- en nadelen interne dan wel externe evaluatie (cf. De Peuter e.a., 2007)

Evalueren van subsidies in drie stappen Algemene Rekenkamer, 2011: http://www.rekenkamer.nl/Publicaties/Handreikingen/Handreiking_effectevaluaties_subsidies Stap 1: Randvoorwaarden creëren Stap 2: Voorbereiden en uitvoeren van de evaluatie Stap 3: Resultaten van de evaluatie benutten

Stap 1: Randvoorwaarden creëren • Voorbereiden van de nieuwe subsidie: gestructureerd aanpakken, o.a. voorzien in de mogelijkheden voor een goede effectevaluatie • Vastleggen van doel en beleidstheorie: - Maak een probleemanalyse (cf. RIA) - Beleidstheorie expliciteren: hoe draagt de subsidie bij tot de gewenste activiteit en de activiteit tot de gewenste maatschappelijke effecten (outcome) - Doelstellingen SMART formuleren - Doelstellingen: op niveau van de output en outcome - Leg de doelen en de beleidstheorie vast en maak ze kenbaar

Stap 1: Randvoorwaarden creëren • Plannen van evaluatie en monitoring: Plan al bij de start van de subsidie een evaluatie Best een meting vooraleer de effecten zichtbaar kunnen zijn - Weeg af of de subsidie het best afzonderlijk of in samenhang met andere maatregelen kan worden geëvalueerd Ga na welke gegevens straks nodig zijn voor de evaluatie, desgevallend opzetten van een monitoringssysteem Doe een nulmeting Experimenteel opzet mogelijk? Leg de evaluatiedatum vast.  

Stap 2: Voorbereiden en uitvoeren van de evaluatie Enkele aandachtspunten voor een goede effectevaluatie:   • Betrek evaluatiedeskundigen bij het onderzoek • Uitbesteden of niet? Zo ja: - Selecteer uitvoerder op kwaliteit - Denk mee met de uitvoerder gedurende opzet/uitvoering Maak goede afspraken over de rapportage Beoordeel rapport en conclusies op kwaliteit • Zorg voor een evaluatie die praktisch nut heeft voor de gebruikers • Baken de doelen van de subsidie af • Bewaak de kwaliteit van de metingen: validiteit, betrouwbaarheid, causaliteit • Bewaak de kwaliteit van de conclusies • Onafhankelijkheid van de uitvoering van de evaluatie  

Stap 3: Resultaten van de evaluatie benutten • Te benutten voor het afleggen van verantwoording dan wel om er lessen uit te trekken Maak duidelijk onderscheid tussen de resultaten evaluatie en appreciatie ervan • Ter bevordering van het leereffect: - Alle geledingen al betrekken tijdens de uitvoering van het onderzoek - Verspreid de evaluatie onder alle belanghebbenden - Gebruik alleen voldoende onderbouwde conclusies voor aanpassingen in de subsidie - Besteed aandacht aan signalen dat de subsidie (deels) ineffectief is (cadeaueffect)

Ter uitleiding Als overheid beschikken we vaak niet over de informatie om te leren van subsidiëring als beleidsinstrument Nood aan een bedrijfsvoering gericht op subsidies teneinde te leren over de effectiviteit van het overheidsoptreden Als lerende organisatie: niet alleen evalueren op zich, maar ook plannen om te evalueren Evaluatie van de effectiviteit van subsidies: niet evident, maar daarom niet minder belangrijk