De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Studiedienst van de Vlaamse Regering Slimme subsidies 17 september 2013 Evaluatie van subsidies Dries Verlet Studiedienst van de Vlaamse Regering.

Verwante presentaties


Presentatie over: "Studiedienst van de Vlaamse Regering Slimme subsidies 17 september 2013 Evaluatie van subsidies Dries Verlet Studiedienst van de Vlaamse Regering."— Transcript van de presentatie:

1 Studiedienst van de Vlaamse Regering Slimme subsidies 17 september 2013 Evaluatie van subsidies Dries Verlet Studiedienst van de Vlaamse Regering

2 Dries Verlet Studiedienst van de Vlaamse Regering 2 Overzicht Inleiding Wat is beleidsevaluatie? Types van evaluatie Wat te evalueren Indicatoren Zelf doen of uitbesteden? Evalueren in drie stappen Ter uitleiding

3 Dries Verlet Studiedienst van de Vlaamse Regering 3 Inleiding Wat zijn subsidies? Een subsidie is een financiële aansporing om het gedrag van de bevolking of van een specifieke doelgroep (dat kan ook een andere overheid zijn) te beïnvloeden in de door de overheid gewenste richting. Een frequent ingezet instrument: maar liefst 260 soorten premies en subsidies die vanuit de Vlaamse overheid worden gegeven aan een diversiteit aan doelgroepen

4 Dries Verlet Studiedienst van de Vlaamse Regering 4 Inleiding Soorten premies en subsidies:  Bouwen, wonen en energie (35)  Cultuur, sport en vrije tijd (34)  Economie en werk (75)  Gezin, welzijn en gezondheid (63)  Mobiliteit en openbare werken (9)  Natuur en milieu (14)  Onderwijs en wetenschap (29)  Overheid (9) Bron: subsidieshttp://www.vlaanderen.be/nl/premies-en- subsidies Belangrijke uitgavepost van de Vlaamse overheid

5 Dries Verlet Studiedienst van de Vlaamse Regering 5 Wat is beleidsevaluatie? Enkele definities: ‘Evaluation is the systematic and objective determination of the worth or merit of an object’ (Scriven, 2007) ‘A systematic or careful assessment of the merit, worth, and value of administration, output, and outcome of government interventions, which is intended to play a role in the future, practical action situation’ (Vedung, 1997) Link met beleidspraktijk Evalueren is waarderen Evaluatie ≠monitoring

6 Dries Verlet Studiedienst van de Vlaamse Regering 6 Beleidsevaluatie versus monitoring Evaluatie en monitoring tegenover elkaar: Globaal: verschillend qua focus en gebruik, maar methodologisch complementair Gelijkenissen: qua structurering, planning alsook wat betreft het verkrijgen, analyseren en beoordelen van data Monitoring: Beschrijvend, wat Permanent Algemeen Bronnen vaker verankerd in organisatiestructuur Belangrijke rol voor managers Evaluatie Waarom/hoe Ad hoc Onderwerpspecifiek Gerichte bronnen nodig Vaak niet door het management zelf

7 Dries Verlet Studiedienst van de Vlaamse Regering 7 Types van beleidsevaluaties I Naargelang het tijdstip in de beleidscyclus Bron figuur: De Peuter, 2007, 36

8 Dries Verlet Studiedienst van de Vlaamse Regering 8 Types ex ante evaluaties van subsidies Bevragen van de potentiële ontvangers Enkele aandachtspunten: - Strategisch gedrag vermijden - Goede steekproef - Wel overwogen voorstelling van de thematiek - Nood aan een controlegroep Eerder kwalitatieve bevraging van experten “Modellenspoor”: door middel van structurele modellen die gebaseerd zijn op economische theorie de reactie van subsidieontvangers trachten in te schatten. Bron: studie LNE

9 Dries Verlet Studiedienst van de Vlaamse Regering 9 Types ex post evaluaties van subsidies beleidsdoorlichting: evaluatie van het beleid op het niveau van de algemene of operationele doelstellingen effectenonderzoek ex post: het meten van netto-effecten van beleid Bron: studie LNE

10 Dries Verlet Studiedienst van de Vlaamse Regering 10 input Structuren, institutionele en management Activiteiten en processen Outputs Outcomes op korte en ml termijn Outcomes op langere termijn Doelstellingen Maatschappelijke problemen en noden Beleid Omgevingsfactoren Beleidsniveau Organisatieniveau Context Wat te evalueren?

11 Dries Verlet Studiedienst van de Vlaamse Regering Studiedienst van de Vlaamse Regering van11 Doelstellingen: strategische versus operationele; stabiliteit en consistentie doorheen de verschillende planningsdocumenten Input: mensen en middelen die men inzet Throughput: processen en activiteiten waarin inputs tot outputs worden omgezet Output: volume, kwaliteit en waarde van goederen en diensten Outcome: gebeurtenissen of omstandigheden die het (on-)bedoelde resultaat zijn van de acties van de overheid. Vaak niet éénduidig toe te schrijven aan de handelingen van de overheid Omgevingsfactoren: als organisatie geen vat op, maar kunnen doorslaggevende invloed uitoefenen

12 Dries Verlet Studiedienst van de Vlaamse Regering van12 INPUTTROUGHPUT OUTPUT OUTCOME Makkelijker te meten want zeer concreet Minder concreet en dus moeilijker te meten Kunnen op een meer regelmatige basis worden bijgehouden Zijn moeilijker om op regelmatige basis te verzamelen omdat het langer duurt vooraleer de effecten zich voordoen Minder externe factoren die een rol spelen Worden ook bepaald door vele externe factoren Meer bruikbaar voor dagelijks bestuurZijn meer bruikbaar voor periodieke plannings- en beleidsdoelstellingen De betrouwbaarheid van de indicatoren ligt hoger De betrouwbaarheid van de indicatoren is lager, ze zijn meer vatbaar voor meetfouten Geven vaak minder informatie over het feit of de organisatie haar missie vervult Geven wel informatie over het feit of de organisatie haar missie vervult De indicatoren zijn makkelijker te controleren op hun juistheid De indicatoren zijn moeilijker te controleren op hun juistheid Omschrijving van de samenstellende delen

13 Dries Verlet Studiedienst van de Vlaamse Regering Studiedienst van de Vlaamse Regering van13 Middelen: personeel, hun huisvesting en logistiek en financiën Activiteiten/processen: juridische kader, subsidiereglement, … Prestaties/Output: toekenning van een schooltoelage, bereik van de doelgroepen… Effecten: de mate waarin de leerlingen de kennis/attitudes verder ontwikkelen, vorm geven, etc.; toegankelijkheid van het onderwijs verhogen

14 Dries Verlet Studiedienst van de Vlaamse Regering 14 Types van beleidsevaluaties II Evaluatiecriteria :  Aanvaarbaarheid  Coherentie  Consistentie  Doelbereiking  Duurzaamheid  Efficiëntie  Effectiviteit  Uitvoerbaarheid  … Interne versus externe evaluatie Nog tal van subtypes

15 Dries Verlet Studiedienst van de Vlaamse Regering 15 Wat zijn indicatoren? Enkele ingrediënten:  Indicatoren als operationalisering van abstracte concepten, proxies  Maken deel uit van een één of ander informatiesysteem dat een rol speelt in de beleidsvoering (en expliciet of impliciet deel uitmaakt van beleidstheorie)  Statistieken zijn niet per definitie indicatoren (en omgekeerd) Indicatoren ter voeding van de evaluatie

16 Dries Verlet Studiedienst van de Vlaamse Regering 16 Wat maakt een indicator een goede indicator? Indicatoren zelf: “FABRIC”: Focused Appropriate Balanced Robust Integrated Cost effective Doelstellingen: “SMART”: Specific Measurable Achievable Relevant Time-bound

17 Dries Verlet Studiedienst van de Vlaamse Regering 17 Een diversiteit aan types van indicatoren Enkelvoudige versus samengestelde indicatoren “Objectieve” versus “subjectieve” indicatoren Besturingsniveau: strategisch, tactisch of operationeel Managementcyclus Dimensies: bereik, volume, kwaliteit Productieproces (cf. supra)

18 Dries Verlet Studiedienst van de Vlaamse Regering 18 Op zoek naar indicatoren Wetenschap en beleid: een moeilijk huwelijk Onderbenutting van informatie uit indicatoren: Redenen: 1. Minder goede match tussen beleid en wetenschap 2. Organisatiestructuren die integratie in de weg staan 3. Onvoldoende politieke incentives

19 Dries Verlet Studiedienst van de Vlaamse Regering 19 De link tussen het beleidsproces, indicatoren en het “veld” (Brennin, 2007)

20 Dries Verlet Studiedienst van de Vlaamse Regering 20 Lessen uit het gebruik van indicatoren bij overheden Cijfers op zich zijn nog geen goede indicatoren Bruikbare indicatoren vereisen een duidelijke conceptuele basis Exhaustief (trachten te) zijn is een rem op de bruikbaarheid Symbolische waarde van een indicator, kan het wezenlijk belang ervan overschaduwen Indicator ≠ maatschappelijke realiteit Het meten op zich indiceert nog niet de geschikte actie Bij het ondernemen van actie, zoek indicatoren die iets zeggen over oorzaken, niet over symptomen

21 Dries Verlet Studiedienst van de Vlaamse Regering 21 Lessen uit het gebruik van indicatoren bij overheden Het meten op zich oefent een invloed uit: men meet wat men belangrijk acht en indicatoren kunnen ons bewustzijn en focus op specifieke thema’s beïnvloeden Uitdaging: van beschrijving naar analyse

22 Dries Verlet Studiedienst van de Vlaamse Regering Evaluatie van subsidies: lessen uit Nederland (Algemene Rekenkamer, 2011) Waarom is de kwaliteit van effectevaluaties bij wijlen gebrekkig  Bij rapporteringen van de evaluaties heeft men vaak meer aandacht voor de bruikbaarheid in de politieke context dan voor de kwaliteit van de eigenlijke evaluatie  Sommige subsidies lenen zich minder goed voor een effectevaluatie (bv. exploitatiesubsidies)  De kostprijs van het evalueren leidt soms tot effectevaluaties van mindere kwaliteit 22

23 Dries Verlet Studiedienst van de Vlaamse Regering Lessen uit Nederland (Algemene Rekenkamer, 2011) Waarom is het goed evalueren van de subsidies en hun effectiviteit zo belangrijk?  Bewijs voor effectief beleid  Bewijs voor effectiever en efficiënter beleid  Basis voor verbetering van ander beleid  Basis voor goede verantwoording 23

24 Dries Verlet Studiedienst van de Vlaamse Regering 24 Zelf doen of uitbesteden? Interne dan wel externe evaluatie - Intern: evaluator maakt deel uit van de organisatie waarvan het beleid wordt geëvalueerd -Extern: evaluator staat los van de organisatie Geen strikt onderscheid Een combinatie van beiden is mogelijk en soms ook te verkiezen Link met motieven tot evaluatie

25 Dries Verlet Studiedienst van de Vlaamse Regering 25 Zelf doen of uitbesteden? Voor- en nadelen interne dan wel externe evaluatie (cf. De Peuter e.a., 2007)

26 Dries Verlet Studiedienst van de Vlaamse Regering Evalueren van subsidies in drie stappen Algemene Rekenkamer, 2011: ngen/Handreiking_effectevaluaties_subsidies ngen/Handreiking_effectevaluaties_subsidies Stap 1: Randvoorwaarden creëren Stap 2: Voorbereiden en uitvoeren van de evaluatie Stap 3: Resultaten van de evaluatie benutten 26

27 Dries Verlet Studiedienst van de Vlaamse Regering Stap 1: Randvoorwaarden creëren Voorbereiden van de nieuwe subsidie: gestructureerd aanpakken, o.a. voorzien in de mogelijkheden voor een goede effectevaluatie Vastleggen van doel en beleidstheorie: - Maak een probleemanalyse (cf. RIA) - Beleidstheorie expliciteren: hoe draagt de subsidie bij tot de gewenste activiteit en de activiteit tot de gewenste maatschappelijke effecten (outcome) - Doelstellingen SMART formuleren - Doelstellingen: op niveau van de output en outcome - Leg de doelen en de beleidstheorie vast en maak ze kenbaar 27

28 Dries Verlet Studiedienst van de Vlaamse Regering Stap 1: Randvoorwaarden creëren Plannen van evaluatie en monitoring: -Plan al bij de start van de subsidie een evaluatie -Best een meting vooraleer de effecten zichtbaar kunnen zijn - Weeg af of de subsidie het best afzonderlijk of in samenhang met andere maatregelen kan worden geëvalueerd -Ga na welke gegevens straks nodig zijn voor de evaluatie, desgevallend opzetten van een monitoringssysteem -Doe een nulmeting -Experimenteel opzet mogelijk? -Leg de evaluatiedatum vast. 28

29 Dries Verlet Studiedienst van de Vlaamse Regering Stap 2: Voorbereiden en uitvoeren van de evaluatie Enkele aandachtspunten voor een goede effectevaluatie: Betrek evaluatiedeskundigen bij het onderzoek Uitbesteden of niet? Zo ja: - Selecteer uitvoerder op kwaliteit - Denk mee met de uitvoerder gedurende opzet/uitvoering -Maak goede afspraken over de rapportage -Beoordeel rapport en conclusies op kwaliteit Zorg voor een evaluatie die praktisch nut heeft voor de gebruikers Baken de doelen van de subsidie af Bewaak de kwaliteit van de metingen: validiteit, betrouwbaarheid, causaliteit Bewaak de kwaliteit van de conclusies Onafhankelijkheid van de uitvoering van de evaluatie 29

30 Dries Verlet Studiedienst van de Vlaamse Regering Stap 3: Resultaten van de evaluatie benutten Te benutten voor het afleggen van verantwoording dan wel om er lessen uit te trekken Maak duidelijk onderscheid tussen de resultaten evaluatie en appreciatie ervan Ter bevordering van het leereffect: - Alle geledingen al betrekken tijdens de uitvoering van het onderzoek - Verspreid de evaluatie onder alle belanghebbenden - Gebruik alleen voldoende onderbouwde conclusies voor aanpassingen in de subsidie - Besteed aandacht aan signalen dat de subsidie (deels) ineffectief is (cadeaueffect) 30

31 Dries Verlet Studiedienst van de Vlaamse Regering Ter uitleiding Als overheid beschikken we vaak niet over de informatie om te leren van subsidiëring als beleidsinstrument Nood aan een bedrijfsvoering gericht op subsidies teneinde te leren over de effectiviteit van het overheidsoptreden Als lerende organisatie: niet alleen evalueren op zich, maar ook plannen om te evalueren Evaluatie van de effectiviteit van subsidies: niet evident, maar daarom niet minder belangrijk 31


Download ppt "Studiedienst van de Vlaamse Regering Slimme subsidies 17 september 2013 Evaluatie van subsidies Dries Verlet Studiedienst van de Vlaamse Regering."

Verwante presentaties


Ads door Google