De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Ex ante onderzoek in metaperspectief Resultaten uit recent WODC- onderzoek Carolien Klein Haarhuis WODC Studiemiddag Rekenkamer Rotterdam 29 januari 2015.

Verwante presentaties


Presentatie over: "Ex ante onderzoek in metaperspectief Resultaten uit recent WODC- onderzoek Carolien Klein Haarhuis WODC Studiemiddag Rekenkamer Rotterdam 29 januari 2015."— Transcript van de presentatie:

1 Ex ante onderzoek in metaperspectief Resultaten uit recent WODC- onderzoek Carolien Klein Haarhuis WODC Studiemiddag Rekenkamer Rotterdam 29 januari 2015

2 Ex ante onderzoek in metaperspectief | 29 januari Deze presentatie Iets over achtergrond en vraag Afbakening en verdere aanpak 1.Ex ante studies naar aard en aantal 2.Gebruik van ex ante studies voor beleid & verklaringen (5 cases) 3.In hoeverre zijn ex ante voorspellingen uitgekomen? Conclusies / discussie

3 Ex ante onderzoek in metaperspectief | 29 januari 2015 Achtergrond Groeiende aandacht voor effectief beleid Eerder onderzoek (o.a. IOFEZ, 2004): ex ante evaluatie gebeurt niet zo vaak (en niet goed genoeg) Vervolgens is lappendeken van toetsen ontstaan Kader: RPE (Rbv) meer recent: het IAK (2011) waarin vele toetsen zijn samen- en teruggebracht Wetenschappelijke inzichten over (verplicht) ex ante onderzoek Nederland EU 3

4 Ex ante onderzoek in metaperspectief | 29 januari 2015 Vragen (1) Hoe vaak is in de periode op nationaal niveau (niet: regionaal of lokaal) tot ex ante analyse overgegaan? (2) Hoe zijn deze onderzoeken te typeren (opzet, aanpak)? (3) Hoe en in welke mate zijn de ex ante analyses gebruikt in beleid en wetgeving? Welke factoren helpen dit gebruik verklaren? (4) In hoeverre zijn de in onze dataset betrokken ex ante analyses gevolgd door ex post evaluaties? In hoeverre ‘kwamen de ex ante voorspellingen uit’? 4

5 Ex ante onderzoek in metaperspectief | 29 januari 2015 Afbakening Alleen gepubliceerd ex ante onderzoek (periode: ) Met betrekking tot departementaal beleid Over een beleidsplan, of één of meer alternatieven (opties) In de praktijk meestal: op aanvraag van een departement of van meerdere departementen samen Geen probleemverkennende studies of prognoses en scenario’s zonder beleidsopties Géén regionale of lokale studies Regiogebonden ‘infra’projecten, hoewel RWS (co-)opdrachtgever, niet meegenomen 5

6 Ex ante onderzoek in metaperspectief | 29 januari 2015 Zoekstrategie Kant-en-klare overzichten bleken niet voorhanden 15 zoektermen gebruikt + combinaties Op vier manieren online gezocht 1. Rijksbegrotingen/jaarverslagen 2. Departementale websites 3. Vrij op internet 4. Websites van instellingen / bureaus Controle op zoekstrategie en resultaten door contactpersonen bij departementen Publication bias onvermijdelijk; verschilt waarschijnlijk tussen departementen 6

7 Ex ante onderzoek in metaperspectief | 29 januari 2015 Bevindingen: aantallen 306 ex ante analyses 7

8 Ex ante onderzoek in metaperspectief | 29 januari 2015 Aanleidingen Volgens rapporttekst De aanleidingen sluiten elkaar niet uit Ter ondersteuning van beleidsontwikkeling / besluitvorming (ruim de helft) Kamervraag of motie (12%) ‘Doorrekenen’ of inschatten van consequenties c.q. effectiviteit (15%) Overige: met oog op de uitvoering, implementatie EU- richtlijn, verplichting, meerdere aanleidingen 8

9 Ex ante onderzoek in metaperspectief | 29 januari 2015 Uitvoerders 9

10 Ex ante onderzoek in metaperspectief | 29 januari 2015 Stadium van beleid & onderzochte alternatieven Hoe verder de planvorming, hoe minder mogelijke doorwerking Stadium o.g.v. rapporten niet exact te bepalen 85% vond plaats voorafgaand aan de besluitvorming Daarvan ogenschijnlijk het meeste ‘ergens halverwege’ 15% is na nemen besluit verricht Dit zijn deels uitvoeringsanalyses, maar ook een beperkt aantal studies met betrekking tot doelbereiking al dan niet met meerdere alternatieven Gemiddeld zijn 3,4 alternatieven bestudeerd Afhankelijk van opdrachtgever en uitvoerder Na besluitvorming toch nog 1,8 opties Over de jaren niet méér opties onder de loep genomen 10

11 Ex ante onderzoek in metaperspectief | 29 januari 2015 Typen studies 11

12 Ex ante onderzoek in metaperspectief | 29 januari 2015 Uitgelicht: (M)KBA’s Verschillende doelen en alternatieven samenbrengen in één analyse Op zijn minst projectalternatief en (nul)optie vergelijken op kosten en baten In MKBA ook maatschappelijke kosten en baten verdisconteerd Zo mogelijk in geld uitgedrukt (gemonetariseerd) Uitmondend in een saldo Bandbreedte rond dit saldo afhankelijk van scenario (gevoeligheidsanalyses) 12

13 Ex ante onderzoek in metaperspectief | 29 januari 2015 Voorbeeld: MKBA langer zwangerschaps- en bevallingsverlof Beleidsalternatieven: 20 en 18 weken verlof. Nuloptie: 16 weken (huidige situatie) Directe, indirecte en externe effecten vertaald naar kosten en baten Direct: kosten en baten voor de (a.s.) moeders, werkgevers, overheid Indirect: o.a. uitstel van kinderopvanggebruik Extern: bijv. gezondheidseffecten door langere borstvoedingsperiode Ervaringscijfers: literatuuronderzoek (buitenland) Uitdrukken in eenheden, volume, monetaire eenheden (waarderingsmethode) Conclusie: negatief maatschappelijk saldo Bandbreedte groot, maar saldo blijft negatief Effecten uitsplitsen naar actoren Biedt aanknopingspunten voor beleidsoptimalisatie 13

14 Ex ante onderzoek in metaperspectief | 29 januari 2015 (M)KBA’s: observaties Veel ervaringscijfers / kentallen Weinig studies heten echter ‘kentallen-KBA’ Terugkerend stramien (Leidraad-OEI) Groeiend aandeel MKBA’s ‘IenM’ dominant, maar sociale domein steeds meer in beeld (o.a. BZK, EZ) 14

15 Ex ante onderzoek in metaperspectief | 29 januari 2015 Uitgelicht: Ex ante evaluaties van potentiële effectiviteit Kan doel met voorziene instrumentarium cq. alternatieven bereikt worden? Gevarieerde designs: kwantitatief in plm. 50% Kunnen met ‘Schoon & Zuinig’ de ‘coalitiedoelen’ versnelling energiebesparing (2%), een groter aandeel hernieuwbare energie (20%) en minder CO-2 uitstoot (30%) worden bereikt? In hoeverre dragen convenanten bij aan de effectiviteit van energiebeleid? (literatuur, OESO-data en gevoeligheidsanalyses) Vaak een mix van methoden De systematische KEA en de ‘planevaluatie’ sluiten op deze vragen aan, maar komen niet vaak voor Beleidswetenschappelijke methode ‘Arenamodel’ 15

16 Ex ante onderzoek in metaperspectief | 29 januari 2015 Begeleidingscommissies (37%) 16

17 Ex ante onderzoek in metaperspectief | 29 januari 2015 Gebruik van ex ante onderzoek in de praktijk Vijf cases: voorstellen mbt wetgeving of wetswijzigingen Nb: niet representatief voor alle 306 studies Gebruik Direct: (a) kennisname (b) standpuntbeïnvloeding (c) doorwerking in beleid Legitimerend: uitstel creëren, bestaand standpunt versterken Conceptueel: indirect, met het oog op andere (sub)velden of terreinen Verklaringen 1.Besluitvormingscontext 2. Timing 3. Betrokkenheid van ‘stakeholders’ 4. Onderzoekskwaliteit 5. Toegankelijkheid en verspreiding 17

18 Ex ante onderzoek in metaperspectief | 29 januari 2015 Bevindingen over gebruik Aanzienlijke mate van kennisname Wisselende mate van standpuntbeïnvloeding (Enige) doorwerking in 3 van de 5 gevallen Doorwerking in de twee overige gevallen belemmerd door: standpunt (nieuwe) minister en val van het kabinet-Rutte I Eén keer conceptueel gebruik Uitkomsten nooit volledig strijdig met al ingezette koers Drie min of meer bevestigend, twee zonder richting Ex ante onderzoek wordt gekenmerkt door relatief grote onzekerheidsmarges 18

19 Ex ante onderzoek in metaperspectief | 29 januari 2015 Gebruik verklaard? Besluitvormingscontext – en timing – van doorslaggevend belang Privatisering gevangeniswezen: uiteenlopende standpunten gestut met dezelfde ex ante studie Open(er) bestel hoger onderwijs: 4 jaar na TK-debat en tijdens langlopende experimenten Wetenschappelijke onzekerheid  uitstel Conforme doorwerking of legitimerend gebruik? Andere factoren – kwaliteit, verspreiding en betrokkenheid van stakeholders – verschillen (te) weinig tussen de cases voor trekken van conclusies Steeds: kwaliteit aan de maat, veel verspreiding, stakeholders nauw betrokken 19

20 Ex ante onderzoek in metaperspectief | 29 januari 2015 Kwamen ex ante voorspellingen uit? In 15% was een ex durante of ex post onderzoek beschikbaar Ruim de helft ex durante In 85% geen follow-up gevonden Bijv. plannen van de baan, nog steeds in ontwerpfase, te kort dag, (tussen)evaluatie verspreid over dossiers; of geen oorzaak gevonden Tussen wèl gevonden ex post/durante evaluaties en de ex ante onderzoeken beperkte aansluiting Andere focus, plan is gewijzigd Dit kan meerdere – ook zeer legitieme! – redenen hebben In 5+11 gevallen wel vergelijkende uitspraken mogelijk Gemengde resultaten: deels in lijn met ex ante ‘voorspellingen’, deels niet 20

21 Ex ante onderzoek in metaperspectief | 29 januari 2015 Hoofdconclusies (I) Er is meer toekomstgericht onderzoek gevonden dan verwacht Wat minder onderzoek naar plannen/ alternatieven Ongelijk verdeeld over departementen Plm. 50% over potentiële effectiviteit van plannen De MKBA komt vaak voor en verspreidt zich langzaam over het sociale domein. Maar ook verkennende studies zijn talrijk 21

22 Ex ante onderzoek in metaperspectief | 29 januari 2015 Hoofdconclusies (II) Gebruik Timing en (politieke) besluitvormingscontext zijn cruciaal voor het gebruik van ex ante onderzoek voor beleid Ex ante resultaten zijn altijd onzeker en laten daardoor ruimte aan (politieke) interpretatie Ex post? Follow-up in ex post en/of ex durante onderzoek is (zeer) beperkt Niettemin is ex post evaluatie van nut voor versteviging van toekomstig ex ante onderzoek Synthese-studies kunnen helpen om beschikbare kennis (en lacunes daarin) in kaart te brengen 22

23 Ex ante onderzoek in metaperspectief | 29 januari 2015 Discussie Wanneer is ex ante onderzoek op tijd, wanneer is het te laat? Eerder onderzoek naar gebruik van 38 (deels) verplichte ex ante onderzoekprocedures in 4 jurisdicties: - Uitmondend in beperkte aanpassingen, overwegend laat in ontwikkelingsproces - Maar ook: verschillen hierin tussen (EU-) landen Wat zijn de kosten en baten van (verplichte) ex ante analyse? Perspectief aanvragers / opstellers Perspectief samenleving 23


Download ppt "Ex ante onderzoek in metaperspectief Resultaten uit recent WODC- onderzoek Carolien Klein Haarhuis WODC Studiemiddag Rekenkamer Rotterdam 29 januari 2015."

Verwante presentaties


Ads door Google