Ex ante onderzoek in metaperspectief Resultaten uit recent WODC-onderzoek Carolien Klein Haarhuis WODC Studiemiddag Rekenkamer Rotterdam 29 januari 2015

Ex ante onderzoek in meta-perspectief 18 december 2013 Deze presentatie Iets over achtergrond en vraag Afbakening en verdere aanpak Ex ante studies naar aard en aantal Gebruik van ex ante studies voor beleid & verklaringen (5 cases) In hoeverre zijn ex ante voorspellingen uitgekomen? Conclusies / discussie Ex ante onderzoek in meta-perspectief | 18 december 2013

Ex ante onderzoek in meta-perspectief 18 december 2013 Achtergrond Groeiende aandacht voor effectief beleid Eerder onderzoek (o.a. IOFEZ, 2004): ex ante evaluatie gebeurt niet zo vaak (en niet goed genoeg) Vervolgens is lappendeken van toetsen ontstaan Kader: RPE (Rbv) meer recent: het IAK (2011) waarin vele toetsen zijn samen- en teruggebracht Wetenschappelijke inzichten over (verplicht) ex ante onderzoek Nederland EU Ex ante onderzoek in meta-perspectief | 18 december 2013

Ex ante onderzoek in meta-perspectief 18 december 2013 Vragen Hoe vaak is in de periode 2005-2011 op nationaal niveau (niet: regionaal of lokaal) tot ex ante analyse overgegaan? (2) Hoe zijn deze onderzoeken te typeren (opzet, aanpak)? (3) Hoe en in welke mate zijn de ex ante analyses gebruikt in beleid en wetgeving? Welke factoren helpen dit gebruik verklaren? (4) In hoeverre zijn de in onze dataset betrokken ex ante analyses gevolgd door ex post evaluaties? In hoeverre ‘kwamen de ex ante voorspellingen uit’? Ex ante onderzoek in meta-perspectief | 18 december 2013

Ex ante onderzoek in meta-perspectief 18 december 2013 Afbakening Alleen gepubliceerd ex ante onderzoek (periode: 2005-2011) Met betrekking tot departementaal beleid Over een beleidsplan, of één of meer alternatieven (opties) In de praktijk meestal: op aanvraag van een departement of van meerdere departementen samen Geen probleemverkennende studies of prognoses en scenario’s zonder beleidsopties Géén regionale of lokale studies Regiogebonden ‘infra’projecten, hoewel RWS (co-)opdrachtgever, niet meegenomen Ex ante onderzoek in meta-perspectief | 18 december 2013

Ex ante onderzoek in meta-perspectief 18 december 2013 Zoekstrategie Kant-en-klare overzichten bleken niet voorhanden 15 zoektermen gebruikt + combinaties Op vier manieren online gezocht Rijksbegrotingen/jaarverslagen Departementale websites Vrij op internet Websites van instellingen / bureaus Controle op zoekstrategie en resultaten door contactpersonen bij departementen Publication bias onvermijdelijk; verschilt waarschijnlijk tussen departementen Ex ante onderzoek in meta-perspectief | 18 december 2013

Bevindingen: aantallen Ex ante onderzoek in meta-perspectief 18 december 2013 Bevindingen: aantallen 306 ex ante analyses Ex ante onderzoek in meta-perspectief | 18 december 2013

Ex ante onderzoek in meta-perspectief 18 december 2013 Aanleidingen Volgens rapporttekst De aanleidingen sluiten elkaar niet uit Ter ondersteuning van beleidsontwikkeling / besluitvorming (ruim de helft) Kamervraag of motie (12%) ‘Doorrekenen’ of inschatten van consequenties c.q. effectiviteit (15%) Overige: met oog op de uitvoering, implementatie EU-richtlijn, verplichting, meerdere aanleidingen Ex ante onderzoek in meta-perspectief | 18 december 2013

Ex ante onderzoek in meta-perspectief 18 december 2013 Uitvoerders Combinatie: meestal particulier en wetenschappelijk. Vg stichting: Consument en Veiligheid Ex ante onderzoek in meta-perspectief | 18 december 2013

Stadium van beleid & onderzochte alternatieven Ex ante onderzoek in meta-perspectief 18 december 2013 Stadium van beleid & onderzochte alternatieven Hoe verder de planvorming, hoe minder mogelijke doorwerking Stadium o.g.v. rapporten niet exact te bepalen 85% vond plaats voorafgaand aan de besluitvorming Daarvan ogenschijnlijk het meeste ‘ergens halverwege’ 15% is na nemen besluit verricht Dit zijn deels uitvoeringsanalyses, maar ook een beperkt aantal studies met betrekking tot doelbereiking al dan niet met meerdere alternatieven Gemiddeld zijn 3,4 alternatieven bestudeerd Afhankelijk van opdrachtgever en uitvoerder Na besluitvorming toch nog 1,8 opties Over de jaren niet méér opties onder de loep genomen Ex ante onderzoek in meta-perspectief | 18 december 2013

Ex ante onderzoek in meta-perspectief 18 december 2013 Typen studies Hier veel opm. / voorbeelden geven Ruwweg ongeveer de helft gaat over doelen / effectiviteit als bedoeld in de RPE/ Rbv Waar is scenario-onderzoek? Maakt deel uit van bijv. (M)KBA’s en (kwantitatieve) ex ante evaluaties waarin bijv. gevoeligheidsanalyses worden verricht Voorbeelden: de MKBA van de Nederlandse bodemsaneringsoperatie (gevolgen voor gezondheid, vastgoed, drinkwatervoorziening, beleving en het ecosysteem over een periode van 100 jaar); of Voortijdig Schoolverlaten (niet onderzocht: de mate waarin het beleid het aantal schoolverlaters zal terugdringen). Baten o.a. in termen van onderwijsjaren, verwachte welvaartseffecten op bijv. arbeidsproductiviteit, gezondheid, criminaliteit). Kosten o.a. exta onderwijs dat gegeven moet worden bij minder uitval. Eae: bijv. van de omslag natuurbeleid voor LNV: wat is de kansrijkheid van de omslag mn in termen van ecologische effecten? (interviews, scenarioanalyse). Ook kosten meegenomen. (geen KEA want 1 optie) Specifiek, bijv: Nederlandse impact assessment Biocidenverordening: gevolgen voor het bedrijfsleven (SKM komt soms voor) & MER(s) zoals die van het ontwer-Nationaal Waterplan: om het milieubelang een volwaardige plaats te geven in de besluitvorming Uitvoeringsanalyse bijv. van haalbaarheid invoering landelijke screening op darmkanker (waarvan de wetenschappelijke effectiviteit al vaststaat). Of de toetstechnische, organisatorische en financiele haalbaarheid van het meetellen van spelling en grammatica in het centraal examen (CvE, 2010). Planevaluatie bijv. naar prétherapie in het gevangeniswezen (2009- veel VenJ-studies). KEA: hoe kan museumbezoek van kinderen (tm 12 jaar) worden gestimuleerd op kosteneffectieve wijze? Online mediumconcept leek het meest ke- alternatief. Ex ante onderzoek in meta-perspectief | 18 december 2013

Ex ante onderzoek in meta-perspectief 18 december 2013 Uitgelicht: (M)KBA’s Verschillende doelen en alternatieven samenbrengen in één analyse Op zijn minst projectalternatief en (nul)optie vergelijken op kosten en baten In MKBA ook maatschappelijke kosten en baten verdisconteerd Zo mogelijk in geld uitgedrukt (gemonetariseerd) Uitmondend in een saldo Bandbreedte rond dit saldo afhankelijk van scenario (gevoeligheidsanalyses) Ex ante onderzoek in meta-perspectief | 18 december 2013

Voorbeeld: MKBA langer zwangerschaps- en bevallingsverlof Ex ante onderzoek in meta-perspectief 18 december 2013 Voorbeeld: MKBA langer zwangerschaps- en bevallingsverlof Beleidsalternatieven: 20 en 18 weken verlof. Nuloptie: 16 weken (huidige situatie) Directe, indirecte en externe effecten vertaald naar kosten en baten Direct: kosten en baten voor de (a.s.) moeders, werkgevers, overheid Indirect: o.a. uitstel van kinderopvanggebruik Extern: bijv. gezondheidseffecten door langere borstvoedingsperiode Ervaringscijfers: literatuuronderzoek (buitenland) Uitdrukken in eenheden, volume, monetaire eenheden (waarderingsmethode) Conclusie: negatief maatschappelijk saldo Bandbreedte groot, maar saldo blijft negatief Effecten uitsplitsen naar actoren Biedt aanknopingspunten voor beleidsoptimalisatie Wb de eenheden etc. bijv. vermindering gebruik kinderopvang in weken; volume: bijv. zelfde aantal weken als de verlenging van het verlof; en eenheden bijv. hoeveel kost de opvang van een baby van enkele maanden per week? Zie p. 48 rapport Ex ante onderzoek in meta-perspectief | 18 december 2013

(M)KBA’s: observaties Ex ante onderzoek in meta-perspectief 18 december 2013 (M)KBA’s: observaties Veel ervaringscijfers / kentallen Weinig studies heten echter ‘kentallen-KBA’ Terugkerend stramien (Leidraad-OEI) Groeiend aandeel MKBA’s ‘IenM’ dominant, maar sociale domein steeds meer in beeld (o.a. BZK, EZ) NB aan de verspreiding over beleidsterreinen is actief gewerkt, met handreikingen voor het sociale domein en ook een Ontwikkelagenda naar aanleding van een motie in de TK van eind 2009. Ex ante onderzoek in meta-perspectief | 18 december 2013

Uitgelicht: Ex ante evaluaties van potentiële effectiviteit Ex ante onderzoek in meta-perspectief 18 december 2013 Uitgelicht: Ex ante evaluaties van potentiële effectiviteit Kan doel met voorziene instrumentarium cq. alternatieven bereikt worden? Gevarieerde designs: kwantitatief in plm. 50% Kunnen met ‘Schoon & Zuinig’ de ‘coalitiedoelen’ versnelling energiebesparing (2%), een groter aandeel hernieuwbare energie (20%) en minder CO-2 uitstoot (30%) worden bereikt? In hoeverre dragen convenanten bij aan de effectiviteit van energiebeleid? (literatuur, OESO-data en gevoeligheidsanalyses) Vaak een mix van methoden De systematische KEA en de ‘planevaluatie’ sluiten op deze vragen aan, maar komen niet vaak voor Beleidswetenschappelijke methode ‘Arenamodel’ Ex ante onderzoek in meta-perspectief | 18 december 2013

Begeleidingscommissies (37%) Ex ante onderzoek in meta-perspectief 18 december 2013 Begeleidingscommissies (37%) Ex ante onderzoek in meta-perspectief | 18 december 2013

Gebruik van ex ante onderzoek in de praktijk Ex ante onderzoek in meta-perspectief 18 december 2013 Gebruik van ex ante onderzoek in de praktijk Vijf cases: voorstellen mbt wetgeving of wetswijzigingen Nb: niet representatief voor alle 306 studies Gebruik Direct: (a) kennisname (b) standpuntbeïnvloeding (c) doorwerking in beleid Legitimerend: uitstel creëren, bestaand standpunt versterken Conceptueel: indirect, met het oog op andere (sub)velden of terreinen Verklaringen Besluitvormingscontext 2. Timing 3. Betrokkenheid van ‘stakeholders’ 4. Onderzoekskwaliteit 5. Toegankelijkheid en verspreiding Zw- en bevallingsverlof zat erin (SEO, 2010); de BGT (2011), de IA richtlijn GB buiten arbeid (B&A en APE 2009); Hoger onderwijs (SEO, 2008) en Literatuuronderzoek privatisering GW (APE 2011). Ex ante onderzoek in meta-perspectief | 18 december 2013

Bevindingen over gebruik Ex ante onderzoek in meta-perspectief 18 december 2013 Bevindingen over gebruik Aanzienlijke mate van kennisname Wisselende mate van standpuntbeïnvloeding (Enige) doorwerking in 3 van de 5 gevallen Doorwerking in de twee overige gevallen belemmerd door: standpunt (nieuwe) minister en val van het kabinet-Rutte I Eén keer conceptueel gebruik Uitkomsten nooit volledig strijdig met al ingezette koers Drie min of meer bevestigend, twee zonder richting Ex ante onderzoek wordt gekenmerkt door relatief grote onzekerheidsmarges Ex ante onderzoek in meta-perspectief | 18 december 2013

Ex ante onderzoek in meta-perspectief 18 december 2013 Gebruik verklaard? Besluitvormingscontext – en timing – van doorslaggevend belang Privatisering gevangeniswezen: uiteenlopende standpunten gestut met dezelfde ex ante studie Open(er) bestel hoger onderwijs: 4 jaar na TK-debat en tijdens langlopende experimenten Wetenschappelijke onzekerheid  uitstel Conforme doorwerking of legitimerend gebruik? Andere factoren – kwaliteit, verspreiding en betrokkenheid van stakeholders – verschillen (te) weinig tussen de cases voor trekken van conclusies Steeds: kwaliteit aan de maat, veel verspreiding, stakeholders nauw betrokken Ex ante onderzoek in meta-perspectief | 18 december 2013

Kwamen ex ante voorspellingen uit? Ex ante onderzoek in meta-perspectief 18 december 2013 Kwamen ex ante voorspellingen uit? In 15% was een ex durante of ex post onderzoek beschikbaar Ruim de helft ex durante In 85% geen follow-up gevonden Bijv. plannen van de baan, nog steeds in ontwerpfase, te kort dag, (tussen)evaluatie verspreid over dossiers; of geen oorzaak gevonden Tussen wèl gevonden ex post/durante evaluaties en de ex ante onderzoeken beperkte aansluiting Andere focus, plan is gewijzigd Dit kan meerdere – ook zeer legitieme! – redenen hebben In 5+11 gevallen wel vergelijkende uitspraken mogelijk Gemengde resultaten: deels in lijn met ex ante ‘voorspellingen’, deels niet Ex ante onderzoek in meta-perspectief | 18 december 2013

Ex ante onderzoek in meta-perspectief 18 december 2013 Hoofdconclusies (I) Er is meer toekomstgericht onderzoek gevonden dan verwacht Wat minder onderzoek naar plannen/ alternatieven Ongelijk verdeeld over departementen Plm. 50% over potentiële effectiviteit van plannen De MKBA komt vaak voor en verspreidt zich langzaam over het sociale domein. Maar ook verkennende studies zijn talrijk NB Alleen gepubliceerd! Suggestie voor vervolgonderzoek Ex ante onderzoek in meta-perspectief | 18 december 2013

Ex ante onderzoek in meta-perspectief 18 december 2013 Hoofdconclusies (II) Gebruik Timing en (politieke) besluitvormingscontext zijn cruciaal voor het gebruik van ex ante onderzoek voor beleid Ex ante resultaten zijn altijd onzeker en laten daardoor ruimte aan (politieke) interpretatie Ex post? Follow-up in ex post en/of ex durante onderzoek is (zeer) beperkt Niettemin is ex post evaluatie van nut voor versteviging van toekomstig ex ante onderzoek Synthese-studies kunnen helpen om beschikbare kennis (en lacunes daarin) in kaart te brengen Ex ante onderzoek in meta-perspectief | 18 december 2013

Ex ante onderzoek in meta-perspectief 18 december 2013 Discussie Wanneer is ex ante onderzoek op tijd, wanneer is het te laat? Eerder onderzoek naar gebruik van 38 (deels) verplichte ex ante onderzoekprocedures in 4 jurisdicties: - Uitmondend in beperkte aanpassingen, overwegend laat in ontwikkelingsproces - Maar ook: verschillen hierin tussen (EU-) landen Wat zijn de kosten en baten van (verplichte) ex ante analyse? Perspectief aanvragers / opstellers Perspectief samenleving Ex ante onderzoek in meta-perspectief | 18 december 2013