Welke lessen kunnen we trekken uit evaluaties...

Presentatie over: "Welke lessen kunnen we trekken uit evaluaties..."— Transcript van de presentatie:

1 Welke lessen kunnen we trekken uit evaluaties...
...met het oog op effectieve wet- en regelgeving? Carolien Klein Haarhuis WODC 23 april 2014

2 Kort iets over het WODC Wetenschappelijk onderzoek- en documentatiecentrum van het ministerie van Veiligheid en Justitie Semi-onafhankelijk, onderzoek op aanvraag van & in dialoog met het ministerie (onderzoeksprogramma) Meer dan de helft wordt door WODC weer uitbesteed Ruim 100 werknemers Jaarlijks ruim 100 rapporten en evenzoveel artikelen (50% peer reviewed) Tijdschrift Justitiële Verkenningen (JV) WODC-Infodesk: bijna 500 informatievragen Jaarlijks enkele honderdduizenden unieke bezoeken website

3 Wetgeving in Nederland
Vastleggen van instituties, bevoegdheden, geldstromen Waarborgdoelen (bijv. rechtszekerheid, rechtsgelijkheid, proportionaliteit) Instrumentele doelen (bijv. meer aanbod van donororganen bewerkstelligen) De meeste wetten zijn complex van samenstelling Behelzen niet één, maar meerdere ‘interventies’ – o.a. concrete verplichtingen/verboden, sancties, kaders, subsidies... Vaak meerdere normaddressaten Bijv. gemeenten, ziekenhuizen, scholen, bedrijven, burgers Bijv. Awgb, Wod, Wet Tweede Fase

4 Voorbeeld van complexe wet: Wet Tweede Fase
Uiteenlopende instrumenten: Vakkenprofielen Nieuwe examenprogramma’s Zelfstandig leren Meer loopbaanoriëntatie, etc. 3 doelen: Modernisering onderwijsprogramma bovenbouw Aansluiting Middelbaar (HAVO / VWO) met Hoger Onderwijs verbeteren Meer autonomie school in keuze werkvormen

5 Wetgeving in Nederland: een paar cijfers
Medio april 2014: 1.958 wetten in werking 2.257 AMVB’s 5.278 Ministeriёle regelingen ‘Het totale aantal regelingen is tussen stabiel gebleven’ (Brief minister aan TK, 12 september 2013)

6 Waarom evalueren? Complexe wetgeving & complexe praktijk
Leren (wat kan beter?) Transparantie, verantwoording afleggen Wet van de afnemende meeropbrengsten van beleid / wetgeving (meer van hetzelfde is niet altijd beter) Reductie van ‘mediapraat’, ‘van horen zeggen’, ‘belangengroep-verhalen’ Andere (politieke) doelen: Uitstel van besluitvorming – of juist doorduwen ‘Munitie’ in het debat Verdediging van gemaakte beleidskeuzes ...

7 Soorten evaluatie Ex ante: toekomstgericht / beleidsvoorbereiding
Ex post: terugkijkend Ex durante: gaandeweg (leren) Procesevaluatie: proces van in (en uit-)voering Effectiviteitsevaluatie / effectenevaluatie: doel / neveneffecten Monitoren: maatschappelijke (doel)indicatoren Meta-onderzoek & evaluatiesyntheses: bestaande evaluaties als gegevensbron voor de beantwoording van nieuwe / overstijgende vragen

8 Effectiviteitsevaluatie: twee benaderingen
Campbell (Collaboration) De experimentele invalshoek. Wat werkt? Test beleid en wetgeving als in een ‘laboratorium’: contextuele invloeden worden uitgeschakeld Attributief: zijn veranderingen op de doel-indicator ook echt aan de wet / het beleid in kwestie toe te schrijven? Realist evaluation (o.a. Pawson, 2003/6; Pawson & Tilley, 1997) Wat-werkt-benadering niet altijd realistisch. Hoe ga je om met complex beleid? Hoe verklaar je gemengde uitkomsten? Contributief: hoe werken interventies (in wetten) welke mechanismen (M) triggeren uitkomsten (O) en onder welke condities (C) gebeurt dat?  C-M-O heuristiek Mechanismen vaak verborgen (bijv. zwaartekracht, psychologische processen, afwegingen door mensen, groepsprocessen)

9 Experimenteel design à la Campbell
Welke lessen kunnen we trekken uit evaluaties? 23 april 2014 Experimenteel design à la Campbell T0e X T1e T0c … T1c Waarbij T (T0, T1) staat voor tijdstip meting (resp. nulmeting en nameting), X voor de interventie (bijv. wetswijziging), e voor experimentele groep en c voor controlegroep. Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014

10 Realist evaluation (CMO): HOE werken wetten?
CONTEXT Factoren die de werking van de wet beïnvloeden Bijv. kenmerken doelgroepen of economische factoren MECHANISMEN - (Beoogde) Keten van gedragsreacties - Langs welke schakels? Wet Outcome .- Realist evaluation (CMO): HOE werken wetten?

11 Synthese wetsevaluaties (WODC, 2008)
Hoe staat het met de onderzoekstechnische kwaliteit van wetsevaluaties? Wat leren we over de aard en werking van de geëvalueerde wetten? Welke typen interventies bevatten wetten? Doelbereiking/ effectiviteit? Tussengelegen processen? Invloeden vanuit de context?

12 Nederlandse wetten: typen interventies
Welke lessen kunnen we trekken uit evaluaties? 23 april 2014 Nederlandse wetten: typen interventies ‘Bestuursinstrumenten’: 80% (kaders, instructies) Voorbeeld: Wet op de Basisvorming Juridische interventies: Handhaving: 59%. Vooral richting burgers en bedrijven. Voorbeelden: Ontnemings (Pluk-Ze) wetgeving, Mededingingswet Financiёle prikkels: 10%. Vooral voor burgers en bedrijven Voorbeeld: Wet Inkomstenbelasting, Wet Ink.vz. Kunstenaars ‘Bestuurlijk’ 31% Bestuurlijk & ‘juridisch’ 46% Juridisch 13% Financieel & juridisch 8% Financieel <2% Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014

13 Welke lessen kunnen we trekken uit evaluaties?
23 april 2014 Doelbereiking 41 uit 58: ‘middelmatig’ 11: relatief hoog 6: relatief gering Meeste doelbereiking in geval van: Wetten die louter uitvoerders adresseren Kwaliteit van proces van invoering en uitvoering/handhaving Meer tijdsverloop tussen invoering en evaluatie Ambitieniveau Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014

14 C-M-O in de evaluatiepraktijk ...
Veel beschrijvingen van het implementatieproces (de invoering en deels de tenuitvoerlegging) Relatief veel over Uitkomsten (O) ... echter weinig over Mechanismen (M): Gefragmenteerde beschrijvingen van de verdere dóórwerking op de doelgroep Bijv. HOE leiden de vele instrumenten in de Wet Tweede Fase nu precies tot kwaliteitsverbetering? Gefragmenteerde informatie over Contexten (C)

15 Beoogde werking in wetten
Institutionele mechanismen, gericht op organisaties met publieke taak Zelfsturing, checks and balances, integrale aanpak, regierol, organisatorische ingrepen, versobering en transparantie Sociale mechanismen, gericht op burgers en bedrijven Rechtshandhaving, rechtsbescherming, financiële prikkels, communicatie

16 Werkingsprocessen in werkelijkheid
Personen, bedrijven, uitvoerders kennen de wet niet altijd (direct) goed De uitvoering stokt of verloopt traag; coördinatie- en capaciteitsproblemen (vgl. Nas et al. 2011) Autonomie en maatwerk lieten te wensen over; personeelsproblemen; problemen in de samenwerking tussen organisaties (taakverdeling, informatie-uitwisseling) Evaluaties komen vaak (te) vroeg, waardoor uitvoering nog niet is voltooid en werking niet is opgetreden

17 Voorbeeld: rechtshandhaving in theorie
Een afdwingbaar ge- of verbod (interventie) bijv. met sancties (straf- /bestuursrechtelijk) of via de civiele rechter Zou moeten leiden tot (generaal- en specifiek)preventieve werking (M) En zo ongewenst gedrag voorkómen of terugdringen (O) Niet alleen op burgers/ bedrijven, maar ook op uitvoerenden Bijv. aansturing van (huis)artsen

18 Rechtshandhaving: de werkelijkheid
Welke lessen kunnen we trekken uit evaluaties? 23 april 2014 Rechtshandhaving: de werkelijkheid Sancties worden in de praktijk nauwelijks opgelegd  controle- en detectiekansen zijn klein Preventieve werking is gefragmenteerd: hier wel, daar niet Niettemin is veel naleving bereikt Hoe dit laatste te verklaren? Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014

19 Werking in de praktijk: andere voorbeelden
WMCZ: erosie van bestaande medezeggenschapstructuren  ‘crowding out’ Wvgs: spontane naleving vanwege grote bedrijfsmatige risico’s Veerman (2013) vond dat de doelbereiking van wetgeving toeneemt met: Consultatie Inzet van toezichts- en handhavingsbevoegdheden Nalevingsgerichte handhaving Naleving

20 Welke lessen kunnen we trekken uit evaluaties?
23 april 2014 Context Omgevingscondities die het slagen of falen van wetten beïnvloeden Werkelijkheid: Grote verschillen in succes tussen gemeenten, regio’s en groepen mensen Grote instellingen en bedrijven ’doen het beter’ Flankerende wetten en regels werken volgens veel evaluaties ‘complicerend’ Enkele andere contextuele factoren hebben geen éénduidig positieve of negatieve invloed. Zo vertragen fusies enerzijds het werk van cliëntenraden, maar bieden ze tegelijkertijd mogelijkheden voor een betere samenstelling van die raden. Het niet optreden van de beoogde mechanismen hoeft ten slotte nog niet te betekenen dat een wet zijn doelen niet bereikt. Door prikkels in de context kunnen ook heel andere mechanismen zijn geactiveerd die verantwoordelijk zijn voor eventuele doelbereiking. Denk bijvoorbeeld aan prikkels uit de markt, die maken dat bedrijven zich aan milieu- of veiligheidsnormen houden. Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014

21 Voorbeeld: Basisvorming
Bestuurlijke context Andere, gelijktijdige hervormingsoperaties (2e fase / Studiehuis) Schoolbesturen en leraren zijn overbelast, er is (te) weinig capaciteit voor uitvoering Schoolcontext Verschillen in resultaat tussen grote en kleine scholen & resultaatverschillen tussen vakken Individuele context Kwaliteitsbewustzijn bij leraren maakt verschil

22 Context in de praktijk op 3 niveaus
Macro: samenleving/economie, wetten & regels Groei, afname, fusies Aanpalende wetten en regels, EU-regelgeving Meso: organisaties & netwerken Omvang organisaties ‘Bestuurscultuur’ Micro: individuen, gevallen Startniveau (bijv. nieuwkomers, scholieren, leraren) Type crimineel (bijv. bij Pluk-ze), omvang van het bedrijf

23 Context (het veld) uiterst divers, zo ook werking en doelbereiking
Wet/ interventie

24 Aannames die zijn uitgedaagd
Wet = naleving Wetten leiden tot Weten… ...en Weten leidt tot Doen Veerman (2013): weten, willen en kunnen zijn – gelet op de empirie – inderdaad cruciaal voor doelbereiking Normadressanten maken kosten-batenafwegingen & handelen daar ook naar, bijv. Calculeren detectie-, pak- en sanctiekans Zijn gevoelig voor financiële prikkels Mensen gebruiken vuistregels en zijn gebiased, zijn sociale en emotionele wezens, etc. Niettemin: wetgeving heeft een ordenende functie, dus kan daar niet altijd van uitgaan Regelgeving werkt overal op dezelfde manier / in dezelfde mate De context is dus van belang maar ook complex en divers; wordt nooit helemaal gekend Uit wetsevaluaties inz rechtshandhaving: ondanks gedeeltelijke handhaving (weinig sanctietoepassing) is naleving betrekkelijk hoog. Wat daarachter zit is niet geheel duidelijk geworden. Mogelijk: hoge gepercipieerde pakkansen, respect voor de wet,

25 Mechanismen van menselijk gedrag
....die van belang kunnen zijn voor de werking van wetten (Veerman, 2013:73) Betrokkenheid op het directe eigenbelang, moral hazard, shadow of the future Sociale druk, imitatie, group think, gewoonte Verliesaversie Angstreductie Padafhankelijkheid, reductie van cognitieve dissonantie Informatiereductie Respect

26 Naar Evidence Based wetgeving?
Voor beleid & onderzoek Open de black box: hoe werkte ‘t / moet ‘t werken, voor wie en onder welke condities? Voor beleid Oog voor de (o.a. sociale, economische en capacitaire) context bij de keuze & implementatie van interventies Oog voor ‘fouten’ en ‘short cuts’ in waarneming en beslisgedrag doelgroepen (in de VS:) vereenvoudiging van (communicatie van) regels, ‘default’ regels, aanhaken op saillante voorbeelden in campagnes Inzet en gebruik van ex ante onderzoek ** Bij ‘gedragseconomie’ het voorbeeld inz Wod (lage doelbereiking – zie 2e evaluatie) noemen: campagne mbt orgaandonatie van de overheid werd te neutraal / te voorzichtig gevonden door de onderzoekers. Het raakte de doelgroep te weinig.

27 Ex ante onderzoek Steeds meer aandacht voor effectief beleid
Eerder onderzoek: ex ante evaluatie gebeurt niet zo vaak (en niet goed genoeg) Inmiddels vele toetsen Kaders: RPE ( Rbv 2008) en IAK (2011) Wetenschappelijke inzichten over (verplicht) ex ante onderzoek Nederland EU

28 Ex ante onderzoek in meta-perspectief
18 december 2013 Uitvoerders Combinatie: meestal particulier en wetenschappelijk. Vg stichting: Consument en Veiligheid Ex ante onderzoek in meta-perspectief | 18 december 2013

29 Stadium van beleid & onderzochte alternatieven
Ex ante onderzoek in meta-perspectief 18 december 2013 Stadium van beleid & onderzochte alternatieven Hoe verder de planvorming, hoe minder mogelijke doorwerking Stadium niet exact te bepalen o.b.v. de rapporten 85% vond plaats voorafgaand aan de besluitvorming Daarvan ogenschijnlijk het meeste ‘ergens halverwege’ het ontwikkelingstraject 15% na nemen besluit verricht Deels uitvoeringsanalyses, maar ook klein aandeel studies over doelbereiking / alternatieven Gemiddeld zijn 3,4 alternatieven bestudeerd Afhankelijk van opdrachtgever en uitvoerder Na besluitvorming toch nog 1,8 opties Ex ante onderzoek in meta-perspectief | 18 december 2013

30 Ex ante onderzoek in meta-perspectief
18 december 2013 Typen studies Hier veel opm. / voorbeelden geven Ruwweg ongeveer de helft gaat over doelen / effectiviteit als bedoeld in de RPE/ Rbv Waar is scenario-onderzoek? Maakt deel uit van bijv. (M)KBA’s en (kwantitatieve) ex ante evaluaties waarin bijv. gevoeligheidsanalyses worden verricht Voorbeelden: de MKBA van de Nederlandse bodemsaneringsoperatie (gevolgen voor gezondheid, vastgoed, drinkwatervoorziening, beleving en het ecosysteem over een periode van 100 jaar); of Voortijdig Schoolverlaten (niet onderzocht: de mate waarin het beleid het aantal schoolverlaters zal terugdringen). Baten o.a. in termen van onderwijsjaren, verwachte welvaartseffecten op bijv. arbeidsproductiviteit, gezondheid, criminaliteit). Kosten o.a. exta onderwijs dat gegeven moet worden bij minder uitval. Eae: bijv. van de omslag natuurbeleid voor LNV: wat is de kansrijkheid van de omslag mn in termen van ecologische effecten? (interviews, scenarioanalyse). Ook kosten meegenomen. (geen KEA want 1 optie) Specifiek, bijv: Nederlandse impact assessment Biocidenverordening: gevolgen voor het bedrijfsleven (SKM komt soms voor) & MER(s) zoals die van het ontwer-Nationaal Waterplan: om het milieubelang een volwaardige plaats te geven in de besluitvorming Uitvoeringsanalyse bijv. van haalbaarheid invoering landelijke screening op darmkanker (waarvan de wetenschappelijke effectiviteit al vaststaat). Of de toetstechnische, organisatorische en financiele haalbaarheid van het meetellen van spelling en grammatica in het centraal examen (CvE, 2010). Planevaluatie bijv. naar prétherapie in het gevangeniswezen (2009- veel VenJ-studies). KEA: hoe kan museumbezoek van kinderen (tm 12 jaar) worden gestimuleerd op kosteneffectieve wijze? Online mediumconcept leek het meest ke- alternatief. Ex ante onderzoek in meta-perspectief | 18 december 2013

31 Ex ante onderzoek in meta-perspectief
18 december 2013 Uitgelicht: (M)KBA’s Verschillende doelen en alternatieven samenbrengen in één analyse Op zijn minst projectalternatief en (nul)optie vergelijken op kosten en baten In MKBA ook maatschappelijke kosten en baten verdisconteerd Zo mogelijk in geld uitgedrukt (gemonetariseerd) Uitmondend in een saldo Bandbreedte rond dit saldo afhankelijk van scenario (gevoeligheidsanalyses) Ex ante onderzoek in meta-perspectief | 18 december 2013

32 Voorbeeld: MKBA langer zwangerschaps- en bevallingsverlof
Ex ante onderzoek in meta-perspectief 18 december 2013 Voorbeeld: MKBA langer zwangerschaps- en bevallingsverlof Beleidsalternatieven: 20 en 18 weken verlof. Nuloptie: 16 weken (huidige situatie) Directe, indirecte en externe effecten vertaald naar kosten en baten Direct: kosten en baten voor de (a.s.) moeders, werkgevers, overheid Indirect: o.a. uitstel van kinderopvanggebruik Extern: bijv. gezondheidseffecten door langere borstvoedingsperiode Ervaringscijfers: literatuuronderzoek (buitenland) Uitdrukken in eenheden, volume, monetaire eenheden (waarderingsmethode) Conclusie: negatief maatschappelijk saldo Bandbreedte wel groot Effecten uitsplitsen naar actoren Aanknopingspunten voor beleidsoptimalisatie Wb de eenheden etc. bijv. vermindering gebruik kinderopvang in weken; volume: bijv. zelfde aantal weken als de verlenging van het verlof; en eenheden bijv. hoeveel kost de opvang van een baby van enkele maanden per week? Zie p. 48 rapport Ex ante onderzoek in meta-perspectief | 18 december 2013

33 Uitgelicht: Ex ante evaluaties van potentiële effectiviteit
Ex ante onderzoek in meta-perspectief 18 december 2013 Uitgelicht: Ex ante evaluaties van potentiële effectiviteit Kan het doel met voorziene instrumentarium cq. alternatieven bereikt worden? Kunnen met ‘Schoon & Zuinig’ de ‘coalitiedoelen’ versnelling energiebesparing (2%), een groter aandeel hernieuwbare energie (20%) en minder CO-2 uitstoot (30%) worden bereikt? In hoeverre dragen convenanten bij aan de effectiviteit van energiebeleid? (literatuur, OESO-data en gevoeligheidsanalyses) Vaak een mix van onderzoeksmethoden; in 50% kwantitatief onderzoek De systematische KEA en de ‘planevaluatie’ sluiten op deze vragen aan, maar komen niet vaak voor Beleidswetenschappelijke methode ‘Arenamodel’ Ex ante onderzoek in meta-perspectief | 18 december 2013

34 Gebruik van ex ante onderzoek in de praktijk
Ex ante onderzoek in meta-perspectief 18 december 2013 Gebruik van ex ante onderzoek in de praktijk Redelijke mate van kennisname door bijv. Kamerleden, bewindspersonen, het veld Wisselende mate van standpuntbeïnvloeding / discussie Soms kwam de ex ante studie daarvoor te laat Dezelfde – onzekere – bevindingen zijn gebruikt om bijv. zowel het SP- als het VVD-standpunt te onderbouwen (Enige) doorwerking in 3 van de 5 onderzochte gevallen; in de 2 andere cases was sprake van: Nieuwe minister, van een andere partij Val van het kabinet-Rutte I Ex ante onderzoek in meta-perspectief | 18 december 2013

35 Wat verklaart gebruik van ex ante onderzoek?
Besluitvormingscontext Relatie evaluatie – wetgeving niet 1 op 1; evaluatie geen receptenboek Timing Beleidscyclus ≠ looptijd onderzoek Contact ‘opdrachtgever- opdrachtnemer’ bijv. in begeleidingsscommissie of klankbordgroep Evaluatiekwaliteit Begrijpelijkheid en verspreiding

36 Vragen Eigen ervaringen / praktijken met ex ante en ex post evaluatie?
IAK? Wat kan de bijdrage zijn van ex ante onderzoek op uw werkgebied (of breder)? / Wat zijn redenen om ertoe over te gaan? Wat voor (soort) vragen zouden dan vooral gesteld moeten worden? Wanneer is het te laat voor ex ante onderzoek; wanneer is het te vroeg? Wat zijn redenen om niet tot evaluatie over te gaan?

37 Contact