De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Welke lessen kunnen we trekken uit evaluaties......met het oog op effectieve wet- en regelgeving? Carolien Klein Haarhuis WODC 23 april 2014.

Verwante presentaties


Presentatie over: "Welke lessen kunnen we trekken uit evaluaties......met het oog op effectieve wet- en regelgeving? Carolien Klein Haarhuis WODC 23 april 2014."— Transcript van de presentatie:

1 Welke lessen kunnen we trekken uit evaluaties......met het oog op effectieve wet- en regelgeving? Carolien Klein Haarhuis WODC 23 april 2014

2 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Kort iets over het WODC Wetenschappelijk onderzoek- en documentatiecentrum van het ministerie van Veiligheid en Justitie Semi-onafhankelijk, onderzoek op aanvraag van & in dialoog met het ministerie (onderzoeksprogramma) Meer dan de helft wordt door WODC weer uitbesteed Ruim 100 werknemers Jaarlijks ruim 100 rapporten en evenzoveel artikelen (50% peer reviewed) Tijdschrift Justitiële Verkenningen (JV) WODC-Infodesk: bijna 500 informatievragen Jaarlijks enkele honderdduizenden unieke bezoeken website

3 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Wetgeving in Nederland Vastleggen van instituties, bevoegdheden, geldstromen Waarborgdoelen (bijv. rechtszekerheid, rechtsgelijkheid, proportionaliteit) Instrumentele doelen (bijv. meer aanbod van donororganen bewerkstelligen) De meeste wetten zijn complex van samenstelling Behelzen niet één, maar meerdere ‘interventies’ – o.a. concrete verplichtingen/verboden, sancties, kaders, subsidies... Vaak meerdere normaddressaten Bijv. gemeenten, ziekenhuizen, scholen, bedrijven, burgers Bijv. Awgb, Wod, Wet Tweede Fase 3

4 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Voorbeeld van complexe wet: Wet Tweede Fase Uiteenlopende instrumenten: Vakkenprofielen Nieuwe examenprogramma’s Zelfstandig leren Meer loopbaanoriëntatie, etc. 3 doelen: 1. Modernisering onderwijsprogramma bovenbouw 2. Aansluiting Middelbaar (HAVO / VWO) met Hoger Onderwijs verbeteren 3. Meer autonomie school in keuze werkvormen

5 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Wetgeving in Nederland: een paar cijfers Medio april 2014: wetten in werking AMVB’s Ministeriёle regelingen ‘Het totale aantal regelingen is tussen stabiel gebleven’ (Brief minister aan TK, 12 september 2013)

6 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Waarom evalueren? Complexe wetgeving & complexe praktijk Leren (wat kan beter?) Transparantie, verantwoording afleggen Wet van de afnemende meeropbrengsten van beleid / wetgeving (meer van hetzelfde is niet altijd beter) Reductie van ‘mediapraat’, ‘van horen zeggen’, ‘belangengroep- verhalen’ Andere (politieke) doelen: Uitstel van besluitvorming – of juist doorduwen ‘Munitie’ in het debat Verdediging van gemaakte beleidskeuzes...

7 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Soorten evaluatie Ex ante: toekomstgericht / beleidsvoorbereiding Ex post: terugkijkend Ex durante: gaandeweg (leren) Procesevaluatie: proces van in (en uit-)voering Effectiviteitsevaluatie / effectenevaluatie: doel / neveneffecten Monitoren: maatschappelijke (doel)indicatoren Meta-onderzoek & evaluatiesyntheses: bestaande evaluaties als gegevensbron voor de beantwoording van nieuwe / overstijgende vragen

8 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Effectiviteitsevaluatie: twee benaderingen Campbell (Collaboration) De experimentele invalshoek. Wat werkt? Test beleid en wetgeving als in een ‘laboratorium’: contextuele invloeden worden uitgeschakeld Attributief: zijn veranderingen op de doel-indicator ook echt aan de wet / het beleid in kwestie toe te schrijven? Realist evaluation (o.a. Pawson, 2003/6; Pawson & Tilley, 1997) Wat-werkt-benadering niet altijd realistisch. Hoe ga je om met complex beleid? Hoe verklaar je gemengde uitkomsten? Contributief: hoe werken interventies (in wetten) welke mechanismen (M) triggeren uitkomsten (O) en onder welke condities (C) gebeurt dat?  C-M-O heuristiek Mechanismen vaak verborgen (bijv. zwaartekracht, psychologische processen, afwegingen door mensen, groepsprocessen) 8

9 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Experimenteel design à la Campbell T0e X T1e T0c … T1c Waarbij T (T0, T1) staat voor tijdstip meting (resp. nulmeting en nameting), X voor de interventie (bijv. wetswijziging), e voor experimentele groep en c voor controlegroep.

10 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Realist evaluation (CMO): HOE werken wetten?.- C ONTEXT -Factoren die de werking van de wet beïnvloeden -Bijv. kenmerken doelgroepen of economische factoren M ECHANISMEN - (Beoogde) Keten van gedragsreacties - Langs welke schakels? Wet O utcome

11 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Synthese wetsevaluaties (WODC, 2008)  Hoe staat het met de onderzoekstechnische kwaliteit van wetsevaluaties?  Wat leren we over de aard en werking van de geëvalueerde wetten?  Welke typen interventies bevatten wetten?  Doelbereiking/ effectiviteit?  Tussengelegen processen?  Invloeden vanuit de context?

12 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Nederlandse wetten: typen interventies ‘Bestuursinstrumenten’: 80% (kaders, instructies) Voorbeeld: Wet op de Basisvorming Juridische interventies: Handhaving: 59%. Vooral richting burgers en bedrijven. Voorbeelden: Ontnemings (Pluk-Ze) wetgeving, Mededingingswet Financiёle prikkels: 10%. Vooral voor burgers en bedrijven Voorbeeld: Wet Inkomstenbelasting, Wet Ink.vz. Kunstenaars

13 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Doelbereiking 41 uit 58: ‘middelmatig’ 11: relatief hoog 6: relatief gering Meeste doelbereiking in geval van: Wetten die louter uitvoerders adresseren Kwaliteit van proces van invoering en uitvoering/handhaving Meer tijdsverloop tussen invoering en evaluatie Ambitieniveau

14 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 C-M-O in de evaluatiepraktijk... Veel beschrijvingen van het implementatieproces (de invoering en deels de tenuitvoerlegging) Relatief veel over Uitkomsten (O)... echter weinig over Mechanismen (M): Gefragmenteerde beschrijvingen van de verdere dóórwerking op de doelgroep Bijv. HOE leiden de vele instrumenten in de Wet Tweede Fase nu precies tot kwaliteitsverbetering? Gefragmenteerde informatie over Contexten (C)

15 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Beoogde werking in wetten Institutionele mechanismen, gericht op organisaties met publieke taak Zelfsturing, checks and balances, integrale aanpak, regierol, organisatorische ingrepen, versobering en transparantie Sociale mechanismen, gericht op burgers en bedrijven Rechtshandhaving, rechtsbescherming, financiële prikkels, communicatie

16 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Werkingsprocessen in werkelijkheid Personen, bedrijven, uitvoerders kennen de wet niet altijd (direct) goed De uitvoering stokt of verloopt traag; coördinatie- en capaciteitsproblemen (vgl. Nas et al. 2011) Autonomie en maatwerk lieten te wensen over; personeelsproblemen; problemen in de samenwerking tussen organisaties (taakverdeling, informatie-uitwisseling) Evaluaties komen vaak (te) vroeg, waardoor uitvoering nog niet is voltooid en werking niet is opgetreden

17 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Voorbeeld: rechtshandhaving in theorie Een afdwingbaar ge- of verbod (interventie) bijv. met sancties (straf- /bestuursrechtelijk) of via de civiele rechter Zou moeten leiden tot (generaal- en specifiek)preventieve werking (M) En zo ongewenst gedrag voorkómen of terugdringen (O) Niet alleen op burgers/ bedrijven, maar ook op uitvoerenden Bijv. aansturing van (huis)artsen

18 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Rechtshandhaving: de werkelijkheid Sancties worden in de praktijk nauwelijks opgelegd  controle- en detectiekansen zijn klein Preventieve werking is gefragmenteerd: hier wel, daar niet Niettemin is veel naleving bereikt Hoe dit laatste te verklaren?

19 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Werking in de praktijk: andere voorbeelden WMCZ: erosie van bestaande medezeggenschapstructuren  ‘crowding out’ Wvgs: spontane naleving vanwege grote bedrijfsmatige risico’s Veerman (2013) vond dat de doelbereiking van wetgeving toeneemt met: Consultatie Inzet van toezichts- en handhavingsbevoegdheden Nalevingsgerichte handhaving Naleving 19

20 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Context Omgevingscondities die het slagen of falen van wetten beïnvloeden Werkelijkheid: Grote verschillen in succes tussen gemeenten, regio’s en groepen mensen Grote instellingen en bedrijven ’doen het beter’ Flankerende wetten en regels werken volgens veel evaluaties ‘complicerend’

21 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Voorbeeld: Basisvorming Bestuurlijke context Andere, gelijktijdige hervormingsoperaties (2e fase / Studiehuis)  Schoolbesturen en leraren zijn overbelast, er is (te) weinig capaciteit voor uitvoering Schoolcontext Verschillen in resultaat tussen grote en kleine scholen & resultaatverschillen tussen vakken Individuele context Kwaliteitsbewustzijn bij leraren maakt verschil

22 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Context in de praktijk op 3 niveaus Macro: samenleving/economie, wetten & regels Groei, afname, fusies Aanpalende wetten en regels, EU-regelgeving Meso: organisaties & netwerken Omvang organisaties ‘Bestuurscultuur’ Micro: individuen, gevallen Startniveau (bijv. nieuwkomers, scholieren, leraren) Type crimineel (bijv. bij Pluk-ze), omvang van het bedrijf

23 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Context (het veld) uiterst divers, zo ook werking en doelbereiking Wet/ interventie Doel

24 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Aannames die zijn uitgedaagd Wet = naleving Wetten leiden tot Weten…...en Weten leidt tot Doen Veerman (2013): weten, willen en kunnen zijn – gelet op de empirie – inderdaad cruciaal voor doelbereiking Normadressanten maken kosten-batenafwegingen & handelen daar ook naar, bijv. Calculeren detectie-, pak- en sanctiekans Zijn gevoelig voor financiële prikkels Mensen gebruiken vuistregels en zijn gebiased, zijn sociale en emotionele wezens, etc. Niettemin: wetgeving heeft een ordenende functie, dus kan daar niet altijd van uitgaan Regelgeving werkt overal op dezelfde manier / in dezelfde mate De context is dus van belang maar ook complex en divers; wordt nooit helemaal gekend

25 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Mechanismen van menselijk gedrag....die van belang kunnen zijn voor de werking van wetten (Veerman, 2013:73) Betrokkenheid op het directe eigenbelang, moral hazard, shadow of the future Sociale druk, imitatie, group think, gewoonte Verliesaversie Angstreductie Padafhankelijkheid, reductie van cognitieve dissonantie Informatiereductie Respect 25

26 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Naar Evidence Based wetgeving? Voor beleid & onderzoek Open de black box: hoe werkte ‘t / moet ‘t werken, voor wie en onder welke condities? Voor beleid Oog voor de (o.a. sociale, economische en capacitaire) context bij de keuze & implementatie van interventies Oog voor ‘fouten’ en ‘short cuts’ in waarneming en beslisgedrag doelgroepen (in de VS:) vereenvoudiging van (communicatie van) regels, ‘default’ regels, aanhaken op saillante voorbeelden in campagnes Inzet en gebruik van ex ante onderzoek

27 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Ex ante onderzoek Steeds meer aandacht voor effectief beleid Eerder onderzoek: ex ante evaluatie gebeurt niet zo vaak (en niet goed genoeg) Inmiddels vele toetsen Kaders: RPE (  Rbv 2008) en IAK (2011) Wetenschappelijke inzichten over (verplicht) ex ante onderzoek Nederland EU 27

28 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Uitvoerders 28

29 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Stadium van beleid & onderzochte alternatieven Hoe verder de planvorming, hoe minder mogelijke doorwerking Stadium niet exact te bepalen o.b.v. de rapporten 85% vond plaats voorafgaand aan de besluitvorming Daarvan ogenschijnlijk het meeste ‘ergens halverwege’ het ontwikkelingstraject 15% na nemen besluit verricht Deels uitvoeringsanalyses, maar ook klein aandeel studies over doelbereiking / alternatieven Gemiddeld zijn 3,4 alternatieven bestudeerd Afhankelijk van opdrachtgever en uitvoerder Na besluitvorming toch nog 1,8 opties 29

30 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Typen studies 30

31 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Uitgelicht: (M)KBA’s Verschillende doelen en alternatieven samenbrengen in één analyse Op zijn minst projectalternatief en (nul)optie vergelijken op kosten en baten In MKBA ook maatschappelijke kosten en baten verdisconteerd Zo mogelijk in geld uitgedrukt (gemonetariseerd) Uitmondend in een saldo Bandbreedte rond dit saldo afhankelijk van scenario (gevoeligheidsanalyses) 31

32 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Voorbeeld: MKBA langer zwangerschaps- en bevallingsverlof Beleidsalternatieven: 20 en 18 weken verlof. Nuloptie: 16 weken (huidige situatie) Directe, indirecte en externe effecten vertaald naar kosten en baten Direct: kosten en baten voor de (a.s.) moeders, werkgevers, overheid Indirect: o.a. uitstel van kinderopvanggebruik Extern: bijv. gezondheidseffecten door langere borstvoedingsperiode Ervaringscijfers: literatuuronderzoek (buitenland) Uitdrukken in eenheden, volume, monetaire eenheden (waarderingsmethode) Conclusie: negatief maatschappelijk saldo Bandbreedte wel groot Effecten uitsplitsen naar actoren Aanknopingspunten voor beleidsoptimalisatie 32

33 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Uitgelicht: Ex ante evaluaties van potentiële effectiviteit Kan het doel met voorziene instrumentarium cq. alternatieven bereikt worden? Kunnen met ‘Schoon & Zuinig’ de ‘coalitiedoelen’ versnelling energiebesparing (2%), een groter aandeel hernieuwbare energie (20%) en minder CO-2 uitstoot (30%) worden bereikt? In hoeverre dragen convenanten bij aan de effectiviteit van energiebeleid? (literatuur, OESO-data en gevoeligheidsanalyses) Vaak een mix van onderzoeksmethoden; in 50% kwantitatief onderzoek De systematische KEA en de ‘planevaluatie’ sluiten op deze vragen aan, maar komen niet vaak voor Beleidswetenschappelijke methode ‘Arenamodel’ 33

34 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Gebruik van ex ante onderzoek in de praktijk Redelijke mate van kennisname door bijv. Kamerleden, bewindspersonen, het veld Wisselende mate van standpuntbeïnvloeding / discussie Soms kwam de ex ante studie daarvoor te laat Dezelfde – onzekere – bevindingen zijn gebruikt om bijv. zowel het SP- als het VVD-standpunt te onderbouwen (Enige) doorwerking in 3 van de 5 onderzochte gevallen; in de 2 andere cases was sprake van: Nieuwe minister, van een andere partij Val van het kabinet-Rutte I 34

35 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Wat verklaart gebruik van ex ante onderzoek? Besluitvormingscontext Relatie evaluatie – wetgeving niet 1 op 1; evaluatie geen receptenboek Timing Beleidscyclus ≠ looptijd onderzoek Contact ‘opdrachtgever- opdrachtnemer’ bijv. in begeleidingsscommissie of klankbordgroep Evaluatiekwaliteit Begrijpelijkheid en verspreiding

36 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Vragen Eigen ervaringen / praktijken met ex ante en ex post evaluatie? IAK? Wat kan de bijdrage zijn van ex ante onderzoek op uw werkgebied (of breder)? / Wat zijn redenen om ertoe over te gaan? Wat voor (soort) vragen zouden dan vooral gesteld moeten worden? Wanneer is het te laat voor ex ante onderzoek; wanneer is het te vroeg? Wat zijn redenen om niet tot evaluatie over te gaan? 36

37 Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014 Contact


Download ppt "Welke lessen kunnen we trekken uit evaluaties......met het oog op effectieve wet- en regelgeving? Carolien Klein Haarhuis WODC 23 april 2014."

Verwante presentaties


Ads door Google