Bijdragen van een beleidsonderzoeker aan het lerend vermogen van een overheidsorganisatie peter van der knaap .nl.

Presentatie over: "Bijdragen van een beleidsonderzoeker aan het lerend vermogen van een overheidsorganisatie peter van der knaap .nl."— Transcript van de presentatie:

1 bijdragen van een beleidsonderzoeker aan het lerend vermogen van een overheidsorganisatie
peter van der knaap .nl

2 Leren van evalueren: wanneer begin je?
Bijdrage van beleidsonderzoek aan de doelmatigheid van beleid Leerbarrières Aangrijpingspunten voor verkorting van de beleidsleercyclus “Take away’s”

3 ‘A golden concept, everone is for it!’
lerende organisatie ‘A golden concept, everone is for it!’ (googlelab resultaten “organisational learning” ngrams.googlelabs.com)

4

5

6

7 lerende organisatie lerende organisatie = een organisatie die met succes kennis verwerft en die kennis gericht benut om haar functioneren en presteren te verbeteren normatief spontaan / georganiseerd

8 lerende overheid lerende overheid = een overheid die voortdurend en met enig succes streeft naar verbetering van beleid en uitvoering lerend vermogen: de capaciteit om informatie / kennis over succes en falen van beleid en/of uitvoering (1) te genereren en (2) te benutten om beleid en/of uitvoering te verbeteren

9 perspectieven systeemleren cognitief leren sociaal leren

10

11 systeemleren principes: doelstellingen en bijsturing op basis van terugkoppeling (feedback) niveaus van leren: eerste orde / tweede orde (single loop / double loop) meetbaarheid, centraal beslispunt risico’s: geen feedback, leren op verkeerde niveau

12 leerniveaus de dingen goed doen: iets doen met een goede verhouding tussen kosten en kwaliteit de goede dingen doen: datgene doen dat leidt tot het realiseren van de gekozen (beoogde) doelstellingen

13 13

14 cognitief leren zingeving dmv cognitieve schema’s
sturende werking op waarneming, interpretatie en geheugen cognitieve dissonantie = aanzet tot leren risico’s: starheid, vooringenomenheid, blindheid

15 leercyclus david kolb:
concrete ervaring reflectie handelen besluit

16 sociaal leren leren van anderen: anderen als stimulus-configuratie
lerende partij is autonoom leren met anderen: sociale constructie van werkelijkheid lerende partij is min of meer gehouden aan uitkomst proces risico’s: groepsdenken, besluitvorming

17

18 variëteit/selectie & analyse/instructie (WRR)
AI-leren: bij getemde vraagstukken VS-leren: bij ongetemde vraagstukken

19 twee scholen radicaal constructivistisch : diversiteit, fragmentatie
radicaal rationeel- analytisch: de wereld als ontwerp

20

21 twee scholen radicaal constructivistisch : diversiteit, fragmentatie
radicaal rationeel- analytisch: de wereld als ontwerp

22

23 evaluatiefasen en leren
kennisbehoefte: probleemstelling en onderzoeksvragen + informatie verzamelen o oordeel vormen + conclusies over verbeteropties: bijsturen, ingrijpen, het roer omgooien, ophouden +

24 leren van evalueren: wanneer begin je?
Ideaal (rationeel-analytisch): bij het begin van het beleid Suboptimaal, maar wezenlijk: bij het voorbereiden van de evaluatie Pragmatisch (sociaal leren): tijdens de evaluatie Feedback: na de evaluatie Niet (willen) leren: verantwoording

25 beleidsonderzoek en doelmatigheid: bijdragen
ministers: verantwoordelijk voor doelmatig en doeltreffend beleid (comptabiliteitswet) elke 5 jaar evalueren (regeling, subsidiekader etc.) beleidsdoorlichtingen financiën doelmatigheidsonderzoek AR

26 kwantitatieve beoordelingscriteria:
doelmatigheid: maximaliseren prestaties met gegeven middelen / minimaliseren middelen bij gegeven prestaties effectiveness (doeltreffendheid): beoogde effecten bereikt door beleid (tegen minimale kosten = cost-effectiveness) economy (zuinigheid): minimaliseren kosten bij inzet middelen

27 evaluatieve onderzoeksvragen:
hebben we gedaan wat we zouden doen? heeft dat gekost wat we dachten dat het zou kosten? hebben we bereikt wat we beoogden? in hoeverre is hetgeen we bereikt hebben toe te schrijven aan wat we gedaan hebben? deden we het goed? (kleine doelmatigheid) deden we het goede? (grote doelmatigheid) wat kan beter en hoe kan het beter? niet: hoe ontwikkelt zich x, y of z? (= beleidsrelevant onderzoek)

28 beleidsanalytische toets Raad van State
Probleembeschrijving Wat is het probleem? Voor wie? Soort probleem? Context? Oplossing noodzakelijk? Probleemaanpak Biedt voorstel een oplossing? Is deze effectief? Welke nevenlasten en -effecten voor burgers en bedrijven zijn er? Beleidstheorie adequaat? Ervaringen met probleem en mogelijke oplossingen? Uitvoering Naleefbaarheid van voorstel (mogelijk, welke administratieve lasten)? Uitvoerbaarheid door (overheids)instellingen? Handhaafbaarheid: is er toezicht mogelijk en wie moet dat doen?

29 vragen beleidsdoorlichting MvF
Wat is het probleem dat aanleiding is geweest voor het beleid? Is dit probleem nog actueel? Wat is de oorzaak van het probleem? Waarom rekent de rijksoverheid het tot haar taak om het probleem aan te pakken? Is er samenhang of overlap tussen instrumenten? Dragen instrumenten bij aan oplossing? Welke neveneffecten zijn er? Wat is de onderbouwing van de budgetten? Welke alternatieven zijn er voor huidige beleid?

30 startpunt doelmatigheidsonderzoek AR

31 DDO-vragen 1. Vragen op het terrein van doelrealisatie en doeltreffendheid: Welke prestaties en effecten zijn beoogd en welke zijn gerealiseerd? Worden effecten gerealiseerd dankzij het beleid? Wat zijn verklaringen voor achterblijvende of juist succesvolle prestaties en effecten? 2. Vragen op het terrein van doelmatigheid: Wat kosten geleverde prestaties en gerealiseerde effecten? Kunnen dezelfde prestaties/effecten ook tegen minder kosten worden gerealiseerd of kunnen meer prestaties/effecten worden gerealiseerd tegen dezelfde kosten? Wat zijn verklaringen voor tegenvallende of juist meevallende doelmatigheid?

32 tegengif voor “Wet van het Onbewezen Beleid”
Bestaand beleid werkt Beleid dat bij probleem a lijkt te werken, zal ook wel bij probleem b werken Maatregelen die we eerder succesvol vonden, zullen dat ook in de toekomst zijn Geen nieuws over tegenvallende resultaten? Dat is dus goed nieuws! Toch nieuws over tegenvallende resultaten? Dat is dan het signaal dat er meer geld moet worden uitgegeven

33 leerbarrières (1) geen (feedback) informatie doelloosheid
geen goede feedbackinformatie (validiteit, betrouwbaarheid, actualiteit, bruikbaarheid) karakter leerproces: corrigerend terwijl innovatie vereist is onduidelijkheid over gewenste bandbreedte uitkomsten leerproces (management van verwachtingen)

34 leerbarrières (2) blindheid / selectieve perceptie (risico = risico-management, doelstellingen en prestatie-indicatoren) cognitieve dissonantie

35 leerbarrières (3) “missen” van sleutelhouders / externe oriëntatie
defensieve routines

36 beleidstheorie als leerstrategie
voordeel nadeel ontwikkeling focus simplisme, blindheid, tunnelvisie debat referentiekader geslotenheid uitvoering verbeteren en vernieuwen automatische piloot evaluatie ijkpunt defensieve routines

37 verkorten van de leercyclus (1)
“het mag niet meer gebeuren dat...” “met de kennis van nu...” “de onderste steen moet boven...” “onderzoeken hoe dit heeft kunnen gebeuren...”

38 verkorten van de leercyclus (2)
formuleren beleidstheorie / interventielogica ex ante evidence monitoring / early warning ‘volgend evalueren’: eerst opzet en prestaties, pas later effecten evaluatie als middel voor sociaal leren benutten (leren tijdens evalueren) zelf als beleidsmaker evaluatie uitvoeren

39 conclusie - leren van beleidsonderzoek vergt:
doelen, ambities = interesse van de eerste orde stimuli, impulsen, terugkoppeling interactie dissonantie, dreiging = interesse van de tweede orde luwte, veiligheid, capaciteit plezier

40 “take away’s” bewust omgaan met bijsturen en veranderen, met verbeteren en vernieuwen uit uw schulp als kennispartner! stel de hamvragen! nabijheid, taal, mensenwerk

41 Conclusies en aansprekende titels waarin het woord doelmatigheid terugkomt (VFM- uitspraken)
Prikkelende infographics en ‘analytic graphics’ De Bühne op: social media, normatiek, voorbeelden, hulp DDO bij de AR

42 in de praktijk… werkelijkheid = onkenbaar de polder kent geen waarheid
probleem van reflexiviteit en de tragiek van onbedoelde gevolgen geen tijd, geen geld voor kennis

43 prudent bestuur = streven naar goed gefundeerd beleid = grondrecht
chaotische inbreng wetenschappelijke kennis = democratische besluitvorming openlijk voor rede vatbaar = kenmerk van verantwoordelijke kennisdemocratie kwaliteit van bewijsvoering: altijd voor discussie vatbaar

44 DDO bij de AR

45