bijdragen van een beleidsonderzoeker aan het lerend vermogen van een overheidsorganisatie peter van der knaap .nl

Leren van evalueren: wanneer begin je? Bijdrage van beleidsonderzoek aan de doelmatigheid van beleid Leerbarrières Aangrijpingspunten voor verkorting van de beleidsleercyclus “Take away’s”

‘A golden concept, everone is for it!’ lerende organisatie ‘A golden concept, everone is for it!’ (googlelab resultaten “organisational learning” ngrams.googlelabs.com)

lerende organisatie lerende organisatie = een organisatie die met succes kennis verwerft en die kennis gericht benut om haar functioneren en presteren te verbeteren normatief spontaan / georganiseerd

lerende overheid lerende overheid = een overheid die voortdurend en met enig succes streeft naar verbetering van beleid en uitvoering lerend vermogen: de capaciteit om informatie / kennis over succes en falen van beleid en/of uitvoering (1) te genereren en (2) te benutten om beleid en/of uitvoering te verbeteren

perspectieven systeemleren cognitief leren sociaal leren

systeemleren principes: doelstellingen en bijsturing op basis van terugkoppeling (feedback) niveaus van leren: eerste orde / tweede orde (single loop / double loop) meetbaarheid, centraal beslispunt risico’s: geen feedback, leren op verkeerde niveau

leerniveaus de dingen goed doen: iets doen met een goede verhouding tussen kosten en kwaliteit de goede dingen doen: datgene doen dat leidt tot het realiseren van de gekozen (beoogde) doelstellingen

13

cognitief leren zingeving dmv cognitieve schema’s sturende werking op waarneming, interpretatie en geheugen cognitieve dissonantie = aanzet tot leren risico’s: starheid, vooringenomenheid, blindheid

leercyclus david kolb: concrete ervaring reflectie handelen besluit

sociaal leren leren van anderen: anderen als stimulus-configuratie lerende partij is autonoom leren met anderen: sociale constructie van werkelijkheid lerende partij is min of meer gehouden aan uitkomst proces risico’s: groepsdenken, besluitvorming

variëteit/selectie & analyse/instructie (WRR) AI-leren: bij getemde vraagstukken VS-leren: bij ongetemde vraagstukken

twee scholen radicaal constructivistisch : diversiteit, fragmentatie radicaal rationeel- analytisch: de wereld als ontwerp

twee scholen radicaal constructivistisch : diversiteit, fragmentatie radicaal rationeel- analytisch: de wereld als ontwerp

evaluatiefasen en leren kennisbehoefte: probleemstelling en onderzoeksvragen + informatie verzamelen o oordeel vormen + conclusies over verbeteropties: bijsturen, ingrijpen, het roer omgooien, ophouden +

leren van evalueren: wanneer begin je? Ideaal (rationeel-analytisch): bij het begin van het beleid Suboptimaal, maar wezenlijk: bij het voorbereiden van de evaluatie Pragmatisch (sociaal leren): tijdens de evaluatie Feedback: na de evaluatie Niet (willen) leren: verantwoording

beleidsonderzoek en doelmatigheid: bijdragen ministers: verantwoordelijk voor doelmatig en doeltreffend beleid (comptabiliteitswet) elke 5 jaar evalueren (regeling, subsidiekader etc.) beleidsdoorlichtingen financiën doelmatigheidsonderzoek AR

kwantitatieve beoordelingscriteria: doelmatigheid: maximaliseren prestaties met gegeven middelen / minimaliseren middelen bij gegeven prestaties effectiveness (doeltreffendheid): beoogde effecten bereikt door beleid (tegen minimale kosten = cost-effectiveness) economy (zuinigheid): minimaliseren kosten bij inzet middelen

evaluatieve onderzoeksvragen: hebben we gedaan wat we zouden doen? heeft dat gekost wat we dachten dat het zou kosten? hebben we bereikt wat we beoogden? in hoeverre is hetgeen we bereikt hebben toe te schrijven aan wat we gedaan hebben? deden we het goed? (kleine doelmatigheid) deden we het goede? (grote doelmatigheid) wat kan beter en hoe kan het beter? niet: hoe ontwikkelt zich x, y of z? (= beleidsrelevant onderzoek)

beleidsanalytische toets Raad van State Probleembeschrijving Wat is het probleem? Voor wie? Soort probleem? Context? Oplossing noodzakelijk? Probleemaanpak Biedt voorstel een oplossing? Is deze effectief? Welke nevenlasten en -effecten voor burgers en bedrijven zijn er? Beleidstheorie adequaat? Ervaringen met probleem en mogelijke oplossingen? Uitvoering Naleefbaarheid van voorstel (mogelijk, welke administratieve lasten)? Uitvoerbaarheid door (overheids)instellingen? Handhaafbaarheid: is er toezicht mogelijk en wie moet dat doen?

vragen beleidsdoorlichting MvF Wat is het probleem dat aanleiding is geweest voor het beleid? Is dit probleem nog actueel? Wat is de oorzaak van het probleem? Waarom rekent de rijksoverheid het tot haar taak om het probleem aan te pakken? Is er samenhang of overlap tussen instrumenten? Dragen instrumenten bij aan oplossing? Welke neveneffecten zijn er? Wat is de onderbouwing van de budgetten? Welke alternatieven zijn er voor huidige beleid?

startpunt doelmatigheidsonderzoek AR

DDO-vragen 1. Vragen op het terrein van doelrealisatie en doeltreffendheid: Welke prestaties en effecten zijn beoogd en welke zijn gerealiseerd? Worden effecten gerealiseerd dankzij het beleid? Wat zijn verklaringen voor achterblijvende of juist succesvolle prestaties en effecten? 2. Vragen op het terrein van doelmatigheid: Wat kosten geleverde prestaties en gerealiseerde effecten? Kunnen dezelfde prestaties/effecten ook tegen minder kosten worden gerealiseerd of kunnen meer prestaties/effecten worden gerealiseerd tegen dezelfde kosten? Wat zijn verklaringen voor tegenvallende of juist meevallende doelmatigheid?

tegengif voor “Wet van het Onbewezen Beleid” Bestaand beleid werkt Beleid dat bij probleem a lijkt te werken, zal ook wel bij probleem b werken Maatregelen die we eerder succesvol vonden, zullen dat ook in de toekomst zijn Geen nieuws over tegenvallende resultaten? Dat is dus goed nieuws! Toch nieuws over tegenvallende resultaten? Dat is dan het signaal dat er meer geld moet worden uitgegeven

leerbarrières (1) geen (feedback) informatie doelloosheid geen goede feedbackinformatie (validiteit, betrouwbaarheid, actualiteit, bruikbaarheid) karakter leerproces: corrigerend terwijl innovatie vereist is onduidelijkheid over gewenste bandbreedte uitkomsten leerproces (management van verwachtingen)

leerbarrières (2) blindheid / selectieve perceptie (risico = risico-management, doelstellingen en prestatie-indicatoren) cognitieve dissonantie

leerbarrières (3) “missen” van sleutelhouders / externe oriëntatie defensieve routines

beleidstheorie als leerstrategie voordeel nadeel ontwikkeling focus simplisme, blindheid, tunnelvisie debat referentiekader geslotenheid uitvoering verbeteren en vernieuwen automatische piloot evaluatie ijkpunt defensieve routines

verkorten van de leercyclus (1) “het mag niet meer gebeuren dat...” “met de kennis van nu...” “de onderste steen moet boven...” “onderzoeken hoe dit heeft kunnen gebeuren...”

verkorten van de leercyclus (2) formuleren beleidstheorie / interventielogica ex ante evidence monitoring / early warning ‘volgend evalueren’: eerst opzet en prestaties, pas later effecten evaluatie als middel voor sociaal leren benutten (leren tijdens evalueren) zelf als beleidsmaker evaluatie uitvoeren

conclusie - leren van beleidsonderzoek vergt: doelen, ambities = interesse van de eerste orde stimuli, impulsen, terugkoppeling interactie dissonantie, dreiging = interesse van de tweede orde luwte, veiligheid, capaciteit plezier

“take away’s” bewust omgaan met bijsturen en veranderen, met verbeteren en vernieuwen uit uw schulp als kennispartner! stel de hamvragen! nabijheid, taal, mensenwerk

Conclusies en aansprekende titels waarin het woord doelmatigheid terugkomt (VFM- uitspraken) Prikkelende infographics en ‘analytic graphics’ De Bühne op: social media, normatiek, voorbeelden, hulp DDO bij de AR

in de praktijk… werkelijkheid = onkenbaar de polder kent geen waarheid probleem van reflexiviteit en de tragiek van onbedoelde gevolgen geen tijd, geen geld voor kennis

prudent bestuur = streven naar goed gefundeerd beleid = grondrecht chaotische inbreng wetenschappelijke kennis = democratische besluitvorming openlijk voor rede vatbaar = kenmerk van verantwoordelijke kennisdemocratie kwaliteit van bewijsvoering: altijd voor discussie vatbaar

DDO bij de AR

www.petervanderknaap.nl