Workshop 4 : Beleidsrelevante indicatoren Ronde tafel doelstellingenmanagement: naar een meer resultaatgerichte overheid. Inspiratie en dialoog Brussel, 23 oktober 2017 Dries Verlet Studiedienst Vlaamse Regering/Vlaamse Statistische Autoriteit

Een blik op de presentatie Inleiding : de indicatorencyclus Indicatoren in verschillende gedaantes Het meten van prestaties Een stappenplan voor monitoring Ervaring binnen de Vlaamse overheid met betrekking tot het meten van prestaties Doorwerking Slotbeschouwing

Inleiding Indicatorencyclus is verankerd in meerdere cycli Indicatorencyclus vertrekt en eindigt bij de beleidscyclus Indicatorencyclus is verbonden met de dataverzameling en prestatiemeetsysteme n Indicatorencyclus is een proces op zich

Wat zijn indicatoren: op naar een definitie? Carley (1981): een universele definitie is zinvol, mogelijk, maar weinig waarschijnlijk Belangrijke ingrediënten: Indicatoren als operationalisering van abstracte concepten, proxies Maken deel uit van een één of ander informatiesysteem dat een rol speelt in de beleidsvoering (en expliciet of impliciet deel uitmaakt van beleidstheorie) Statistieken zijn niet per definitie indicatoren (en omgekeerd)

Indicatoren: het topje van de ijsberg… Feiten Figuren Kwaliteit Perceptie Easy to measure – quantitative - defines satisfactory performance Harder to measure – qualitative - defines superior performance – most successful private sector firms invest huge resources into customer feedback, survey data Tevredenheid Visie Vertrouwen (Downes, 2008)

A. Een diversiteit aan types van indicatoren Wat zijn goede indicatoren en doelstellingen: twee acroniemen Enkelvoudige versus samengestelde indicatoren “Objectieve” versus “subjectieve” indicatoren Productieproces: MAPE

Wat maakt een indicator een goede indicator? Doelstellingen: “SMART”: Specific Measurable Achievable Relevant Time-bound Indicatoren zelf: “FABRIC”: Focused Appropriate Balanced Robust Integrated Cost effective

Enkelvoudige versus samengestelde indicatoren Een samengestelde indicator meet multi-dimensionele concepten die niet gevat kunnen worden door een enkele indicator, bijvoorbeeld: competitiviteitsindex, BBP, tolerantieindex Idealiter moet een samengestelde indicator gebaseerd zijn op een theoretisch kader, dat toelaat individuele indicatoren te selecteren, te combineren en te wegen op een manier die de theoretische dimensies van het bestudeerde fenomeen passend reflecteert Maar ook te gebruiken in het aggregeren van processen en activiteiten, bv. integreren op niveau van kernprocessen zoals coördineren/ondersteunen

Objectieve versus subjectieve indicatoren Objectieve indicatoren: harde cijfers Subjectieve indicatoren: houden rekening met de ervaringen van de doelgroep, percepties Vaak als kwaliteitsaspect Onderscheid tussen beide types niet altijd strikt te maken

MAPE: als kapstok Beleidsniveau Organisatieniveau Maatschappelijke problemen en noden Omgevingsfactoren Beleidsniveau Beleid input Structuren, institutionele en management Organisatieniveau Activiteiten en processen Outputs Outcomes op korte en ml termijn Outcomes op langere termijn Doelstellingen input Context

Omschrijving van de samenstellende delen Doelstellingen: strategische versus operationele; stabiliteit en consistentie doorheen de verschillende planningsdocumenten Input: mensen en middelen die men inzet Throughput: processen en activiteiten waarin inputs tot outputs worden omgezet Output: volume, kwaliteit en waarde van goederen en diensten Outcome: gebeurtenissen of omstandigheden die het (on- )bedoelde resultaat zijn van de acties van de overheid. Vaak niet éénduidig toe te schrijven aan de handelingen van de overheid Omgevingsfactoren: als organisatie geen vat op, maar kunnen doorslaggevende invloed uitoefenen

INPUT TROUGHPUT OUTPUT OUTCOME Makkelijker te meten want zeer concreet Minder concreet en dus moeilijker te meten Kunnen op een meer regelmatige basis worden bijgehouden Zijn moeilijker om op regelmatige basis te verzamelen omdat het langer duurt vooraleer de effecten zich voordoen Minder externe factoren die een rol spelen Worden ook bepaald door vele externe factoren Meer bruikbaar voor dagelijks bestuur Zijn meer bruikbaar voor periodieke plannings- en beleidsdoelstellingen De betrouwbaarheid van de indicatoren ligt hoger De betrouwbaarheid van de indicatoren is lager, ze zijn meer vatbaar voor meetfouten Geven vaak minder informatie over het feit of de organisatie haar missie vervult Geven wel informatie over het feit of de organisatie haar missie vervult De indicatoren zijn makkelijker te controleren op hun juistheid De indicatoren zijn moeilijker te controleren op hun juistheid

Types indicatoren Beleidsniveau Organisatieniveau Contextanaly-ses: toekomst, internationaal SWOT Omgevings- Indicatoren: zelf weinig impact Maatschappelijke problemen en noden Omgevingsfactoren Beleidsniveau Beleids- prioriteiten, streefdoelen Output indicatoren: volume, kwaliteit van diensten en producten Beleid Input Indicatoren: volume ingezette middelen Effect indicatoren: wie of wat bereikt met resultaten Proces indicatoren: mijlpalen, stappen input Structuren, institutionele en management Organisatieniveau Activiteiten en processen Outputs Outcomes op korte en ml termijn Outcomes op langere termijn Doelstellingen input Effectiviteit: outcome/ output efficiëntie: output/ input Context BELEIDSCONTEXT

Voorbeelden types indicatoren hoger onderwijs Input: aantal leerkrachten, x euro voor investeringen in schoolinfrastructuur, … Activiteiten en processen: lesuren, uitvoeren van leerplannen, … Output: aantal uitgereikte diploma’s, … Effecten: geletterdheid; doorstroming naar arbeidsmarkt in relatie tot behaald diploma, … Efficiëntie: aantal uitgereikte diploma’s/ ingezette middelen (euro), … Effectiviteit: aandeel gekwalificeerde uitstroom kansarme groepen Voor opvolging van strategische doelstellingen gaan we vooral voor output- en effectindicatoren plus effectiviteit en efficiëntie

B. Stappenplan voor monitoring (cf. De Peuter, De Smedt, Van Dooren & Bouckaert, 2007) Uitgeklaarde motieven en duidelijke doelstellingen Scope bepalen Selectie en opstellen van indicatoren Ontwikkelen van normen Meten Rapportering

Uitgeklaarde motieven en duidelijke doelstellingen Voor wie zetten we de meting en rapportering op? Aan wie rapporteren we? Wat zijn de verwachtingen van de opdrachtgever? Tot hoe ver reikt de eigen verantwoordelijkheid over de eigenlijke prestaties? Wat willen we bereiken? Bepalend voor het verdere traject!

2. Scope bepalen In functie van de werking van de organisatie welk deel van het organogram: alle diensten ? welke input: budget, personeel, infrastructuur ? welke processen en/of beleidsprocessen ? welke output: producten of dienstverlening ? Hier: focus op de outputs Outputs waarvoor u als overheid verantwoordelijk is Rekening houdend met de opdrachtgever: wat (welk product), tegen wanneer en onder welke voorwaarden (timing en norm)

3. Op weg naar goede indicatoren: technisch-methodologisch Meetbaarheid: eenheid, categorieën, Relevantie Tijdsgebondenheid : aanpassen aan veranderen- de (omgevings-)realiteit Begrijpbaarheid Databeschikbaarheid Ontwikkel goede referentiepunten Metafiche opstellen Laat deskundigen de meetgegevens interpreteren Gedragen door de organisatie Gevalideerd door de opdrachtgever

4. Soorten normen Een norm kan betrekking hebben op de kwantiteit of de kwaliteit (bv. de te volgen procedures, omgang met de doelgroep, toegangsmodaliteiten). Politieke of ideologische normen Vroegere metingen (historische vergelijking, in de tijd) Vgl met andere organisaties in dezelfde sector Vgl met andere organisaties buiten de eigen sector Vgl met buitenlandse organisaties ( andere regio’s) Vgl met wetenschappelijke standaarden Resultaat van onderhandeling, afspraken

5. Ontwikkeling van een meetsysteem: over keuzes maken en beminnen Het opzetten van een meetsysteem vereist een duidelijke afbakening: doelstellingen van het meetsysteem (waarom meten?) afbakening van het meetobject (wat gaan we meten?) indicatorenontwikkeling (welke? wie? hoe?) dataverzameling (wie? hoe? kosten/baten?) analyse van de data? (van data naar informatie) rapportage (aangepast aan doelgroep?) Integratie in een management informatiesysteem: TRAJECT Voor verschillende doeleinden Focus op kernprocessen

6. Rapportering Omvat een weergave van het doorlopen traject met een verduidelijking van de verschillende stappen Op maat van het doelpubliek/opdrachtgever Zelf gebruik maken van informatie door het management Ten aanzien van wie communiceren en voor wie toegankelijk? Onder welke vorm?

C. Het meten van prestaties Gradaties in het managen van prestaties aldus Bouckaert & Halligan (2008): Performance administration: het vastleggen van prestaties Management of performances: ad hoc sturing Performance management: systematisch verzamelen van data in functie van sturing Performance governance: prestatiemeetsysteem als onderdeel en onderwerp van een gezamenlijk besluitvormingssysteem

Prestaties meten Prestaties meten is niet evident maar wel noodzakelijk Motieven: Beleidsleren Verantwoording tegenover politiek, stakeholders Prestatiemanagement voor organisatie Aan wie rapporteren we? Enkel intern voor management of ook extern voor politiek, stakeholders? Motief en doelgroep is bepalend voor graad van detail, complexiteit,.. Ingeval van strategische doelstellingen: Goed beeld geven van kernopdrachten van het domein Opvolging via managementorganen en verantwoording aan het politieke niveau

Prestaties meten Volgens het Sociaal Cultureel Planbureau zijn volgende elementen noodzakelijk om de publieke prestaties van een overheid te meten: Gegevens over de productie van publieke diensten, met indicatoren die een goed beeld geven van de geleverde prestaties (volume); Gegevens over de productiviteit van publieke instellingen, gerelateerd aan de ingezette middelen (personeel, materieel, kapitaal) en de daarmee gemoeide uitgaven (efficiëntie); Gegevens over de kwaliteit en effectiviteit van publieke diensten, deels met objectieve en deels met subjectieve metingen. In het laatste geval gaat het om opinieonderzoek. Gegevens over het bereik van de publieke diensten, waarbij de geleverde prestaties worden gerelateerd aan de doelgroepen van het overheidsbeleid.

Prestaties meten Dimensies van prestaties: Volume: aantallen, aandelen, groeiratio’s, … Hoeveel diensten of producten zijn geleverd? Is er groei gerealiseerd? Welk percentage is gerealiseerd? Efficiëntie Gebeurt er meer of evenveel met minder middelen? Bereik: doelgroepen In welke mate bereiken onze producten en diensten de beoogde doelgroepen? Kwaliteit en effectiviteit Hoe ervaren de doelgroepen het aanbod? Bruikbaarheid en relevantie

D. Ervaring met het meten van prestaties Opzet bevraging: het in kaart brengen van de praktijk inzake beleidsevaluatie binnen de Vlaamse overheid Bevraging bij de leidinggevenden Basis van de vragenlijst: cf. eerdere bevraging in 2009 en overleg binnen de schoot van het Vlaams Evaluatieplatform Universum: top- en middenkader van de Vlaamse overheid (i.c. de leidinggevenden op niveau N en N-1) Aantal unieke eenheden: 368 Veldwerk: 20 oktober – 20 november 2015 Respons: 50,5% of N = 186 Representatief naargelang van inschalingsniveau en type entiteit (omvang, rechtsvorm, horizontaal versus verticaal)

Houding ten aanzien van beleidsevaluatie? 90% van oordeel dat het helpt om de dialoog op gang te brengen met andere actoren in het werkveld 70% van oordeel dat men alle betrokkenen van meet af aan moet betrekken Link met het politieke: Meerderheid van oordeel dat de politiek belang hecht aan beleidsevaluaties 40% van oordeel dat men rekening moet houden met politieke waarden en normen 80% van oordeel dat men zicht heeft op de maatschappelijke effecten van het beleid in hun beleidsdomein

Meetbaarheid van de outputs en effecten? Eerst gevraagd om te reflecteren over de voornaamste producten/diensten/taken van hun entiteit Hoe schat men de meetbaarheid van deze output en effecten in?

Capaciteit Beleidsevaluaties worden vaak ad hoc aangepakt (40%), een derde niet ad hoc 30% geeft aan over voldoende capaciteit te beschikken om aan de vraag aan evaluaties binnen de entiteit tegemoet te komen, een derde ervaart onvoldoende capaciteit Ingrediënten van capaciteit: Brains: 60% van oordeel dat men voldoende kennis in huis heeft om externe evaluaties aan te sturen of intern uit te voeren 30% van oordeel dat er voldoende externe evaluatoren zijn Middelen: 30% beschikt over voldoende middelen, iets meer een kwart onvoldoende middelen 60% van de gevallen geen afzonderlijk evaluatiebudget, amper 7% wel

Capaciteit Nog meer ingrediënten van capaciteit: Data: 60% van oordeel te kunnen beschikken over een operationeel monitoringssysteem 20% ervaart moeilijkheden om gegevens te krijgen van andere actoren 30% van oordeel dat er voldoende samenwerking is Ongeveer een kwart beschikt over de dienst met evaluatie als hoofdtaak

Kenmerken van de beleidsevaluaties Welke aspecten zijn het voorwerp van een evaluatie (% meestal of altijd): Producten, diensten, taken: 63% Processen en projecten: resp. 48% en 47% Programma’s en regelgeving: resp. 42% en 43% Organisatie zelf: 1/3 meestal/altijd Nuances naargelang van type organisatie: bv. regelgeving vaker bij departementen en IVA’s, output frequenter bij de EVA’s Criteria bij de evaluatie (% meestal of altijd): 90%: doelbereiking versus 62% effectiviteit 80% beleidsrelevantie 50%: efficiëntie 40% beleidscoherentie en draagvlak

Kenmerken van de beleidsevaluaties Doorwerking in termen van gebruik bij onderbouwing van beslissingen en aandacht voor beleidsaanbevelingen

E. Doorwerking van monitoring: drie benaderingen (cf. Dennis de Kool) Rationele benadering Politieke benadering Culturele benadering Focus Doelen Belangen Gewoonten Beleid Rationeel plan Uitkomst van politieke strijd Gegroeide praktijk Rol monitor Bron van feiten macht zingeving

Benaderingen sluiten elkaar niet uit…

Kritische succesfactoren Rationele benadering Politieke Culturele Betrouwbaarheid Toegang Betekenis Relevantie Vertrouwen Herkenbaarheid Doelgerichtheid Belangen Referentiekaders Bruikbaarheid Concurrentie Interactie

Conclusies Cijfers op zich zijn nog geen goede indicatoren Bruikbare indicatoren vereisen een duidelijke conceptuele basis Exhaustief (trachten te) zijn is een rem op de bruikbaarheid Symbolische waarde van een indicator, kan het wezenlijk belang ervan overschaduwen Indicator ≠ maatschappelijke realiteit Het meten op zich indiceert nog niet de geschikte actie (indicatoren die iets zeggen over oorzaken i.p.v. symptomen) Het meten op zich oefent een invloed uit: men meet wat men belangrijk acht Dimensies van doorwerking: combinatie van rationele, politieke en culturele aspecten

Discussie Jullie ervaring met het opvolgen van effecten van beleid? Waar zitten volgens jullie de knopen inzake het opvolgen van strategische doelstellingen door middel van indicatoren? Wat moet gebeuren om dit te doorbreken? Hoe kunnen we doorwerking faciliteren?