FLANKEREND ONDERWIJSBELEID DINSDAG 21 OKTOBER 2008

VOLGENS VAN DALE Indicator: - Verschijnsel dat op iets wijst, factor die iets aangeeft (vb het personeelsverloop is de indicator dat het bedrijf slecht wordt bestuurd - (getals)waarde die aanwijzingen geeft voor een redelijk betrouwbare schatting van (onbekende) waarde of gegevens van een groter geheel Maat: - eenheid waarmee grootheden van een andere soort gemeten worden, - afmeting of grootte Maatstaf - normering, datgene waarnaar men iets beoordeelt of bepaalt Variabele: - grootheid die in waarde kan veranderen - iedere eigenschap of ieder kenmerk van een persoon, omgeving of experimentele situatie die kan variëren van persoon, situatie of omgeving Parameter: - naast de eigenlijke variabelen optredende, onbepaald gelaten of constant gehouden grootheid waarvan een wiskundige of natuurkundige functie afhangt - grootheid waarmee het verloop van technische processen wordt getoetst of het vermogen van een machine kan worden bepaald, - veranderlijke grootheid zoals tijd, materiaalkosten, …

VOLGENS VAN DALE (vervolg) Grootheid : iedere zaak in zoverre die voor vermeerdering of vermindering vatbaar is (positieve en negatieve grootheid, grootte) Cijfer: uitgedrukt getal, vast teken om een aantal voor te stellen IN TEKSTEN ALLERHANDE meetgegeven, meetnorm, richtwaarde, meetsysteem, meetonderwerp, indicatorenstelsel, nulmeting, meetinstrument, meetschalen, meeteenheid, kwalitatieve en kwantitatieve indicator, enkelvoudige en samengestelde variabele (indicator), absolute en relatieve grootheden, Hoe begrijpen ? - een indicator is een kwantitatieve expressie van de activiteiten en/of resultaten van de organisatie en de effecten ervan - een indicator is een meeteenheid die onrechtstreeks een benadering geeft van een bepaalde grootheid (bv effectiviteit, zuinigheid, efficiëntie)

METEN, TOETSEN, EVALUEREN VAN BELEIDS -EFFECTEN ( bijv.via BEHOEFTE _ PROBLEEM EXTERNE DOELSTELLINGEN FORMULEREN/KIEZEN/UITWERKEN INTERNE DOELSTELLINGEN BEPALEN/KIEZEN/ DOCUMENTEREN METEN, TOETSEN, EVALUEREN VAN BELEIDS -EFFECTEN ( bijv.via INDICATOREN) OPVOLGEN via INDICATOREN ACTIES/INSTRUMENTEN BEPALEN/KIEZEN DOKUMENTEREN ACTIES UITVOEREN

Basisschema productie goederen/dienstverlening BEHOEFTE _ PROBLEEM impact KT LT M A P E INPUT - THROUHGPUT - OUTPUT - OUTCOME personeel processen gedragswijziging geld activiteiten produkten wijziging in omgeving organisatie instrumenten diensten kennis I N T E R N KLANT RELEVANTE EXTERNE OMGEVING

Wat leert dit schema in vergelijking met het voorgaande Strategische doelstellingen beleidscyclus Operationele doelstellingen beheerscyclus input proces output impact effect organisatiegrens omgeving

Indicatoren moeten gekoppeld zijn aan de beheer (opvolging) en beleid (strategie) BEHOEFTE _ PROBLEEM Omgevingsfactoren Strategie Doelstellingen Duurzame Effectiviteit (LT) Projecten Input Throughput Output Outcome Programma-effect (KT-Direct) zuinigheid efficiency doelbereiking

OEFENING MAPE ‘DIENST HUISVESTING’ Middelen Activiteiten Prestaties Effecten - personeel - intake - gesprek - klanten vinden weg naar aanbod - geld - fin hulp - - er is voldoend aanvullend aanbod - organisatie - bemiddeling - sociale woningen - infrastructuur - begeleiding - - - creatie aanbod - groter aanbod - - renovatie won - gerenoveerde won - - - samenw verhuurkantoren - samenwerking - - - sociaal beheersrecht - - - - participeren CPSH - participatie - betere toegankelijkheid - - participatie RvB HMy - participatie van bestaande sociale - - samenwerking HMy - samenwerking woongelegenheden - - analyse behoeften - document - kwetsbare en zorgbehoevende klanten - - signaalfunctie dienst W&W beschikken over kwa/beta/aang/toeg - - - woning - - enz - enz - sociale leefbaarheid in buurten is verhoogd (“buurten voor iedereen”)

Organisatie: Lagere school Voorbeeld Organisatie: Lagere school Input - leraars, directie, ander personeel, - schoolgebouwen + logistiek + financiën + traditie + ouders - cultuur+structuur van de school - organisatie+aantal uren les Throughput - methodes en technieken van lesgeven, - extra activiteiten, klassfeer, schoolsfeer, Output -leesvaardigheid van de 12-jarigen, kennispeil, houdingen, groepsverbondenheid van de lln, …. Outcome - de mate waarin de lln de kennis, attitudes, verder ontwikkelen, vorm geven, etc.

RELATIE INDICATOR-CSF-DOELSTELLING -MISSIE/OPDRACHT Het plaatselijk jeugdwerk ondersteunen Doel / effect Stemmen winnen volgende verkiezingen Het ledenaantal vergroten De financiële leefbaarheid ondersteunen Belang rijk Steun op het gepaste moment aan de grootste groepen Goede afspraken, bijv waarvoor en hoelang een extra-ondersteuning, en waarvoor ze kan aangewend worden Kennis van motieven van niet-deelname aan het jeugdwerk Stand in de verhouding eigen middelen/subsidies op einde van periode Indicator effect Verkiezingsuitslag Groeicijfers Resultaten studie Wekelijkse aanwezigheid op … Tussentijdse stand via rapporten Indicator proces

Pawson: stelt vanuit de beleidstheorie de vraag onder welke omstandigheid voor wie het beleid zou kunnen werken. Beleidstheorie: relatie tussen de inzet van middelen en beoogde doelstellingen

Smart Growth City Council Focus Areas Corporate Scorecard Community Safety City Within a City Restructuring Government Economic Development Transportation Corporate Scorecard Customer Perspective Reduce Crime Increase Perception of Safety Strengthen Neighborhoods Enhance Service Delivery Maintain Competitive Tax Rate Provide Safe, Convenient Transportation Promote Economic Opportunity Financial Perspective Secure Funding/Service Partners Maximize Benefit/Cost Grow the Tax Base Maintain AAA Rating Internal Process Perspective Streamline Customer Interactions Promote Community-Based Problem Solving Improve Productivity Increase Positive Contacts Increase Infrastructure Capacity At their annual retreat, City Council re-affirmed the Smart Growth concept as an important over arching policy position. The health of a community depends upon understanding key challenges, working together and enabling choices. Planning initiatives and decisions over the next few years will define Charlotte’s future, competitive position and livability. Learning & Growth Perspective Enhance Information Management Achieve Positive Employee Climate Close Skills Gap

City of Charlotte Performance Management System Linkage City Council Focus Areas Corporate/Balanced Scorecard Business Plans Incentive Targets Individual Employee Performance Plans Charlotte has further ingrained the Strategic Process into everyday work assignments by cascading/flowing the components of the Strategic Plan through the organization. As you can see, the Council Focus areas or Strategic Plan determines most of the work assignments and is linked to the set of objectives outlined in the Balanced Scorecard. This work then flows through the annual business plans which shows how we will accomplish the specific goals of the Strategic Plan and Objectives of the Scorecard. This then includes measures for the incentive target program. And lastly each individual employees performance plan documents how they will contribute to the goals in the business plan.

Wat is een indicator ? een indicator is een meeteenheid die onrechtstreeks een benadering geeft van een bepaalde grootheid/fenomeen vaak ook gebruikt in de zin van een maatstaf : deze meet/telt een fenomeen precies en ondubbelzinnig dus: opvolgen via indicatoren, maatstaven (variabelen, parameters, ….)

Indicatoren als stuurgetallen en/of kengetallen sluiten aan bij de strategie (beleid) ondersteunen het beheer (control, opvolging) Kengetallen: beschrijven de normale karakteristieke kenmerken van welkdanig aspect ook van de organisatie (input, throughput, output, …)

Beleidsindicatoren Beheersindicatoren Indicatoren moeten gekoppeld zijn aan de beheer (opvolging) en beleid (strategie) BEHOEFTE _ PROBLEEM Strategie Achtergrondgegevens Kengetallen Doelstellingen Beleidsindicatoren Projecten Input Throughput Output Outcome Beheersindicatoren

RELATIE INDICATOR-CSF-DOELSTELLING -MISSIE/OPDRACHT TENNIS SPELEN winnen concentratie op een goede terugslagbal uitslag fysische conditie achter elke bal lopen hartslag relatie met baas baas laten winnen opslag einde jaar Missie Doel Belangrijk Indicator

Soorten indicatoren Beheersmatig: Beleidsmatig: Input of ingezette middelen (budget, personeel, ICT, …) Through put of proces (werking) Output of prestaties Beleidsmatig: Impact - outcome

Soorten indicatoren volgens gezichtspunt ((perspectief) Gebied Financieel, niet-financieel Transformatieproces Middelen, proces-, prestaties, effect, Efficiency, Effectiviteit, Economy, Equity Besturingsniveau Strategisch, taktisch, operationeel Objectiviteit/meetbaarheid Kwantitatief, kwalitatief Tijdshorizon Verleden (lagging), toekomst (leading) Managementcyclus Beleids-, beheers- Duidingsachtergrond Omgevingsindicatoren

Onderdelen van een indicator 1. ONDERWERP VAN DE METING: moet relevant zijn vb tevredenheid bewoner sociale woning 2. MAATSTAF OM ONDERWERP TE KUNNEN METEN. In functie van wat we willen meten. 3. NORM WAARMEE HET MEETRESULTAAT VERGELEKEN WORDT - score gemiddeld bij alle inwoners al dan niet van zelfde karakteristieken

Indicatoren definiëren Belang voor de kwaliteit van het monitoringsysteem voorbeeld ‘% langdurig jonge werklozen’ wat is jong, langdurig en werkloos (nww, uvw) ??? meerdere actoren met eigen definities Daarom: opmaken van indicatorfiche Voor elke indicator afspraken maken over gebruikte terminologie, dimensies en aggregatieniveaus, meetfrequentie, verantwoordelijke dienst / persoon...

Indicatoren selecteren: Praktijkvoorbeeld Doelstelling “ De kwaliteit van de OCMW-dienstverlening voor jongeren verbeteren” Prestatie: meer jongeren worden succesvol begeleid door het OCMW Indicator : % succesvolle begeleidingen (in maatzorg..) Prestatie : meer jongeren zijn tevreden over dienstverlening Indicator: % afhakers

Indicatoren selecteren: Praktijkvoorbeeld Strategische doelstelling De bestaansafhankelijkheid van jongeren tot een aanvaardbaar niveau reduceren tegen 2001 Effect 1 : aandeel langdurig jonge werklozen neemt af Indicator : % langdurig werkloze jongeren (-25) Effect 2: aandeel jongeren in OCMW-cliënteel neemt af Indicator: % jongeren in OCMW-cliënteel Indicator: % jonge BM-gerechtigden tov het aantal jongeren

INDICATORFICHE Indicator : aantal klachten per 100 inwoners Verzamelinstantie: gemeente, dienst wijkontwikkeling Verzamelmethode: telling Bron: politie,wijkmanagers, buurttoezichters Definitie: klacht: bericht waarbij de klant meedeelt dat hij een subjectief nadeel ondervindt van door een handeling of het uitstellen van een handeling door de gemeente Dimensie: [Dim.] Soort klacht [Agg.] verloedering, soc. overlast,verkeer [Dim.] Wijk [Agg.] wijk1,wijk2… Begin tijdreeks: 1997 Update: jaarlijks

Criteria voor goede indicatoren kwantiteit en kwaliteit niet manipuleerbaar valide en betrouwbaar relevant meetbaar acties mogelijk maken

AANTAL AANBEVELINGEN - niet teveel indicatoren: hou het ‘balanced’ naar gezichtspunt, soort, … - focus best op effecten voor klant, my, omgeving (evt ook output) en bekijk van daaruit de interne key performances indicators (PKI’s) - hou ook relevante omgevingsindicatoren bij: voor interpretatie en duiding - kijk naar de verschillende stakeholders-belangen - zoek naar integrerende doelstellingen en integrerende indicatoren

AANTAL AANBEVELINGEN - betrek velen bij ontwikkeling (participatief, ook personeel) - maak het systeem flexibel, soepel - kwantificeer doelstellingen - meet klanttevredenheid - laat deskundigen de meetgegevens interpreteren - beoordeel de meetgegevens zorgvuldig - ontwikkel goede referentiepunten

AANTAL VALKUILEN - methodologisch pluralisme: wie meet, wat meen men, in welke omstandigheden ? - ziekte van de tijdsverkorting : voldoende lange perspectief houden - atrofieziekte: meting met indicatoren leidt tot daling van de kwaliteit van de prestaties (cfr simpele deelhandelingen worden geteld als volwaardige handelingen) - hypertrofie ziekte: door te meten groeit het aantal zo benoemde prestaties - verkeerde weergave en/of interpretatie - verstarring, bureaucratisering

Soorten normen Een norm kan betrekking hebben op de kwantiteit of de kwaliteit (vb de te volgen procedures, omgang met de doelgroep, toegangsmodaliteiten. Politieke of ideologische normen Vroegere metingen (historische vergelijking, in de tijd) Vgl met andere organisaties in dezelfde sector Vgl met andere organisaties buiten de eigen sector Vgl met buitenlandse organisaties ( andere regio’s) Vgl met wetenschappelijke standaarden Resultaat van onderhandeling, afspraken

Kwaliteitsvereisten voor normen Beleidsmatig relevant en flexibel Systematisch Consensus over hoogte en inhoud Beheersbaar Rekening houden met beschikbare middelen 1-1 relatie met een indicator Efficiënt

Beleidsindicatoren Beheersindicatoren Indicatoren moeten gekoppeld zijn aan de beheer (opvolging) en beleid (strategie) BEHOEFTE _ PROBLEEM Strategie Achtergrondgegevens Kengetallen Doelstellingen Beleidsindicatoren Projecten Input Throughput Output Outcome Beheersindicatoren

Het proces van meting tellen, registreren, schatten, enquêteren, meetinstrumenten: - betrouwbaarheid - validiteit (geldigheid) statistische validiteit: interne validiteit: construct validiteit externe validiteit

Meetproblemen Meten is niet nodig-syndroom (Pangloss-stelling) (Candide-Voltaire) Meten is onmogelijk Performance en publieke sector gaan niet samen Convex/concaaf : onterecht hogere of lagere waarden meten Output of effect stijgen abnormaal door het meten Output of effect dalen abnormaal door het meten Meer registraties door het meten Geen duidelijk onderscheid tss output en effect Inflatie van indicatoren Korte termijnfocus Het waanbeeld Door het meten wordt de beleidsfocus (ten onrechte) verlegd

Mogelijke kwaliteitsvragen voor een meetsysteem Stap in het meetproces Functionaliteit Betrouwbaarheid en validiteit Legitimiteit informatieplan Geeft men aan op welke vraag naar informatie de meting inspeelt? Wordt er een afweging gemaakt tussen kosten en baten van een bepaald niveau van validiteit en betrouwbaarheid? Worden de ‘metende‘ actoren betrokken bij de planning? afbakening meetobject wordt het meetobject afgebakend op basis van de vraag naar informatie?   indicatoren ontwikkeling Meten de indicatoren wel wat ze moeten meten? Worden medewerkers betrokken bij de ontwikkeling van indicatoren over het eigen werk? dataverzameling Wat is de omvang van de (eventuele) steekproef? analyse van de data Maken de analyses de data meer inzichtelijk en bruikbaar om aan de vraag naar informatie te voldoen? Wordt de betrouwbaarheid en de validiteit gecontroleerd (b.v. door statistisch onderzoek)? Wordt de toegevoegde waarde van de analyses duidelijk gemaakt en gecommuniceerd? rapportage Is de rapportage aangepast aan de specifieke gebruikswijze (vraag) van de informatie? Wordt er teruggekoppeld naar de betrokkenen in het meetsysteem?

het meetsysteem als proces doelstellingen van het meetsysteem (waarom meten?) (zie artikel R.D. Behn Why Measure Performance afbakening van het meetobject (wat gaan we meten?) indicatorenontwikkeling (welke? wie? hoe?) dataverzameling (wie? hoe? kosten/baten?) analyse van de data? (van data naar informatie) rapportage (aangepast aan doelgroep?)  resultaat; informatie geschikt voor gebruik