Evaluatie van de uitvoering van een bestuursovereenkomst : Bestuursovereenkomsten : contractualisering binnen de sociale zekerheid in België Evaluatie van de uitvoering van een bestuursovereenkomst : Verzelfstandiging en contractmanagement 21 november 2007 Evaluatie van een bestuursovereenkomst Pagina 1

Evaluatie van een bestuursovereenkomst Inhoud Hoofdstukken 1. Inleiding 2. Het evaluatieonderwerp 3. De evaluatieregels en -criteria 4. Het evaluatieproces 5. De evaluatieresultaten 6. Conclusie : vijf aandachtspunten voor een correcte evaluatie Voor meer info : Tom Auwers : tom.auwers@minsoc.fed.be Amaury Legrain : amaury.legrain@minsoc.fed.be Evaluatie van een bestuursovereenkomst Pagina 2

Directie-generaal Beleidsondersteuning Inleiding Directie-generaal Beleidsondersteuning  Basisgegevens over de bestuursovereenkomsten  Situering van de evaluatie van de FOD Sociale Zekerheid  Plan van de presentatie Evaluatie van een bestuursovereenkomst Pagina 3

De bestuursovereenkomsten Bestuursoverenekomsten voor 15 openbare instellingen van sociale zekerheid (OISZ) :  Tussen Federale Staat en ieder OISZ  12.000 werknemers betrokken  Budget 870 miljoenen €/jaar  Periode tussen 3 en 5 jaren Klassieke “performance agreement”  Lange termijn visie  Operationele output  Nieuwe verantwoordingsmechanismen  Beheersautonomie (begroting, HRM, facility) Specificiteiten  Two-way agreement  Geen inmenging centrale departementen  Beleidsdoelstellingen al bepaald Evaluatie van een bestuursovereenkomst Pagina 4

Situering evaluatie van de FOD Onderhandeling nieuwe bestuursovereenkomst(en) 2-jaarlijkse evaluatie FOD Sociale Zekerheid Contract Cyclus Evaluatie van een bestuursovereenkomst Pagina 5

Evaluatie van een bestuursovereenkomst Evaluatie = het boordelen van de voorstelling of waarneming van een bepaald verschijnsel aan de hand van bepaalde criteria Wat gaat men evalueren ? Welke evaluatieregels gaat men toepassen ? Hoe organiseert men de evaluatie ? Evaluatie van een bestuursovereenkomst Pagina 6

Het evaluatieonderwerp Directie-generaal Beleidsondersteuning 1 Het evaluatieonderwerp Directie-generaal Beleidsondersteuning  Inhoud en verbintenissen in een bestuursovereenkomst  Toepassing op de OISZ  Evaluatieonderwerp Evaluatie van een bestuursovereenkomst Pagina 7

Inhoud van een bestuursovereenkomst Politieke prioriteiten 1. Welke prioriteiten moet ik respecteren ? 4. Wat zijn mijn verantwoorde-lijkheden ? 3. Welke middelen heb ik ter beschikking ? 2. Welke prestatie moet ik leveren ? Evaluatie van een bestuursovereenkomst Pagina 8

Mogelijke verantwoordelijkheden van een OISZ Politieke prioriteiten Kwaliteit van de beleidsondersteuning Productiviteit van de opdrachten Effectiviteit van de prestaties Efficiëntie van de prestaties Kwaliteit/ spaarzaamheid Doelbereiking van de prestaties Evaluatie van een bestuursovereenkomst Pagina 9

Welke prestaties ? Behoeften / politieke prioriteiten Strategische doelstellingen Operationele doelstellingen Input/middelen Activiteiten Prestaties Effecten Werkingsprincipes Omgevingsfactoren SD : algemene doelstellingen die richting geven aan de activiteiten van een organisatie op middellange tot lange termijn OD : concrete en meetbare resultaten die ter verwezenlijking van de SD moeten worden bereikt op korte termijn Acties : dagelijkse activiteiten die moeten worden gevoerd om de OD-resultaten te bereiken Evaluatie van een bestuursovereenkomst Pagina 10

Toegepast op de OISZ… Beslissing Verzameling info Berekening uitkering Registratie info Orde aan de bank Effectieve betaling Output : % betaling op tijd Registratie klacht Comm goed ontvangst Analyse klacht Behan-deling klacht Comm beslissing Output : % rechtsgezette betalingen Output : % betalingen die tot een gegronde klachten hebben geleid Selectie controle- steekproef Verzameling info Analyse Opmaak rapport Comm resultaten SD : ervoor zorgen dat betalingen tijdig en correct worden gevoerd Output : % gecontroleerde betalingen/jaar Output : # controle-oefening/jaar Evaluatie van een bestuursovereenkomst Pagina 11

… ook beleidsondersteuning, prestaties en projecten Aanvraag advies Opmaak dossier Bespreking beheers-comité Analyse Goedkeuring rapport door BC Com rapport Kwaliteit rapport 100 % termijn tss aanvraag en bespreking Plan voor pers- campagne Overleg met stakeholders Aanpassing plan Contact met pers Afspraak met pers Lancering campagne Datum lancering Principe : stakeholders geconsulteerd Datum evaluatie Fase 1 behoefte-analyse Overmaak in acties Fase 2 Goedkeuring actieplan Opmaak dienstplan Fase 3 lancering realisatie Evaluatie Eerste resultaten Vereisten 1ste resultaten Datum Datum Datum Evaluatie van een bestuursovereenkomst Pagina 12

Onderwerpen voor de contractevaluatie : de output Strategische doelstellingen Omgevings-behoeften Politieke wensen Operationele doelstellingen Mapping processen Dagelijkse acties Output / prestaties Algemene resultaten / outcomes Planning Uitvoering Toegewezen opdrachten Opdrachten Strategische cascade opzoeken Evaluatie-onderwerp 3 evaluaties mogelijk Evaluatie Output-niveau kiezen Evaluatie van een bestuursovereenkomst Pagina 13

De evaluatieregels- en criteria Directie-generaal Beleidsondersteuning 2 De evaluatieregels- en criteria Directie-generaal Beleidsondersteuning  Evaluatieregels  Oefening evaluatie doelbereiking  Oefening informatieprobleem Evaluatie van een bestuursovereenkomst Pagina 14

Criteria voor de contractevaluatie – stap 1  Stap 1 : Norm(en) per doelstellingen detecteren Oefening Art.17. Mbt telefonisch ontvangst verbindt de instelling er zich toe vanaf het eerste jaar van de bestuursovereenkomst een methodologie op te stellen om de wachttijd en de tevredenheidsgraad van de klant te meten bij telefonische contacten. Het jaar daarop zal deze methodologie effectief worden ingevoerd. Na een jaar gebruik zal deze methodologie aangepast worden aan de eerste conclusies van een evaluatieverslag Wat is de norm ? Evaluatie van een bestuursovereenkomst Pagina 15

Criteria voor de contractevaluatie – stap 2  Stap 2 : Definieer realisatieregels Vragen Stellen wij de realisatie enkel per norm vast ? Doen wij een gecumuleerde vaststelling voor de doelstellingen met verschillende indicatoren ? Geven wij een realistatie-uitspraak voor alle betrokken jaren ? Zijn onze regels niet te streng of zijn die te zwak ? Hebben wij alle mogelijke resultaten gedekt ? Evaluatie van een bestuursovereenkomst Pagina 16

Voorbeeld van realisatieregels : evaluatie FOD Sociale Zekerheid  Regel 1 : ieder jaar, Ieder norm vergelijken met verwachte resultaat Gerealiseerd vs niet gerealiseerd >>> een realisatiescore  Regel 2 : Opsomming evaluatiescores Enkel positieve scores : de doelstelling is gerealiseerd Meerderheid / helft van positive scores : de doelstelling is voorwaardelijk gerealiseerd Minder dan de helft van positive scores : de doelstelling is niet gerealiseerd Afzwakking regels  De doelstelling gerealiseerd maar niet in de voorziene termijn (zelfs met meerdere jaren vertraging)  Weinig positieve scores maar positieve evolutie  = de doelstelling is voorwaardelijk gerealiseerd Andere mogelijke scores  Doelstelling met scope verder dan evaluatiejaar  Partiële informatie Evaluatie van een bestuursovereenkomst Pagina 17

Oefening : realisatiescores bepalen De instelling verbindt er zich toe een beslissing te nemen voor de dossiers X binnen de 15 dagen en in de volgende maten : 75 % van de dossiers in 2002, 80 % in 2003 en 90 % in 2004 Resultaat : 2002 : 35%; 2003 : 69% Wat is de evaluatiescore in 2002 en in 2003 ? De instelling verbindt er zich toe een beslissing te nemen voor de dossiers X binnen de 15 dagen en in de volgende maten : Dossiers X1 : 75 % van de dossiers in 2002, 80 % in 2003 en 90 % in 2004 Dossiers X2 : 75 % van de dossiers in 2002, 80 % in 2003 en 90 % in 2004 Resultaat : Dossiers X1 : 2002 : 71%; 2003 : 82% Dossiers X2 : 2002 : 73%; 2003 : 81% Wat is de evaluatiescore in 2003 ? De instelling verbindt er zich toe een evaluatie te voeren van het effectief gebruik van zijn product X en een verslag hieromtrent aan de Voogdijminister voor december 2002 voor te leggen Resultaat : verslag voorgelegd op 03/04/03 Wat is de evaluatiescore in 2003 ? Evaluatie van een bestuursovereenkomst Pagina 18

Oefening : realisatiescores bepalen De instelling verbindt er zich toe een evaluatie te voeren van het effectief gebruik van zijn product X een verslag hieromtrent aan de Voogdijminister voor december 2002 voor te leggen Resultaat : verslag voorgelegd op 03/04/04 Wat is de evaluatiescore in 2004 ? De instelling verbindt er zich toe een evaluatie te voeren van het effectief gebruik van zijn product X en zijn product Y en twee aparte verslagen hieromtrent aan de Voogdijminister voor december 2002 voor te leggen Resultaat : Product X : verslag voorgelegd op 03/04/03 Product Y : verslag voorgelegd op 03/04/04 Wat is de evaluatiescore in 2002, in 2003 en in 2004 ? De scores dekken niet alle gevallen ! Evaluatie van een bestuursovereenkomst Pagina 19

Oefening : voorbeeld van problematische doelstellingen en informatie De instelling verbindt er zich toe een beslissing te nemen voor de dossiers X binnen de 15 dagen Resultaat : 2002 : 35%; 2003 : 78% Wat is de evaluatiescore ? De instelling verbindt er zich toe de responstijd voor vragen van de burger te beperken tot 3 werkdagen en in de volgende maten : 85% in 2002, 90% in 2003 en 95% in 2004 Resultaat : 2002-2003 : de instelling heeft zijn workflow grondig geanalyseerd en een nieuwe werkstructuur is vanaf 2003 in werking getreden. De instelling verwacht de responstijd te verminderen vanaf volgend jaar Wat is de evaluatiescore ? De instelling verbindt er zich toe de achterstand van 2001 te reduceren voor de dossiers X : 50 % in 2002 & 50% in 2003 Resultaat : 2500 dossiers van 2001 werden behandeld Wat is de evaluatiescore ? Evaluatie van een bestuursovereenkomst Pagina 20

Directie-generaal Beleidsondersteuning 3 Het evaluatieproces Directie-generaal Beleidsondersteuning  Opmaak van de fasen  Verwachte resultaten  Validering Evaluatie van een bestuursovereenkomst Pagina 21

Voorbereidingsfase Uitvoeringsfase Valorisatiefase Evaluatieproces Bepaling operationele principes evaluatie Overleg Collège Bepaling evaluatie-methode Presentatie College Aanpassing methode Uitvoeringsfase Fase 1 : herstructurering Fase 2 : invoering resultaten Fase 3 : evaluatiescores Fase 4 : opmerkingen OISZ Fase 5 : verslaggeving Valorisatiefase Voorstel aan Collège Voorstel aan beleidscellen Voorlegging aan Ministeraad Evaluatie van een bestuursovereenkomst Pagina 22

Verwachte eindresultaat Kwaliteitscriteria Evaluatieonderwerp Beoordeling Evaluatie van een bestuursovereenkomst Pagina 23

Wat : nauwkeurigheid, geldigheid of betrouwbaarheid ? Valideringsprocess Wie : inter of extern ? Wat : nauwkeurigheid, geldigheid of betrouwbaarheid ? Wanneer t.o.v. evaluatieproces ? Validatieronde 2 : door de OISZ / RC nauwkeurigheid & geldigheid Validatieronde 3 : door een andere evaluator betrouwbaarheid Validatieronde 1 : door de OISZ / RC nauwkeurigheid & geldigheid Fase 1 : herstructurering Fase 2 : invoering resultaten Fase 3 : evaluatiescores Fase 4 : opmerkingen OISZ Fase 5 : verslaggeving Evaluatie van een bestuursovereenkomst Pagina 24

De evaluatieresultaten Directie-generaal Beleidsondersteuning 4 De evaluatieresultaten Directie-generaal Beleidsondersteuning  Doelbereiking  Operationaliseringsgraad  Informatieprobleem  Leerproces  Homogeneïteit Evaluatie van een bestuursovereenkomst Pagina 25

Resultaten : evaluatiescores Realisatiescores 1202 operationele doelstellingen vastgesteld 986 in rekening gebracht voor de evaluatie Evaluatie van een bestuursovereenkomst Pagina 26

Resultaten : operationaliseringsgraad Uitspraak over aanwezigheid van OD Geen uitspraak over « voldoende » aanwezigheid van OD 20 40 60 80 100 120 Wel OD 91,01123596 96,89265537 Geen OD 8,988764045 6,214689266 Opdrachten Strategische doelstellingen Evaluatie van een bestuursovereenkomst Pagina 27

Resultaten : technische kwaliteit van de informatie Technische kwaliteit : 29,5 % problematische doelstellingen Geen evaluatie voor 18 % van de doelstellingen + 11,5 % problematische doelstellingen waarvoor een evaluatie toch mogelijk was 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Percentage betrokken operationele doelstellingen Onduidelijke normering 8,7% Geen resulaatgegevens 12,2 % Geen informatieprobleem 70,4% Onduidelijke normen & geen resultatengegevens 3,3 % Geen afstemming tussen de norm en de resultaten 5,3 % Operationele doelstellingen met informatieproblemen 29,6% Evaluatie van een bestuursovereenkomst Pagina 28

Leerproces : omvang en aard Evaluatie van een bestuursovereenkomst Pagina 29

Homogeneïteit van het systeem Aantal OD Realisatie Kwaliteit informatie Operationnalisering Evaluatie van een bestuursovereenkomst Pagina 30

5 Directie-generaal Beleidsondersteuning Conclusie Vijf aandachtspunten voor een correcte evaluatie Directie-generaal Beleidsondersteuning Evaluatie van een bestuursovereenkomst Pagina 31

Belangrijke aandachtspunten De methodologie moet worden gestabiliseerd, niet vast bepaald Wees flexiebel en doelgericht Zorg voor acceptatie en informeer de geëvalueerden Let op de kwaliteit Zorg voor valorisatie Evaluatie van een bestuursovereenkomst Pagina 32

FOD Sociale Zekerheid-DG Beleidsondersteuning Voor meer info Amaury Legrain Tom Auwers FOD Sociale Zekerheid-DG Beleidsondersteuning amaury.legrain@minsoc.fed.be tom.auwers@minsoc.fed.be 5E20 Victor Hortaplein 40, bus 20 1060 Brussel 02/528.63.12 Evaluatie van een bestuursovereenkomst Pagina 33