Evaluatie van een bestuursovereenkomst Pagina 1 21-03-2007 Bestuursovereenkomsten : contractualisering binnen de sociale zekerheid in België Evaluatie.

Presentatie over: "Evaluatie van een bestuursovereenkomst Pagina 1 21-03-2007 Bestuursovereenkomsten : contractualisering binnen de sociale zekerheid in België Evaluatie."— Transcript van de presentatie:

1 Evaluatie van een bestuursovereenkomst Pagina 1 21-03-2007 Bestuursovereenkomsten : contractualisering binnen de sociale zekerheid in België Evaluatie van de uitvoering van de bestuursovereenkomst : een voorbeeld van een contractevaluatie Verzelfstandiging en contractmanagement 21 maart 2007

2 Evaluatie van een bestuursovereenkomst Pagina 2 21-03-2007 1. Inleiding

3 Evaluatie van een bestuursovereenkomst Pagina 3 21-03-2007 De bestuursovereenkomsten Bestuursoverenekomsten voor 15 openbare instellingen van sociale zekerheid (OISZ) :  Tussen Federale Staat en ieder OISZ  12.000 werknemers betrokken  Budget 870 miljoenen €/jaar  Periode tussen 3 en 5 jaren Bestuursoverenekomsten voor 15 openbare instellingen van sociale zekerheid (OISZ) :  Tussen Federale Staat en ieder OISZ  12.000 werknemers betrokken  Budget 870 miljoenen €/jaar  Periode tussen 3 en 5 jaren Klassieke “performance agreement”  Lange termijn visie  Operationele output  Nieuwe accountability  Beheersautonomie (begroting, HRM, facility) Klassieke “performance agreement”  Lange termijn visie  Operationele output  Nieuwe accountability  Beheersautonomie (begroting, HRM, facility) Specificiteiten  Two-way agreement  Geen inmenging centrale departementen Specificiteiten  Two-way agreement  Geen inmenging centrale departementen

4 Evaluatie van een bestuursovereenkomst Pagina 4 21-03-2007 Kader voor de evaluatie Art.8§4 KB 3 april 1997 Over de eerste bestuursovereenkomst wordt door de Voogdijminister verslag uitgebracht aan de Ministerraad gedurende de zevenentwintigste maand na de inwerkingtreding ervan Ten gevolge van de bespreking van dat verslag kan de Ministerraad de voogdijminister opdragen om de onderhandelingen van een nieuwe bestuursovereenkomst onmiddellijk aan te vatten Art.8§4 KB 3 april 1997 Over de eerste bestuursovereenkomst wordt door de Voogdijminister verslag uitgebracht aan de Ministerraad gedurende de zevenentwintigste maand na de inwerkingtreding ervan Ten gevolge van de bespreking van dat verslag kan de Ministerraad de voogdijminister opdragen om de onderhandelingen van een nieuwe bestuursovereenkomst onmiddellijk aan te vatten  Uitvoerder namens de Voogdijminister  Evaluatieperiode : februari – juni 2004 / februari-juni 2005  Uitvoerder namens de Voogdijminister  Evaluatieperiode : februari – juni 2004 / februari-juni 2005 Doelstellingen  Voorbereiding onderhandelingen  Verbetering van het systeem Doelstellingen  Voorbereiding onderhandelingen  Verbetering van het systeem

5 Evaluatie van een bestuursovereenkomst Pagina 5 21-03-2007 Evaluatie Evaluatie = het boordelen van de voorstelling of waarneming van een bepaald verschijnsel aan de hand van bepaalde criteria Wat gaat men evalueren ? Welke evaluatieregels gaat men toepassen ? Hoe organiseert men de evaluatie ? Wat zijn de doelstellingen van de evaluatie ?

6 Evaluatie van een bestuursovereenkomst Pagina 6 21-03-2007 2. Wat zijn de doelstellingen van de evaluatie ?

7 Evaluatie van een bestuursovereenkomst Pagina 7 21-03-2007 Welke type van evaluatie ? Contractevaluatie Resultaten van het agentschap = doel Beleidsevaluatie Resultaten van het agenschap = middel Input voor contractcyclus  Onderhandeling volgende overeenkomst  Activering sancties Input voor contractcyclus  Onderhandeling volgende overeenkomst  Activering sancties Input voor beleid  Beleid van de Voogdijminister  Verzelfstandiging  Contractualisering Input voor beleid  Beleid van de Voogdijminister  Verzelfstandiging  Contractualisering

8 Evaluatie van een bestuursovereenkomst Pagina 8 21-03-2007 Soorten evaluaties Effectanalyse Contractualiserings- en verzelfstandigingsbeleid Externe audit Sectoriële performanties en efficïëntie Prestaties van het agentschap : efficiëntienormen Prestaties van het agentschap : verantwoordelijkheid Prestaties van het agentschap : kwantiteitsnormen Prestaties van het agentschap : kwaliteitsnormen ContractevaluatiesBeleidsevaluaties

9 Evaluatie van een bestuursovereenkomst Pagina 9 21-03-2007 3. Contractevaluatie : wat gaat men evalueren ?

10 Evaluatie van een bestuursovereenkomst Pagina 10 21-03-2007 Theorie : 3 niveau’s van doelstellingen en van realisatie Behoeften Strategische doelstellingen Operationele doelstellingen Input/middelen Activiteiten Prestaties Effecten Werkingsprincipes Omgevingsfactoren SD : algemene doelstellingen die richting geven aan de activiteiten van een organisatie op middellange tot lange termijn OD : concrete en meetbare resultaten die ter verwezenlijking van de SD moeten worden bereikt op korte termijn Acties : dagelijkse activiteiten die moeten worden gevoerd om de OD- resultaten te bereiken

11 Evaluatie van een bestuursovereenkomst Pagina 11 21-03-2007 De drie niveau’s in praktijk Beslissing Verzameling info Berekening uitkering Registratie info Orde aan de bank Effectieve betaling Output : % betaling op tijd Registratie klacht Analyse klacht Comm goed ontvangst Behan- deling klacht Comm beslissing Output : % rechtsgezette betalingen Output : % betalingen die tot een gegronde klachten hebben geleid Selectie controle- steekproef Analyse Verzamelin g info Opmaak rapport Comm resultaten Output : % gecontroleerde betalingen/jaar Output : # controle- oefening/jaar SD : ervoor zorgen dat betalingen tijdig en correct worden gevoerd

12 Evaluatie van een bestuursovereenkomst Pagina 12 21-03-2007 Onderwerpen voor de contractevaluatie : de output Strategische doelstellingen Omgevings- behoeften Politieke wensen Operationele doelstellingen Mapping processen Dagelijkse acties Output / prestaties Algemene resultaten / outcomes PlanningUitvoering Toegewezen opdrachten Opdrachten Evaluatie Evaluatie- onderwerp Strategische cascade opzoeken 3 evaluaties mogelijk Output-niveau kiezen

13 Evaluatie van een bestuursovereenkomst Pagina 13 21-03-2007 3. Contractevaluatie : op basis van welke criteria gaat men evalueren ?

14 Evaluatie van een bestuursovereenkomst Pagina 14 21-03-2007 Criteria voor de contractevaluatie – stap 1 Oefening Art.17. Mbt telefonisch ontvangst verbindt de instelling er zich toe vanaf het eerste jaar van de bestuursovereenkomst een methodologie op te stellen om de wachttijd en de tevredenheidsgraad van de klant te meten bij telefonische contacten. Het jaar daarop zal deze methodologie effectief worden ingevoerd. Na een jaar gebruik zal deze methodologie aangepast worden aan de eerste conclusies van een evaluatieverslag Wat is de norm ? Oefening Art.17. Mbt telefonisch ontvangst verbindt de instelling er zich toe vanaf het eerste jaar van de bestuursovereenkomst een methodologie op te stellen om de wachttijd en de tevredenheidsgraad van de klant te meten bij telefonische contacten. Het jaar daarop zal deze methodologie effectief worden ingevoerd. Na een jaar gebruik zal deze methodologie aangepast worden aan de eerste conclusies van een evaluatieverslag Wat is de norm ?  Stap 1 : Norm(en) per doelstellingen detecteren

15 Evaluatie van een bestuursovereenkomst Pagina 15 21-03-2007 Criteria voor de contractevaluatie – stap 2  Stap 2 : Definieer realisatieregels Vragen  Stellen wij de realisatie enkel per norm vast ?  Doen wij een gecumuleerde vaststelling voor de doelstellingen met verschillende indicatoren ?  Geven wij een realistatie-uitspraak voor alle betrokken jaren ?  Zijn onze regels niet te streng of zijn die te zwak ?  Hebben wij alle mogelijke resultaten gedekt ? Vragen  Stellen wij de realisatie enkel per norm vast ?  Doen wij een gecumuleerde vaststelling voor de doelstellingen met verschillende indicatoren ?  Geven wij een realistatie-uitspraak voor alle betrokken jaren ?  Zijn onze regels niet te streng of zijn die te zwak ?  Hebben wij alle mogelijke resultaten gedekt ?

16 Evaluatie van een bestuursovereenkomst Pagina 16 21-03-2007 Voorbeeld van realisatieregels : evaluatie FOD Sociale Zekerheid  Regel 1 : ieder jaar, Ieder norm vergelijken met verwachte resultaat Gerealiseerd vs niet gerealiseerd >>> een realisatiescore  Regel 2 : Opsomming evaluatiescores Enkel positieve scores : de doelstelling is gerealiseerd Meerderheid / helft van positive scores : de doelstelling is voorwaardelijk gerealiseerd Minder dan de helft van positive scores : de doelstelling is niet gerealiseerd  Regel 1 : ieder jaar, Ieder norm vergelijken met verwachte resultaat Gerealiseerd vs niet gerealiseerd >>> een realisatiescore  Regel 2 : Opsomming evaluatiescores Enkel positieve scores : de doelstelling is gerealiseerd Meerderheid / helft van positive scores : de doelstelling is voorwaardelijk gerealiseerd Minder dan de helft van positive scores : de doelstelling is niet gerealiseerd Afzwakking regels  De doelstelling gerealiseerd maar niet in de voorziene termijn (zelfs met meerdere jaren vertraging)  Weinig positieve scores maar positieve evolutie  = de doelstelling is voorwaardelijk gerealiseerd Afzwakking regels  De doelstelling gerealiseerd maar niet in de voorziene termijn (zelfs met meerdere jaren vertraging)  Weinig positieve scores maar positieve evolutie  = de doelstelling is voorwaardelijk gerealiseerd Andere mogelijke scores  Doelstelling met scope verder dan evaluatiejaar  Partiële informatie Andere mogelijke scores  Doelstelling met scope verder dan evaluatiejaar  Partiële informatie

17 Evaluatie van een bestuursovereenkomst Pagina 17 21-03-2007 Oefening : realisatiescores bepalen De instelling verbindt er zich toe een beslissing te nemen voor de dossiers X binnen de 15 dagen en in de volgende maten : 75 % van de dossiers in 2002, 80 % in 2003 en 90 % in 2004 Resultaat : 2002 : 35%; 2003 : 69% Wat is de evaluatiescore in 2002 en in 2003 ? De instelling verbindt er zich toe een beslissing te nemen voor de dossiers X binnen de 15 dagen en in de volgende maten : 75 % van de dossiers in 2002, 80 % in 2003 en 90 % in 2004 Resultaat : 2002 : 35%; 2003 : 69% Wat is de evaluatiescore in 2002 en in 2003 ? De instelling verbindt er zich toe een beslissing te nemen voor de dossiers X binnen de 15 dagen en in de volgende maten : –Dossiers X1 : 75 % van de dossiers in 2002, 80 % in 2003 en 90 % in 2004 –Dossiers X2 : 75 % van de dossiers in 2002, 80 % in 2003 en 90 % in 2004 Resultaat : –Dossiers X1 : 2002 : 71%; 2003 : 82% –Dossiers X2 : 2002 : 73%; 2003 : 81% Wat is de evaluatiescore in 2003 ? De instelling verbindt er zich toe een beslissing te nemen voor de dossiers X binnen de 15 dagen en in de volgende maten : –Dossiers X1 : 75 % van de dossiers in 2002, 80 % in 2003 en 90 % in 2004 –Dossiers X2 : 75 % van de dossiers in 2002, 80 % in 2003 en 90 % in 2004 Resultaat : –Dossiers X1 : 2002 : 71%; 2003 : 82% –Dossiers X2 : 2002 : 73%; 2003 : 81% Wat is de evaluatiescore in 2003 ? De instelling verbindt er zich toe een evaluatie te voeren van het effectief gebruik van zijn product X en een verslag hieromtrent aan de Voogdijminister voor december 2002 voor te leggen Resultaat : verslag voorgelegd op 03/04/03 Wat is de evaluatiescore in 2003 ? De instelling verbindt er zich toe een evaluatie te voeren van het effectief gebruik van zijn product X en een verslag hieromtrent aan de Voogdijminister voor december 2002 voor te leggen Resultaat : verslag voorgelegd op 03/04/03 Wat is de evaluatiescore in 2003 ?

18 Evaluatie van een bestuursovereenkomst Pagina 18 21-03-2007 Oefening : realisatiescores bepalen De instelling verbindt er zich toe een evaluatie te voeren van het effectief gebruik van zijn product X een verslag hieromtrent aan de Voogdijminister voor december 2002 voor te leggen Resultaat : verslag voorgelegd op 03/04/04 Wat is de evaluatiescore in 2004 ? De instelling verbindt er zich toe een evaluatie te voeren van het effectief gebruik van zijn product X een verslag hieromtrent aan de Voogdijminister voor december 2002 voor te leggen Resultaat : verslag voorgelegd op 03/04/04 Wat is de evaluatiescore in 2004 ? De instelling verbindt er zich toe een evaluatie te voeren van het effectief gebruik van zijn product X en zijn product Y en twee aparte verslagen hieromtrent aan de Voogdijminister voor december 2002 voor te leggen Resultaat : –Product X : verslag voorgelegd op 03/04/03 –Product Y : verslag voorgelegd op 03/04/04 Wat is de evaluatiescore in 2002, in 2003 en in 2004 ? De instelling verbindt er zich toe een evaluatie te voeren van het effectief gebruik van zijn product X en zijn product Y en twee aparte verslagen hieromtrent aan de Voogdijminister voor december 2002 voor te leggen Resultaat : –Product X : verslag voorgelegd op 03/04/03 –Product Y : verslag voorgelegd op 03/04/04 Wat is de evaluatiescore in 2002, in 2003 en in 2004 ? De scores dekken niet alle gevallen !

19 Evaluatie van een bestuursovereenkomst Pagina 19 21-03-2007 Oefening : voorbeeld van problematische doelstellingen en informatie De instelling verbindt er zich toe een beslissing te nemen voor de dossiers X binnen de 15 dagen Resultaat : 2002 : 35%; 2003 : 78% Wat is de evaluatiescore ? De instelling verbindt er zich toe een beslissing te nemen voor de dossiers X binnen de 15 dagen Resultaat : 2002 : 35%; 2003 : 78% Wat is de evaluatiescore ? De instelling verbindt er zich toe de responstijd voor vragen van de burger te beperken tot 3 werkdagen en in de volgende maten : 85% in 2002, 90% in 2003 en 95% in 2004 Resultaat : 2002-2003 : de instelling heeft zijn workflow grondig geanalyseerd en een nieuwe werkstructuur is vanaf 2003 in werking getreden. De instelling verwacht de responstijd te verminderen vanaf volgend jaar Wat is de evaluatiescore ? De instelling verbindt er zich toe de responstijd voor vragen van de burger te beperken tot 3 werkdagen en in de volgende maten : 85% in 2002, 90% in 2003 en 95% in 2004 Resultaat : 2002-2003 : de instelling heeft zijn workflow grondig geanalyseerd en een nieuwe werkstructuur is vanaf 2003 in werking getreden. De instelling verwacht de responstijd te verminderen vanaf volgend jaar Wat is de evaluatiescore ? De instelling verbindt er zich toe de achterstand van 2001 te reduceren voor de dossiers X : 50 % in 2002 & 50% in 2003 Resultaat : 2500 dossiers van 2001 werden behandeld Wat is de evaluatiescore ? De instelling verbindt er zich toe de achterstand van 2001 te reduceren voor de dossiers X : 50 % in 2002 & 50% in 2003 Resultaat : 2500 dossiers van 2001 werden behandeld Wat is de evaluatiescore ?

20 Evaluatie van een bestuursovereenkomst Pagina 20 21-03-2007 4. Contractevaluatie : hoe organiseert men de evaluatie ?

21 Evaluatie van een bestuursovereenkomst Pagina 21 21-03-2007 Evaluatieproces Fase 1 : herstructurering Fase 2 : invoering resultaten Fase 3 : evaluatiescores Fase 5 : verslaggeving Presentatie College Bepaling operationele principes evaluatie Overleg Collège Bepaling evaluatie- methode Aanpassing methode Voorbereidingsfase Uitvoeringsfase Voorstel aan Collège Voorstel aan beleidscellen Voorlegging aan Ministeraad Valorisatiefase Fase 4 : opmerkingen OISZ

22 Evaluatie van een bestuursovereenkomst Pagina 22 21-03-2007 Kwaliteitscriteria Evaluatieonderwerp Beoordeling Verwachte eindresultaat

23 Evaluatie van een bestuursovereenkomst Pagina 23 21-03-2007 Valideringsprocess Validatieronde 1 : door de OISZ / RC nauwkeurigheid & geldigheid Validatieronde 1 : door de OISZ / RC nauwkeurigheid & geldigheid Validatieronde 2 : door de OISZ / RC nauwkeurigheid & geldigheid Validatieronde 2 : door de OISZ / RC nauwkeurigheid & geldigheid Validatieronde 3 : door een andere evaluator betrouwbaarheid Validatieronde 3 : door een andere evaluator betrouwbaarheid Wie : inter of extern ? Wat : nauwkeurigheid, geldigheid of betrouwbaarheid ? Wanneer t.o.v. evaluatieproces ? Fase 1 : herstructurering Fase 2 : invoering resultaten Fase 3 : evaluatiescores Fase 5 : verslaggeving Fase 4 : opmerkingen OISZ

24 Evaluatie van een bestuursovereenkomst Pagina 24 21-03-2007 5. Resultaten van de contractevaluatie

25 Evaluatie van een bestuursovereenkomst Pagina 25 21-03-2007 Resultaten : evaluatiescores Realisatiescores 1202 operationele doelstellingen vastgesteld 986 in rekening gebracht voor de evaluatie Realisatiescores 1202 operationele doelstellingen vastgesteld 986 in rekening gebracht voor de evaluatie

26 Evaluatie van een bestuursovereenkomst Pagina 26 21-03-2007 Resultaten : operationaliseringsgraad Uitspraak over aanwezigheid van OD Geen uitspraak over « voldoende » aanwezigheid van OD Uitspraak over aanwezigheid van OD Geen uitspraak over « voldoende » aanwezigheid van OD 0 20 40 60 80 100 120 Wel OD 91,0112359696,89265537 Geen OD 8,9887640456,214689266 OpdrachtenStrategische doelstellingen

27 Evaluatie van een bestuursovereenkomst Pagina 27 21-03-2007 Resultaten : technische kwaliteit van de informatie Technische kwaliteit : 29,5 % problematische doelstellingen Geen evaluatie voor 18 % van de doelstellingen + 11,5 % problematische doelstellingen waarvoor een evaluatie toch mogelijk was Technische kwaliteit : 29,5 % problematische doelstellingen Geen evaluatie voor 18 % van de doelstellingen + 11,5 % problematische doelstellingen waarvoor een evaluatie toch mogelijk was 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Percentage betrokken operationele doelstellingen Onduidelijke normering 8,7% Geen resulaatgegevens 12,2 % Geen informatieprobleem 70,4% Onduidelijke normen & geen resultatengegevens 3,3 % Geen afstemming tussen de norm en de resultaten 5,3 % Operationele doelstellingen met informatieproblemen 29,6%

28 Evaluatie van een bestuursovereenkomst Pagina 28 21-03-2007 Leerproces : omvang en aard

29 Evaluatie van een bestuursovereenkomst Pagina 29 21-03-2007 Homgeneïteit van het systeem Aantal OD Kwaliteit informatie Operationnalisering Realisatie

30 Evaluatie van een bestuursovereenkomst Pagina 30 21-03-2007 6. Conclusies

31 Evaluatie van een bestuursovereenkomst Pagina 31 21-03-2007 Belangrijke aandachtspunten Wees flexiebel en doelgericht Zorg voor acceptatie en informeer de geëvalueerden Let op de kwaliteit De methodologie moet worden gestabiliseerd, niet vast bepaald Zorg voor valorisatie

32 Evaluatie van een bestuursovereenkomst Pagina 32 21-03-2007 Voor meer info Amaury Legrain FOD Sociale Zekerheid DG Beleidsondersteuning amaury.legrain@minsoc.fed.be 5E20 Victor Hortaplein 40, bus 20 1060 Brussel 02/528.63.12