Visitatie- en beoordelingsprotocol Sociaal-culturele volwassenenorganisaties met een werking in het Nederlandse taalgebied (en het tweetalige gebied Brussel-Hoofdstad) Sofie Taghon Barbara Beausaert Brussel, 4 december 2017

Zoals jullie ondertussen weten, is het nieuwe decreet cyclisch opgevat waarbij de subsidieaanvraag wordt beoordeeld door beoordelingscommissies en in de derde jaar van de beleidsperiode de werking wordt geëvalueerd door visitatiecommissies. Om alle subsidieaanvragen te kunnen beoordelen en alle werkingen te kunnen visiteren zullen heel wat deskundigen worden ingeschakeld. We rekenen op een 7 tal BC en een 12 tal VC …. Veel verschillende mensen die samen werken, die samen instaan voor kwalitatieve evaluaties en beoordelingen …. het vraagt een goede afstemming en heldere afspraken.

visitatie- en beoordelingsprotocol Wat? Geheel van elementen en afspraken voor de commissieleden inzake de globale inhoudelijke en praktische aanpak van de evaluatie en de beoordeling Doel? Faire evaluatie en beoordeling Evaluatie en beoordeling als inspiratie om de krachten van sociaal-culturele volwassenenorganisaties verder uit te bouwen

visie op de evaluatie en de beoordeling Bijdrage aan de uitbouw van dynamische en toekomstgerichte sociaal-culturele volwassenenorganisaties: Waarderende benadering Kwaliteitscultuur Bijdrage tot een kwalitatieve sector van het sociaal-cultureel volwassenenwerk Onderscheid maken

Waarderende benadering Focus op problemen Identificeer het probleem Analyseer de oorzaken Bepaal de oplossingen Ontwikkel een actieplan Focus op mogelijkheden Waardeer het beste wat is Visualiseer wat kan zijn Ontwerp wat zou moeten zijn Creëer wat zal zijn Waarderende benadering Focus op troeven en succes- ervaringen, gericht op groei en ontwikkeling Normatief kader en methodiek voor de deskundigen van de visitatie- en beoordelingscommissies: In gesprekken worden organisaties vanuit een positieve blik benaderd Mogelijke verbetersuggesties en aanbevelingen vertrekken vanuit de mogelijkheden, de sterktes, het perspectief of de verantwoordelijkheid van de organisatie

Kwaliteitscultuur KWALITEITS-CULTUUR Kritische reflectie Missie- & visiegedreven Zakelijk duurzaam KWALITEITS-CULTUUR Innovatief Participatief verbindend

Onderscheid maken Tussen sociaal-culturele volwassenenorganisaties die kwalitatief sterk werken en organisaties die niet aan die standaard voldoen. Zodat middelen van de Vlaamse overheid ingezet worden om: de doelstelling van het decreet te realiseren en de kwaliteit van de sector te bewaken en verder te ontwikkelen

Evaluatie- en beoordelingsmethodiek KWALITEITSCULTUUR Beoordelingselementen (Bepalingen m.b.t. de uitkering van subsidies) VOLDOET VOLDOET TEN DELE ONVOLDOENDE EVALUATIE SUBSIDIEADVIES

Evaluatie- en beoordelingscyclus Evaluatie visitatie-commissie (2018) Subsidieadvies beoordelings-commissie (2020)

Het Evaluatieproces STAP 1: BELEIDS-PLAN 2016-2020 STAP 2: VGR’EN & FINANCIELE VERSLAGEN STAP 3: BEZOEK TER PLAATSE Peer review Voorlopig visitatieverslag Reactie voorlopig visitatieverslag Definitief visitatieverslag

Voorafgaand aan de evaluatie Benoeming pool externe deskundigen Open oproep door administratie, FOV en Socius via Iedereen kan zetelen Lijst van kandidaat-externe deskundigen wordt bezorgd aan de minister, die externe deskundigen kan toevoegen of schrappen. Minister benoemt pool van externe deskundigen Externe deskundigen worden aangekondigd op de website van het Departement CJM Benoeming pool externe deskundigen: Open oproep via iedereen kan zetelen: 98 kandidaten Minister benoemt pool van externe deskundige voor 31/12 en kan externe deskundigen toevoegen of schrappen Externe deskundigen worden bekend gemaakt via de website van het Departement

Voorafgaand aan de evaluatie Samenstelling visitatiecommissies Maximaal 1 externe deskundige met louter zakelijke expertise Minimaal 1 externe deskundige met inhoudelijke expertise Org. kansengroepen: minimaal 1 externe deskundige met expertise kansengroepen Benoeming pool externe deskundigen: Open oproep via iedereen kan zetelen: 98 kandidaten Minister benoemt pool van externe deskundige voor 31/12 en kan externe deskundigen toevoegen of schrappen Externe deskundigen worden bekend gemaakt via de website van het Departement

Voorafgaand aan de evaluatie Clustering sociaal-culturele volwassenen- organisaties Elke visitatiecommissie evalueert +/- 10 organisaties Bij clustering wordt rekening gehouden met: Grootte van de subsidie-enveloppe (memorie) Min. 2 organisaties van dezelfde werksoort Concrete clustering als bijlage bij protocol Benoeming pool externe deskundigen: Open oproep via iedereen kan zetelen: 98 kandidaten Minister benoemt pool van externe deskundige voor 31/12 en kan externe deskundigen toevoegen of schrappen Externe deskundigen worden bekend gemaakt via de website van het Departement

Dag 1 - 21 Dag 22 - 28 Dag 29 - 35 Dag 1 - 28 Dag 29 - 49 Visitatie-commissie visiteert +/-10 organisaties Peer review Voorlopige visitatie-verslagen worden bijgewerkt en bezorgd aan de organisatie Organisatie kan reageren op voorlopig visitatie-verslag Definitieve visitatie-verslagen worden bijgewerkt en bezorgd aan de organisatie BLOK 1: 16 april t.e.m. 11 mei BLOK 2: 27 augustus t.e.m. 21 september BLOK 3: 1 oktober t.e.m. 26 oktober BLOK 4: 29 november t.e.m. 7 december

Dag 1 - 21 Dag 22 - 28 Dag 29 - 35 Dag 1 - 28 Dag 29 - 49 Visitatie-commissie visiteert +/-10 organisaties Peer review Voorlopige visitatie-verslagen worden bijgewerkt en bezorgd aan de organisatie Organisatie kan reageren op voorlopig visitatie-verslag Definitieve visitatie-verslagen worden bijgewerkt en bezorgd aan de organisatie

Inhoudelijke voorbereiding bezoek ter plaatse Organisatie: Maakt kritische reflectie (VGR/KIOSK), waarbij ze per beoordelingselement en de bepalingen m.b.t. de uitkering van subsidies: Resultaten, sterktes en groeimogelijkheden formuleert Acties in functie van die groeimogelijkheden formuleert Denkt na over één goede praktijk die ze wil toelichten tijdens het bezoek ter plaatse

Inhoudelijke voorbereiding bezoek ter plaatse Deskundigen visitatiecommissie: Maken in KIOSK een voorbereidende evaluatie per beoordelingselement en de bepalingen m.b.t. de uitkering van subsidies: Formuleren sterktes, groeimogelijkheden en vragen om dialoog te gaan met de organisatie

Verloop bezoek ter plaatse Om: sterktes en groeimogelijkheden te contextualiseren, inzicht te krijgen in mogelijke acties om te groeien, mogelijke verbetersuggesties en aanbevelingen te adviseren. 1) Kort intern overleg visitatiecommissie: Bespreking voorbereiding KIOSK 2) Dialoog met de vertegenwoordigers (max. 4) van de organisatie Voorzitter leidt het gesprek, licht bij aanvang verloop en werkwijze toe. Organisatie krijgt mogelijkheid om in een 15-tal minuten een goede praktijk te presenteren. Visitatiecommissie gaat in dialoog over de beoordelingselementen en de bepalingen m.b.t. de uitkering van subsidies. 3) Kort intern overleg visitatiecommissie, waarbij ze per beoordelingselement en bepalingen m.b.t. de uitkering van subsidies een eindresultaat (voldoet, voldoet ten dele, onvoldoende) formuleert.

Dag 1 - 21 Dag 22 - 28 Dag 29 - 35 Dag 1 - 28 Dag 29 - 49 Visitatie-commissie visiteert 10 organisaties Peer review Voorlopige visitatie-verslagen worden bijgewerkt en bezorgd aan de organisatie Organisatie kan reageren op voorlopig visitatie-verslag Definitieve visitatie-verslagen worden bijgewerkt en bezorgd aan de organisatie

Komt hij/zij o.b.v. de kritische reflectie van de organisatie en informatie uit het visitatieverslag tot hetzelfde eindresultaat? Volstaat de kwaliteit van de argumentatie? Peer review Methodiek met als doel om kwaliteitsvol en onderbouwd te evalueren. De deskundigen die deel uitmaken van dezelfde visitatiecommissie werpen een kritische blik op de voorlopige visitatieverslagen Op basis van de bevindingen en mogelijke bijsturingen komt de visitatiecommissie als groep tot een voorlopige evaluatie positieve evaluatie zonder aanbevelingen, positieve evaluatie met aanbevelingen, negatieve evaluatie met aanbevelingen

Peer review Evaluatie op grond van afweging van de evaluatie van de werking 1° aan de hand van het beleidsplan 2016-2020, de voortgangsrapporten, de jaarlijkse begroting, de financiële verslagen, de algemene informatie en gegevens met betrekking tot de werking; 2° aan de hand van de kwantitatieve gegevens met betrekking tot de werking, zoals die afgeleid kunnen worden uit de voortgangsrapporten, de jaarlijkse begroting, de financiële verslagen en de algemene informatie en gegevens met betrekking tot de werking; 3° op basis van de eindresultaten, geformuleerd per toepasselijk beoordelingselement en inzake de bepalingen met betrekking tot de uitkering van de subsidies 4° op basis van de eventuele aanbevelingen bij de beoordelingselementen

Peer review Bij het formuleren van de evaluatie worden eveneens volgende elementen in overweging genomen: De mate waarin de door de organisatie aangegeven sterktes en groeimogelijkheden in de kritische reflectie in de lijn liggen van de door de visitatiecommissie vastgestelde sterktes en groeimogelijkheden De kwaliteit van de acties die de organisatie zelf formuleert met het oog op groeimogelijkheden Het gewicht van de door de visitatiecommissie geformuleerde aanbevelingen

Dag 1 - 21 Dag 22 - 28 Dag 29 - 35 Dag 1 - 28 Dag 29 - 49 Visitatie-commissie visiteert 10 organisaties Peer review Voorlopige visitatie-verslagen worden bijgewerkt en bezorgd aan de organisatie Organisatie kan reageren op voorlopig visitatie-verslag Definitieve visitatie-verslagen worden bijgewerkt en bezorgd aan de organisatie

Voorlopig visitatieverslag Voorlopig visitatieverslag omvat: Een evaluatie van de werking per beoordelingselement Kritische reflectie van de organisatie per beoordelingselement Weergave van het gesprek en eventuele verbetersuggesties of aanbevelingen met motivatie Een evaluatie per evaluatiecriterium uitgewerkt op basis van de bepalingen met betrekking tot de uitkering van subsidies Kritische reflectie van de organisatie per evaluatiecriterium

Voorlopig visitatieverslag Een eindresultaat voor elk beoordelingselement en voor de bepalingen over de uitkering van de subsidies (voldoet, voldoet ten dele, onvoldoende) Kwantitatieve gegevens m.b.t. de werking van de organisatie afgeleid uit VGR, financiële verslagen en alg. gegevens en informatie m.b.t. de werking in 2004, 2008, 2012, 2016 WERKING: Verenigingen: #gesubsidieerde afdelingen en #afdelingen Bewegingen en vormingsdient PMH: één markante actie of campagne Vormingsinstellingen: #gesubsidieerde vormingsuren en #subsidieerbare vormingsuren

Voorlopig visitatieverslag PERSONEEL: # VTE # medewerkers FINANCIËN: Afrekening Balans Concluderende samenvatting op basis van afweging en interactie tussen punt 1 – 4 Evaluatie (positieve evaluatie zonder aanbevelingen, positieve evaluatie met aanbevelingen of negatieve evaluatie met aanbevelingen)

Dag 1 - 21 Dag 22 - 28 Dag 29 - 35 Dag 1 - 28 Dag 29 - 49 Visitatie-commissie visiteert 10 organisaties Peer review Voorlopige visitatie-verslagen worden bijgewerkt en bezorgd aan de organisatie Organisatie kan reageren op voorlopig visitatie-verslag Definitieve visitatie-verslagen worden bijgewerkt en bezorgd aan de organisatie

Reactie op voorlopig visitatieverslag De deskundigen nemen de reacties op het voorlopig visitatieverslag door Tijdens een overleg worden de reacties kritisch besproken en gaan de deskundigen na of ze op basis van de motivatie van de organisatie tot hetzelfde eindresultaat komen. Tot slot formuleert de visitatiecommissie een definitieve evaluatie. Indien de reactie van de organisatie geen impact heeft op het definitief visitatieverslag wordt dit gemotiveerd in de begeleidende brief aan de organisatie.

Dag 1 - 21 Dag 22 - 28 Dag 29 - 35 Dag 1 - 28 Dag 29 - 49 Visitatie-commissie visiteert 10 organisaties Peer review Voorlopige visitatie-verslagen worden bijgewerkt en bezorgd aan de organisatie Organisatie kan reageren op voorlopig visitatie-verslag Definitieve visitatie-verslagen worden bijgewerkt en bezorgd aan de organisatie

Organisaties met een negatieve evaluatie met aanbevelingen Worden na een remediëringstraject (maximaal 12 maanden) opnieuw gevisiteerd Visitatie heeft een gelijkaardig verloop zoals de eerste visitatie, maar hier ligt focus op de mate waarin de gerealiseerde en geplande processen en acties aan de aanbevelingen tegemoet komen

Evaluatie visitatie-commissie (2018) Subsidieadvies beoordelings-commissie (2020)

Het beoordelingsproces STAP 1: Subsidie-aanvraag 2021-2025 STAP 2: Beoordeling subsidie-aanvraag 2021-2025 STAP 3: Beslissing Vlaamse Regering Pre-advies Schriftelijke reactie Definitief subsidieadvies

Voorafgaand aan de beoordeling Samenstelling beoordelingscommissies Niet stemgerechtigd Aangeduid uit pool externe deskundigen Organisaties worden net zoals bij de visitatie geclusterd op basis van de grootte van de subsidie-enveloppe Benoeming pool externe deskundigen: Open oproep via iedereen kan zetelen: 98 kandidaten Minister benoemt pool van externe deskundige voor 31/12 en kan externe deskundigen toevoegen of schrappen Externe deskundigen worden bekend gemaakt via de website van het Departement Hebben inhoudelijke, zakelijke expertise en expertise m.b.t. werken met kansengroepen

15 januari – 1 april Uiterlijk op 15 april Uiterlijk op 29 april 30 april – 14 juli Uiterlijk op 15 juli Beoordelings-commissie beoordeelt +/- 20 organisaties Preadvies wordt bezorgd aan organisatie Organisatie kan schriftelijke reactie indienen op preadvies Beoordelingscommissie behandelt schriftelijke reactie en formuleert definitief advies Definitief advies wordt bezorgd aan de organisatie en aan de minister

15 januari – 1 april Uiterlijk op 15 april Uiterlijk op 29 april 30 april – 14 juli Uiterlijk op 15 juli Beoordelings-commissie beoordeelt 20 organisaties Preadvies wordt bezorgd aan organisatie Organisatie kan schriftelijke reactie indienen op preadvies Beoordelingscommissie behandelt schriftelijke reactie en formuleert definitief advies Definitief advies wordt bezorgd aan de organisatie en aan de minister

Inhoudelijke voorbereiding beoordeling Alle externe deskundigen nemen alle documenten (subsidieaanvraag & visitatieverslag) door 3 externe deskundigen worden als hoofdlezer aangeduid en maken een voorbereidende beoordeling (KIOSK), waarbij ze per beoordelingscriterium: Een oordeel vellen over de sterktes en groeimogelijkheden en dit argumenteren Een voorlopig eindresultaat formuleren

Verloop beoordeling De voorbereiding van de hoofdlezers vormt de basis van de bespreking Alle aanwezige externe deskundigen nemen deel aan de bespreking en komen per beoordelingscriterium op basis van peer review tot een gezamenlijk en gemotiveerd eindresultaat De voorzitter waakt over: Evenwichtige discussie Correcte motivatie Externe deskundigen vragen zich af of ze op basis van de argumentatie tot eenzelfde oordeel zouden komen en toetsen de kwaliteit van de argumentatie

15 januari – 1 april Uiterlijk op 15 april Uiterlijk op 29 april 30 april – 14 juli Uiterlijk op 15 juli Beoordelings-commissie beoordeelt 20 organisaties Preadvies wordt bezorgd aan organisatie Organisatie kan schriftelijke reactie indienen op preadvies Beoordelingscommissie behandelt schriftelijke reactie en formuleert definitief advies Definitief advies wordt bezorgd aan de organisatie en aan de minister

Preadvies Preadvies omvat: Een beoordeling van de kwaliteit van de werking van de organisatie per toepassend beoordelingselement, waarbij per beoordelingscriterium een eindresultaat wordt geformuleerd Het advies van de beoordelingscommissie positief subsidieadvies zonder aandachtspunten, positief subsidieadvies met aandachtspunten of negatief subsidieadvies Een indicatie van de evolutie van de subsidie-enveloppe Een motivering bij de indicatie van de evolutie van de subsidie-enveloppe Stijging van de subsidie-enveloppe Gelijkblijvende subsidie-enveloppe Daling van de subsidie-enveloppe

15 januari – 1 april Uiterlijk op 15 april Uiterlijk op 29 april 30 april – 14 juli Uiterlijk op 15 juli Beoordelings-commissie beoordeelt 20 organisaties Preadvies wordt bezorgd aan organisatie Organisatie kan schriftelijke reactie indienen op preadvies Beoordelingscommissie behandelt schriftelijke reactie en formuleert definitief advies Definitief advies wordt bezorgd aan de organisatie en aan de minister

Schriftelijke reactie op een positief preadvies Heeft enkel betrekking op feitelijke onjuistheden en wordt voor definitief advies voorgelegd aan dezelfde beoordelingscommissie, uitgebreid met één bijkomend lid. VOORBEREIDING Alle externe deskundigen nemen de reacties op het positief preadvies door. Het bijkomend lid neemt zowel de subsidieaanvraag, het positief preadvies en de schriftelijke reactie op het preadvies door.

Schriftelijke reactie op een positief preadvies VERLOOP Tijdens overleg worden de reacties op het positief preadvies kritisch besproken en gaan de deskundigen na of ze op basis van de motivatie van de organisatie bij elk beoordelingscriterium tot hetzelfde eindresultaat zouden komen. De beoordelingscommissie formuleert gezamenlijk een definitieve beoordeling

Schriftelijke reactie op een negatief preadvies De subsidieaanvraag, het preadvies en de schriftelijke reactie op het preadvies worden voor definitief advies voorgelegd aan een andere beoordelingscommissie dan degene die de subsidieaanvraag oorspronkelijk behandelde. VOORBEREIDING Ter voorbereiding op het overleg nemen alle externe deskundigen het visitatieverslag, de subsidieaanvraag, het negatief preadvies en de schriftelijke reactie op het preadvies door.

Schriftelijke reactie op een negatief preadvies 3 externe deskundigen worden als hoofdlezer aangeduid en maken een voorbereidende beoordeling, waarbij ze per beoordelingscriterium: Een oordeel vellen over de sterktes en groeimogelijkheden en dit argumenteren Een eindresultaat formuleren VERLOOP De voorbereiding van de hoofdlezers vormen de basis van de bespreking. Alle aanwezige deskundigen nemen aan de bespreking deel en komen per beoordelingscriterium tot een gezamenlijk en gemotiveerd eindresultaat. De eindresultaten per beoordelingselementen bepalen het advies van de beoordelingscommissie.

15 januari – 1 april Uiterlijk op 15 april Uiterlijk op 29 april 30 april – 14 juli Uiterlijk op 15 juli Beoordelings-commissie beoordeelt 20 organisaties Preadvies wordt bezorgd aan organisatie Organisatie kan schriftelijke reactie indienen op preadvies Beoordelingscommissie behandelt schriftelijke reactie en formuleert definitief advies Definitief advies wordt bezorgd aan de organisatie en aan de minister

Voorgestelde protocol is door de adviescommissie afgeleverd aan de minister De minister wil hierover graag in overleg gaan met jullie Bedankt alvast voor jullie aandacht en input