Gids voor de meting van effecten van Competentiepolen en projecten TETRA en Collectief Onderzoek Infosessie VIN netwerk

2 Opgericht in 1998, gebaseerd in Brussel, 40 werknemers Ecorys groep (met kantoren in o.a. Nederland, VK, Spanje, Rusland, Turkije, Hongarije) Onderzoek & advies Beleid Nationale en Europese overheden 4 kennisvelden  Competitiviteit en Innovatie  Arbeidsmarktbeleid  Regionale en stedelijke ontwikkeling  Vastgoed en ruimtelijke ontwikkeling IDEA Consult (

Agenda Achtergrond Over deze studie Het belang van effectmetingen Onderliggende principes en bouwstenen Het meetproces in vier stappen Doelstellingen Effecten Indicatoren Meting 3

Over deze studie Doelstellingen Ontwikkelen meetmethodiek (generieke set van parameters) Voor CP: om als managementtool te gebruiken en ter verantwoording van (publieke en private) middelen. Voor IWT: om als tool te gebruiken om de relevante resultaten en directe/indirecte effecten te meten en de werking van het programma te kunnen evalueren. 3 verschillende programma’s (CP, VIS-CO en TETRA), 1 generieke meetmethodiek. 4

Over deze studie Interrelatie met andere studies Selectie van gerelateerde IWT studies ( Studie 48: ‘Making the Difference: The Evaluation of "Behavioral Additionality" of R&D Subsidies’ Studie 56: 'What difference do IWT R&D grants make for their clients’ Studie 59: 'De effectiviteit van het Vlaamse Innovatiesamenwerkingsverband (VIS)’ Studie 61: 'Werking en effecten van Collectief Onderzoek’ Studie 62: 'Zelfevaluatie van competentiepolen' 5

Over deze studie Aanpak Empirische toepassing door middel van 7 ‘testmetingen’. Studie bouwt voort op “methodiek zelfevaluatie van competentiepolen”. Concept eindrapport is beschikbaar. 6

Belang effectmetingen? Investeren in O&O  Studies op bedrijfsniveau (O&O) leidt tot bruto rendementen tot 20-30%  Inclusief kennisverspreiding, loopt dit op tot 30-40% Alle bedrijven doen aan O&O dus? Nee, want: onzekerheid, toe-eigening, destructie Marktfalen, dus overheid moet rol opnemen (CP, TETRA, CP) Verantwoording in functie van keuzes en beperkte middelen 7

Onderliggende principes en bouwstenen Algemene principes meetkader/handleiding Meten van gerealiseerde effecten Meten van waardecreatie bij de ‘ontvangers’ Toelaten ‘bottom-up’ aanpak Werken met ‘blauwdrukken’ ‘Pick list’ van indicatoren (‘type’ indicatoren) Praktische tips en suggesties Beperken van administratieve lasten 8

Effecten en hun dimensies Drie dimensies: Niveau waarop de effecten zich kunnen voordoen (ontvanger, uitvoerders). Soorten effecten waarop een project gericht is. De tijdsdimensie waarop deze effecten te verwachten zijn (KT, MT, LT). 9

Soorten effecten 10

Tijdsdimensie effecten KT: ‘tijdens’ of ‘net na’ de uitvoering van een project < 1 jaar na afloop van een project Ev. rekening houdend met verlengde looptijd MT: ‘na’ de uitvoering van een project >1 en <3 jaar na afloop Ev. rekening houdend met verlengde looptijd LT: ‘ruim na afloop’ van een project > 3 jaar Attributie probleem 11

Het meetproces in vier stappen (1) 12

Het meetproces in vier stappen (2) 13

Vraag 1 - Doelstellingen 14 Vraag 1 Welke doelstellingen stellen wij (als projectaanvragers) centraal? Gewenst resultaat Een helder overzicht van de doelstellingen die u als projectaanvrager/-uitvoerder met uw project nastreeft. Mogelijke hulpmiddelen De IWT handleidingen die in detail aangeven welke activiteiten, en dus doelstellingen, gefinancierd kunnen worden. De blauwdruk van doelstellingen voor CP, TETRA en CO die te vinden zijn in bijlagen 1, 2 en 3 (zie handleiding) waardoor u zich kunt laten inspireren. Het ‘Logic Model’ principe.

Blauwdruk 15

Vraag 2 - Effecten 16 Vraag 2 Welke effecten wilt u bereiken? Gewenst resultaat Een helder overzicht van de effecten die u via uw project wenst te bereiken en waarover u als projectuitvoerder verantwoordelijkheid draagt. Mogelijke hulpmiddelen De IWT handleidingen die in detail aangeven welke doelstellingen en resultaten worden verwacht van een soortgelijk project. De ‘grid’ die wij voor u hebben ontwikkeld in het kader van deze handleiding. Het ‘Logic Model’ principe zoals eerder uitgelegd. De door u vooropstelde intermediaire doelstellingen die feitelijk uw uitgangspunt moeten zijn.

De ‘grid’ 17

Vraag 3 - Indicatoren 18 Vraag 3 Welke indicatoren zijn geschikt om de effecten te meten en dus te monitoren? Gewenst resultaat Een selectie van indicatoren die toelaten om op periodieke basis de vooropgestelde effecten te meten en dus het succes van de eigen werking te kunnen aantonen. Mogelijke hulpmiddelen De IWT handleidingen die in detail aangeven welke indicatoren (vooral activiteiten) periodiek gerapporteerd moeten worden. De in deze studie ontwikkelde lijst met ‘type’ indicatoren per soort effect (toegespitst naar niveau en tijdsdimensie).

Indicatoren 21 voorgestelde indicatoren Fiche uitgewerkt per indicator Lijst met overige type indicatoren Kenmerken goede indicatoren Relevantie Afbakening Acceptatie Geloofwaardigheid Eenvoud Betrouwbaarheid en robuustheid Consistentie en vergelijkbaarheid 19

20

Fiches indicatoren - Voorbeeld I 21

Fiches indicatoren - Voorbeeld II 22

Vraag 4 - Meetaanpak Vraag 4 Welke meetaanpak is het meest geschikt? Gewenst resultaat Een concreet aanpak/plan voor de verzameling van de nodige variabelen/data (rekening houden met efficiëntie) Mogelijke hulpmiddelen De indicatorenfiches Aangereikte type vragenlijst om de meeste indicatoren te meten (en overige tips) Het rapport ‘Zelfevaluatie Competentiepolen’ 23

Vraag 4 - Meetaanpak Belangrijk om afspraken met leden/bedrijven te maken op voorhand Integratie met huidige rapportagetools Zelfevaluatie, RAP, … Efficiënte meting en rapportage (aanzet vragenlijst in rapport) Onafhankelijk van verplichtingen richting IWT Belangrijk om meerdere gegevensbronnen met elkaar te confronteren (validatie) 24

Contact Arnold Verbeek Manager – Senior expert Innovatie & competitiviteit Sjouke Beemsterboer Analist Innovatie & competitiviteit