Meten is weten: Ontwikkeling van OO&I databanken en indicatoren --- ECOOM Leuven ECOOM-LEUVEN STAF ECOOM, KU Leuven

ECOOM – Leuven, 3 domeinen 2

Bibliometrie, de studie van wetenschappelijke publicatie-output, met nadruk op onderzoek, studies, data, indicatoren op basis van internationale, longitudinale datastructuren (o.a. WoS – TR) Technometrie, de studie van octrooi-output, met nadruk op onderzoek, studies, data, indicatoren op basis van internationale, longitudinale datastructuren (o.a. EPO, USPTO, PCT-WIPO, PATSTAT) Innovatie, de studie van innovatieprestaties en – patronen bij de Vlaamse bedrijven op basis van survey- data verzameld aan de hand van internationale, gevalideerde instrumenten, meer bepaald de OESO O&O-enquête en de EURSOTAT CIS-enquête 3

OO&I Indicatoren, een overzicht 4

De standaarden --- de O&O-enquête: –Frascati Manual: “The internationally recognized methodology for collecting and using R&D statistics, the Frascati Manual is an essential tool for statisticians worldwide. It includes definitions of basic concepts, data collection guidelines, and classifications for compiling statistics. This updated edition contains improved guidelines adjusted for changes in OECD economies, including measurement of service-sector R&D, R&D globalisation, and R&D human resources.” –Inhoud (basisindicatoren): Chapter 1. Aim and Scope of the Manual Chapter 2. Basic Definitions and Conventions Chapter 3. Institutional Classification Chapter 4. Functional Distribution Chapter 5. Measurement of R&D Personnel Chapter 6. Measurement of Expenditures Devoted to R&D (GERD, BERD, HERD, GOVERD) Chapter 7. Survey Methodology and Procedures Chapter 8. Government Budget Appropriations or Outlays for R&D 5

OO&I Indicatoren, een overzicht De standaarden --- de CIS-enquête: –Oslo Manual: “The Oslo Manual is the foremost international source of guidelines for the collection and use of data on innovation activities in industry. This third edition has been updated to take account of the progress made in understanding the innovation process, the experience gained from the previous round of innovation surveys, the extension of the field of investigation to other sectors of industry and the latest revisions of international standard classifications.” –Inhoud (basisindicatoren): Chapter 1. Objectives and Scope of the Manual Chapter 2. Innovation Theory and Measurement Needs Chapter 3. Basic Definitions Chapter 4. Institutional Classifications Chapter 5. Linkages in the Innovation Process Chapter 6. Measuring Innovation Activities Chapter 7. Objectives, Obstacles, and Outcomes of Innovation Chapter 8. Survey Procedures 6

OO&I Indicatoren, een overzicht Bijkomende data- en indicatorenstelsels bij ECOOM- Leuven, inclusief de ICT-operationalisatie ervan: –Bibliometrische indicatoren: WoS (TR) gebaseerd vanwege aanwezigheid van citatie-indexen --- nood aan databeheer en harmonisering --- nood aan domeinspecifieke classificatiesystemen --- internationaal gevalideerde ECOOM classificatie in hoofddisciplines en subdisciplines (zie o.a. REIST standaarden) --- monitoring van nieuwe databronnen zoals BKCI (TR) en Scopus (Elsevier) –Technometrische indicatoren: gebaseerd op de grote octrooisystemen in de wereld (EPO, USPTO, PCT) --- nood aan benchmark- en classificatiesystemen --- nood aan harmonisering --- ECOOM methodologie als EUROSTAT en OESO referentiestandaard 7

OO&I Indicatoren, een overzicht 8

9

De opdrachten op basis van voorgaande data & indicatoren 10

De opdrachten (1/3) Recurrent sinds 2002: –BOF- en IOF-databanken en indicatoren: opbouwen, onderhouden, tellen, valideren, rapporteren, ontsluiten --- samen met de Vlaamse universiteiten, Diensten Onderzoek –Jaarlijkse survey: O&O-enquêtes en CIS-enquêtes, telkens meer dan bedrijven op basis van een gestratificeerde steekproef, respons ratio’s 45 – 55%, inclusief de uitgebreide opbouw en onderhoud van bedrijvenpanel –Domeinstudies: verschillende technologiedomeinen, evenwichtstudies, translationeel onderzoek, slimme specialisatie, valorisatie, … –Ontwerp van classificatiesystemen voor wetenschap, technologie en innovatie 11

De opdrachten (2/3) Recurrent sinds 2002: –FWO-commissies: profielbepalingen –Bijdrage tot diverse evaluaties door de Vlaamse overheid (FWO, SOC’s, …) –Indicatorenboeken en andere (bvb. Bologna-boek) –Deelname aan commissies als technisch expert voor recurrente opdrachten (VRWI, VLIR-WGO, GP-SHW, EWI, CFS/STAT, NESTI, OESO-TIP, …) –Interface met TR, Elsevier, PATSTAT, … over data en datastructuren 12

De opdrachten (3/3) Recurrent sinds 2002: –Output monitoring op domeinen van wetenschap (citatie- impact, productiviteit van onderzoeksgroepen), technologie (octrooigedrag en exploitatie), en innovatie (additionaliteit van O&O-bestedingen, winstgevendheid, investeringsgedrag) –Jaarlijks 15-tot-20 bijkomende ad hoc vragen vanwege de Vlaamse overheid –Wetenschappelijk onderzoek met bijhorende peer-reviewed publicatie-output 13

De uitdagingen op basis van voorgaande data & indicatoren 14

OO&I Indicatoren, de uitdagingen De 3%-norm heeft geleid tot een sterke inputfocus … Wat met de resultaten van die input? –Nood aan meer output/resultaatsanalyses Wat met internationale benchmarking? –Nood aan correcte normeringen, classificatiesystemen en vergelijkende methodes Wat met nieuwe OO&I mechanismen? –Fiscale maatregelen en hun telling & impact (bvb. de gedeeltelijke vrijstelling van bedrijfsvoorheffing) –Evoluties inzake innovatief aanbesteden Wat met de nodige methodologisch/technische aanpakken om de vorige vragen expliciet te kunnen bestuderen en beantwoorden? –Geavanceerde econometrische benaderingen (DiD, CDiD, …) –Kwaliteit van data over lange tijdsreeksen 15

OO&I Indicatoren, de uitdagingen Evoluties 1: ontwikkeling van valide en betrouwbare benchmark methodes, bvb. opbouw van en hiërarchisch classificatie systeem voor het WoS (Glänzel & Schubert, 2003) : 16

OO&I Indicatoren, de uitdagingen Evoluties 1: ontwikkeling van valide en betrouwbare benchmark methodes, bvb. voor vergelijkende analyses van onderzoeksoutput (Glänzel, Thijs, Schubert, Debackere, 2009) : 17

OO&I Indicatoren, de uitdagingen Evoluties 1: ontwikkeling van valide en betrouwbare benchmark methodes, bvb. voor vergelijkende analyses van onderzoeksoutput (Glänzel, Thijs, Schubert, Debackere, 2009) : 18

OO&I Indicatoren, de uitdagingen Evoluties 1: ontwikkeling van valide en betrouwbare benchmark methodes, bvb. validatie een verbetering van indicatoren: –De mythe van de late erkenning (Glänzel, Schlemmer, Thijs, 2003; Glänzel & Garfield, 2004) –De effect van auteur-zelfcitaties op macro- en meso-indicatoren (Glänzel & Thijs, 2004; Thijs & Glänzel, 2006; Glänzel, Debackere, Thijs, Schubert, 2006) –Validatie en verbetering van op tijdschriften gebaseerde classificatie systemen (Janssens, Zhang, Glänzel, 2009; Zhang, Janssens, Liang, Glänzel, 2010) –Verschillende normalisatiemethoden van citatie-indicatoren (Glänzel, 2007; Beirlant, Glänzel, Carbonez, Leemans, 2007; Glänzel, 2011; Glänzel, Schubert, Thijs, Debackere, 2011) 19

OO&I Indicatoren, de uitdagingen Evoluties 2: ontwikkeling van valide en betrouwbare benchmark methodes voor het meten van de economische exploitatie van octrooiportfolios (ECOOM 2008 & 2012) : 20

OO&I Indicatoren, de uitdagingen Evoluties 2: ontwikkeling van valide en betrouwbare benchmark methodes voor het meten van de economische exploitatie van octrooiportfolios (ECOOM 2008 & 2012) : 21

OO&I Indicatoren, de uitdagingen Evoluties 3: ontwikkeling van valide en betrouwbare indicatoren voor het meten van O&O additionaliteit: (Aerts & Czarnitzki, 2006, 2008, 2010, 2011) 22

OO&I Indicatoren, de uitdagingen Evoluties 3: ontwikkeling van valide en betrouwbare indicatoren voor het meten van O&O additionaliteit: (Aerts & Czarnitzki, 2008, 2011) 23

OO&I Indicatoren, de uitdagingen Evoluties 3: ontwikkeling van valide en betrouwbare indicatoren voor het meten van O&O additionaliteit: (Aerts & Czarnitzki, 2008, 2011) 24

OO&I Indicatoren, de uitdagingen Evoluties 4: ontwikkeling van valide en betrouwbare benchmark methodes voor het meten van de impact van innovatie samenwerkingen op omzet door nieuwe producten (Faems, Van Looy, Debackere, 2005, 2012): 25

OO&I Indicatoren, volgende stappen 26

OO&I Indicatoren, volgende stappen Verschillende bouwstenen worden aldus ontwikkeld en leiden tot nieuwe relevante indicatoren (impact van innovatie op omzet en groei door nieuwe of verbeterde producten bij de bedrijven, exploitatieresultaten van octrooiportfolio’s, additionaliteit van O&O investeringen, gevalideerde benchmark van het onderzoekssysteem) Verdere indicatoren staan in de steigers (innovatie en impact op productiviteitsgroei, specifieke innovatietrajectanalyses, …) Maar … veel uitdagingen blijven eveneens: –Wegens recent karakter van bepaalde maatregelen (fiscaal, innovatief aanbesteden) zijn onvoldoende tijdsreeksdata voorhanden om hun impact op econometrisch betrouwbare manier te meten –Internationaal moeten de indicatoren verder aangepast om de effecten van deze maatregelen mee te nemen, ook aan de inputkant (OESO, EUROSTAT werken hieraan) –Koppeling van geldstromen aan wetenschaps-, technologie en economische classificaties ten einde op domein/sectorniveau analyses te kunnen doen (VALIDATIE NODEN!) –Moeilijkheden om ontluikende innovaties (ecologisch, …) juist in kaart te brengen, zowel langs input- als outputkant (FUZZY BOUNDARIES & STABILITEIT VAN AFBAKENING) 27