Methodiek om het doelbereik van het beleidsnota GIDEON te meten Lukasz Grus – Wageningen University Arnold Bregt – Wageningen University Joep Crompvoets – Katholieke Universiteit Leuven Watse Castelein – Geonovum Theo Overduin – Geonovum Bastiaan van Loenen – Geonovum/TU Delft Annemarie van Groenestein - Geonovum Abbas Rajabifard – University of Melbourne Goede middag dames en heren. In mijn presentatie zal ik de methodiek om doelbereik GIDEON te meten voorstellen en beitje omschrijven. De methodiek is ontwikkeld door samenwerking van WUR, GEONOVUM en met de ondersteuning van collega KUL en Melbourne Universiteit

Achtergrond Tussenrapportages over de voortgang GIDEON Alleen de status en implementatie van de gedefinieerde mijlpalen Het GIDEON doelbereik is niet gemeten Opdracht van het Ministerie van VROM Geen methodiek om GIDEON doelbereik te meten WUR en Geonovum initiatief om een bruikbare methodiek te ontwikkelen Eerst, de achtergrond van de/het project. In laatste 2 jaren heeft Geonovum een tussenrapportage over de voortgang van GIDEON afgerond. Maar de tussenrapportage geeft alleen de status en implementatie van de gedefinieerde mijlpalen. De volgende stap is om 4 GIDEON doelen bereik te meten. Er was en opdracht van de ministerie van VROM om het GIDEON doelbereik te meten. Maar er was geen methodiek beschikbaar. In het kader van de verankering van het RGI project “raamwerk ter beoordeling van nationale ruimtelijke data infrastructuren” is door WUR (die RGI-project uitvoert) en Geonovum (opdracht van de ministerie aannemer) gezamenlijk het initiatief genomen om een methodiek te ontwikkelen en toe te passen voor GIDEON.

Doelstelling Methodiek „doelbereik GIDEON” ontwikkelen / kiezen toepassen evalueren Het doel van de/het project is om methodiek om GIDEON doelbereik te meten, te ontwikkelen (misschien kiezen van de bruikbare methoden) , toepassen en ook evalueren (vandaag) In mijn presentatie zal ik het vooruitgaan van de methodiek presenteren.

Methodiek voorstel Nederlandse SDI als test case Deze plaatje toont het methodiek voorstel. De methodiek bestaat uit vier delen. De eerste deel gaat over behoefte aan SDI beoordelen vaststelling. De tweede over de benadering/aanpak ontwikkeling om doelbereik te meten. Het derde is de aanpak toepassing en de vierde is om de heel methodiek te evalueren. In de volgende plaatjes zal ik elk deel in meer detail omschrijven. GIDEON is de aanleiding voor dit onderzoek en tegelijk de testcase voor de ontwikkeling en toepassing van de methodiek.

Deel 1 Behoefte Om het Nederlandse SDI doelbereik te meten Wensen vanuit de opdracht van het Ministerie van VROM In de eerste deel (de behoefte) is gekeken naar de wensen vanuit de opdracht van VROM en het perspectief van het GI-beraad. Dit is gecombineerd met de algemene bestaande methodieken en evaluatiemodellen om doelen te monitoren.

Deel 1 Behoefte Hansen (2005) Daroom is het misschien goed om naar de algemene wetenschappelijke classificatie van evaluatie modelen te kijken. Dit platje geeft verschillende evaluatie modellen die uit de evaluatie literatuur komen. Volgens ons, het beste model die in het opdracht van de ministerie past is een goal-attaintment model. Het vraag is: wat is het doelbereik van bijv. Programma, etc. (GIDEON is een voorbeeld van het programma) De criteria om dat te weten zijn van de doelen zelfs gekregen. Dit model (goal-attainment model) is de wetenschappelijke basis om met doelbereik GIDEON model ontwikkeling verder te gaan. Hansen (2005)

Deel 2 Aanpak Stap 1: SDI doelen vaststellen Deel 2 van de methodiek gaat over het doelbereik aanpak ontwikkeling. Het doel van de eerste stap is om de doelen van SDI vast te stellen. De doelen zijn de basis voor de beoordeling criteria. GIDEON definieert vier algemene doelen. Deze doelen gebruiken wij als het startpunt om de aanpak te ontwikkelen. Dat hebben wij gedaan.

Stap 2: Lange lijst met indicatoren samenstellen Deel 2 Aanpak Stap 2: Lange lijst met indicatoren samenstellen Indicatoren van de Multi-view SDI assessment framework (Grus et al., 2007) lijst met 72 indicatoren Sterkte: indicatoren zijn meetbaar en toegepast Nieuwe indicatoren ook mogelijk Om doelbereik te meten moeten wij correcte indicatoren hebben. En de tweede stap gaat over de kwestie van indicatoren. Als basis, gebruikte wij indicatoren van de Multi-view SDI assessment framework (de MVAF is een resultaat van mijn onderzoek NSDI beoordeling raamwerk). Lijst van 72 indicatoren. De indicatoren komen uit vier SDI beoordeling methodieken die bruikbaar zijn. De reden voor deze keuze is dat de indicatoren meetbaar en toegepast zijn. De lijst is ook open voor de nieuwe indicatoren. Ook vertellen hoe je aan de lange lijst met 72 indictoren bent gekomen.

Stap 3: Vaststellen van meest betrokken organisaties bij SDI Deel 2 Aanpak Stap 3: Vaststellen van meest betrokken organisaties bij SDI Lijst met organisaties die betrokken waren om GIDEON te ontwikkelen Onze benadering is om de mensen die de beste kennis over SDI hebben in het proces van methode ontwikkeling te betrekken. In deze stap hebben wij de organisaties vastgesteld die het meest betrokken bij GIDEON zijn. De lijst komt uit het GIDEON document.

Stap 4: Organiseren van workshop Deel 2 Aanpak Stap 4: Organiseren van workshop 22 Oktober 2008 2 vertegenwoordigers per betrokken organisatie totaal van 23 vertegenwoordigers 1 dag, 2 sessies Het doel van de vierde stap is om de indicatoren verbinden met de GIDEON doelen. De vraag is welke indicatoren elk doelbereik het best kunnen meten? Om deze te beantwoorden, hebben wij op 22 Oktober 2008 een workshop georganiseerd. De deelnemers, vertegenwoordigers van betroken organisaties, hebben de indicatoren gekozen die het best elke doelbereik kunnen meten.

Stap 5: Kiezen van indicatoren en deze verbinden met doelen Deel 2 Aanpak Stap 5: Kiezen van indicatoren en deze verbinden met doelen Indicatoren per doel, meer dan 5 keer genoemd door deelnemers workshop Het resultaat is de lijst met indicatoren per doel. Dit plaatje toont de indicatoren die meer dan 5 keer genoemd zijn door de deelnemers.

Deel 2 Aanpak Sessie Geonovum en WUR (expert team) Stap 6: Aanpak afronden Sessie Geonovum en WUR (expert team) Evaluatie indicatoren: Methodiek en meetbaarheid indicator Schaal indicator Representativiteit indicator Doelwaarde indicator In deze stap zijn per doel alle indicatoren die meer dan vijf keer genoemd zijn en de door betrokkenen gesuggereerde indicatoren stuk voor stuk geëvalueerd, waarbij per indicator gekeken is naar de volgende criteria: Methodiek en meetbaarheid indicator; Schaal indicator; Representativiteit indicator; Doelwaarde indicator Voor de uitvoerbaarheid is bij het selecteren van de geschikte indicatoren besloten om in eerste instantie het aantal indicatoren per doel te beperken tot 2 á 3.

Indicator measuring goal realization Deel 2 Aanpak Stap 6: Om aanpak af te ronden SDI goal Indicator measuring goal realization Goal 1: the public and businesses will be able to retrieve and use all relevant geo-information about any location. Indicator 1. The number of visitors of the Dutch national georegister. Indicators 2. Availability of datasets and services Indicator 3. The use of view and download services Goal 2: businesses will be able to add economic value to all relevant government-provided geo-information Indicator 1. General governmental policy terms for (re)use of geographical information. Indicator 2. The percentage of datasets from GIDEON annex 1 that are available without any restrictions Indicator 3. Yearly turnover of the geo-information business in the Netherlands. Goal 3: the government will use the information available for each location in its work processes and services Indicator 1. The level of cooperation within 5 chains of the GIDEON. Indicator 2. The use of geo information within e-government processes Goal 4: the government, businesses, universities and knowledge institutes will collaborate closely on the continuing development and enhancement of the key facility. Indicator 1. The number of Geo-information events Indicator 2. The number of unfulfilled vacancies in geo-sector Indicator 3. Expenditure of Geo ICT sector in the Netherlands on research and development. Indicator 4. Expenditure of research sector on R&D. Het eindresultaat is de lijst met geëvalueerde indicatoren.

Deel 3: Toepassing Alle indicatoren zijn gemeten. Resultaten meting indicatoren – PPT Geonovum (Theo Overduin / Annemarie van Groenestijn) De volgende stap is om de methodiek toe te passen. Dat betekend dat elk indicator gemeten moet zijn. Theo zal in de volgende presentatie de eerste meet resultaten presenteren. Voor deze en volgende slide: Gaat Theo ook in op de evaluatie van de idicatoren? Zijn de indicatoren echt zo handig gebleken als in eerste instantie is gedachT/ Of kunnen er bij nader inzien nog andere indicatoren bij?In andere woorden: stap 6 nogmaals herhalen  deze discussie moet wel gevoerd worden, hetzij in deze presentatie, hetzij in die van Theo

Deel 4: Evaluatie Beoordelen GIDEON doelbereik Wat betekenen de waarden van de indicatoren voor opdrachtgever/voor GEONOVUM? Deel 4 is de evaluatie van GIDEON doelbereik. Dit is, volgens mij, het belangrijkste moment voor de GIDEON evaluatie. Hier moeten wij evalueren wat de waarden (cijfers) van de indicatoren betekenen voor het GIDEON doelbereik. Het resultaat van dit deel moet een duidelijk antwoord geven op de vragen van het ministerie. Voor deze en vorige slide: Gaat Theo ook in op de evaluatie van de idicatoren? Zijn de indicatoren echt zo handig gebleken als in eerste instantie is gedachT/ Of kunnen er bij nader inzien nog andere indicatoren bij?In andere woorden: stap 6 nogmaals herhalen  deze discussie moet wel gevoerd worden, hetzij in deze presentatie, hetzij in die van Theo Mee eens! Hoe gaan we alle deelnemers vragen naar hun mening over de bruikbaarheid van de gekozen en gemeten indicatoren?

Evaluatie methodiek Deze evaluatie is belangrijk om methode te beoordelen en verbeteren Straks vragen wij jullie om enquête in te vullen. Ik nodig jullie uit om jullie mening over de methodiek en resultaten door te geven. Aangeven hoe men opmerkingen/ mening over de methode doorgeven? E-mail adres op deze slide vermelden?

Wat verder? Gebruik van de resultaten van de methodiek: WUR – proefschrift Lucas Grus Geonovum – Voortgangsrapportage GIDEON tbv GI-beraad in december 2009 Wat nu verder? Het is ook interessant om te weten op welke manier de resultaten gebruikt (door ministerie?) worden.