Evaluatie van gemeentelijke websites

Presentatie over: "Evaluatie van gemeentelijke websites"— Transcript van de presentatie:

1 Evaluatie van gemeentelijke websites
Leo Lentz Han van Wel

2 Cascadis 2007: start benchmarkgroep
Twee conclusies in 2007: gemeentesites houden te weinig rekening met wat de burger werkelijk wil (en kan) De Overheidmonitor wordt als beperkt ervaren: techniek viert boventoon te veel een lijst met punten die afgevinkt worden te veel op oppervlakkige kenmerken gericht geen echte indicatie van kwaliteit

3 Conclusies HCI-handbook 2008
User centered design is een standaard aan het worden De resultaten van usability evaluaties lijken sterk afhankelijk te zijn van de evaluator Er is weinig overlap tussen de resultaten van verschillende methoden Veel gebruikersonderzoek is beperkt tot een klein domein van de website Benchmarking van methoden onderling is zeer wenselijk

4 Benchmarking tussen gemeentes
Organisaties Vlissingen Borsele Den Haag Leidschendam-Voorburg Amstelveen Nijmegen Almelo Eindhoven VNG SGBO Nedstat Parantion Cascadis Datadirection GX PWC Universiteit Utrecht

5 Essentie in modellen (1):

6 Essentie in modellen (2):

7 Benchmark met 5 onderdelen
1. Bezoekers van de site geven oordelen via een survey (WEQ) over navigatie, ontwerp, inhoud (Universiteit Utrecht) 2. Via analyse logfiles worden de resultaten van de WEQ verbonden met gedrag van de invullers van de vragenlijst (NedStat) 3. Met een feedback button op de eigen site verzamelen gemeentes commentaren en suggesties van bezoekers 4. Met behulp van een scenario-analyse wordt voor vier cruciale taken een expertanalyse uitgevoerd van elke site (Universiteit Utrecht) 5. Met behulp van andere scenario’s vindt een analyse plaats van de processen aan de “achterkant” van de site.

8 1. De Survey vragenlijst (WEQ
Als het nog niet aan bod is gekomen hier vertellen waarom de WEQ interessant kan zijn voor het doel van de expertisegroep: een nieuwe benchmark. De richtlijnen van Overheid.nl zijn niet of nauwelijks opgezet vanuit de doelgroep waar het feitelijk om gaat: de burger. De WEQ daarentegen onderzoekt de gebruiksvriendelijkheid van een website, en kijkt dus naar de ‘burger’. Over de vragenlijst hebben we een website gemaakt waarop u informatie kunt vinden over de inhoud en achtergrond en over alles wat er komt kijken bij een vragenlijstevaluatie. 8

9 Website Evaluation Questionnaire
WEQ ontwikkeld in een lange en zorgvuldige procedure waarin we een aantal bestaande vragenlijsten geanalyseerd hebben, hebben nagedacht over wat webkwaliteit precies inhoudt en zo tot een eerste versie zijn gekomen. Vervolgens uitvoerig getest en steeds weer bijgesteld tot we een versie hadden die goed functioneerde en een goede betrouwbaarheidsscore had. Hoe ziet die vragenlijst eruit? De gebruiksvriendelijkheid van een website hangt af van de inhoud van de informatie, de toegankelijkheid tot deze informatie en de vormgeving ervan (in functionele zin). We hebben daarom een vragenlijst ontwikkeld die opgebouwd is uit drie categorieën: inhoud, bereikbaarheid en vormgeving. In de eerste categorie staat de inhoud van de informatie centraal. De informatie op de website moet relevant, goed te begrijpen en volledig zijn. Minstens zo belangrijk als de inhoud, is de bereikbaarheid van de informatie. De informatie op de website moet gemakkelijk te vinden zijn. In deze categorie komen de volgende aspecten aan de orde: gebruiksgemak, duidelijkheid van de links, structuur, snelheid van het laden en de zoekmachine. Zonder een goede vormgeving van de website vallen de inhoud en bereikbaarheid van informatie in het niets. Daarom wordt in de derde categorie aandacht aan de vormgeving besteed. De vragenlijst bestaat uit 25 stellingen. De gebruiker geeft bij iedere stelling aan in hoeverre hij het ermee eens of oneens is. Voorbeeldvragen Relevantie: Deze website bevat informatie waar ik wat aan heb Begrijpelijkheid: Ik vind het taalgebruik op de website duidelijk Volledigheid: De website biedt mij voldoende informatie Gebruiksgemak: Ik vind de website gemakkelijk in het gebruik Hyperlinks: De startpagina leidt mij gemakkelijk naar de informatie die ik zoek Structuur: Ik weet waar ik moet zijn om de informatie te vinden die ik zoek Snelheid: Ik vind dat het laden van een nieuwe pagina lang duurt Zoekmachine: De zoekmachine helpt mij snel de informatie te vinden die ik zoek Vormgeving: Ik vind het uiterlijk van de website onaantrekkelijk

10 Procedure vragenlijstevaluatie
De gemeente plaatst een link naar de vragenlijst Bezoekers kunnen vragenlijst invullen Resultaten worden geanalyseerd Rapport met conclusies en aanbevelingen De stappen van een vragenlijstevaluatie: de gemeente plaatst een link op de website en draagt zorg voor een goede respons. Dit kan gedaan worden door link opvallend op homepage te zetten, veel aandacht aan de evaluatie te besteden in lokale media, een prijs te verloten onder deelnemers en indien mogelijk de inzet van een digitaal panel.

11 4. Voorbeelden in de praktijk
Opvallende aankondiging op de homepage (gemeente Dordrecht)

12 Voorbeeldpagina uit vragenlijst

13 Resultaten bereikbaarheid
Gemiddelde score Bereikbaarheid algemeen 3,27 Gebruiksgemak 3,59 Navigatie 3,39 Voorbeeld uit tabel rapport Amersfoort. 471 respondenten. Scores op 5-puntsschaal, hoe hoger hoe positiever. Voordelen: groot bereik: geeft alle gebruikers van uw website gelegenheid hun mening te geven; duidelijke tabellen; snel en gemakkelijk. Goed te gebruiken om verschillende website met elkaar te vergelijken of om een voor- en nameting te verrichten wanneer u van plan bent de website te veranderen. Nadelen: representativiteit, weinig gedetailleerde feedback: moeilijk om tot diagnose problemen te komen. Lage score bereikbaarheid zegt natuurlijk wel iets over de kwaliteit van de startpagina, maar wat dan precies het probleem is maakt de vragenlijst niet duidelijk. De vragenlijst geeft dus een helder beeld van de kwaliteit, maar is daarmee ook een eerste stap en geen eindpunt. Als de score niet optimaal is, moet nader bekeken worden wat precies het probleem is en hoe de website verbeterd zou kunnen worden. Hiervoor hebben we drie methoden die meer de diepte ingaan en zo duidelijk maken waar gebruikers precies tegenaan lopen: Infocus, hardopdenkmethode en eye tracking.

14 Oordelen van gebruikers vergeleken

15 WEQ tot nu toe Gemeentes Amersfoort Apeldoorn Dordrecht Deventer
Nijmegen Purmerend Utrecht Zwartewaterland Resultaat Ranking van deelnemers op de dimensies: Navigatie Inhoud Ontwerp gebaseerd op oordelen van burgers die de site gebruiken.

16 2. Feedback button Op elke pagina: Het feedback formulier

17 Resultaat feedback button
Analyses uitgevoerd op feedback van Rotterdam (2007) Utrecht (2007) De feedback button oogst veel bijvangst Vragen (wanneer komt Sinterklaas in Utrecht?) Commentaar op beleid en personen Verzoek om gegevens te corrigeren Verzoek om bepaalde informatie te plaatsen Meldingen en aanvragen die doorgeleid moeten worden Oogst van Utrecht in 16 maanden: 8000 reacties Dat zijn er 500 per maand

18 Classificatie van feedback
Vu Anh (2007) “Uw opmerkingen over de website horen wij graag” Scriptie Universiteit Utrecht

19 3. Scenario evaluatie Belangrijke verschillen:
geen oordelen van bezoekers maar van experts Beperkt tot een klein domein van de site niet kwantitatief (zoals de WEQ) maar kwalitatief Kenmerken: Identificatie van aantal cruciale taken die mensen goed op de site moeten kunnen uitvoeren Uitschrijven scenario’s op die taken kenmerken gefingeerde gebruiker concrete vragen van gebruiker Analyse door expert met Infocus

20 Voorbeeld van een scenario
Mevrouw Jansen woont in een huurwoning in Apeldoorn. Zij heeft van de verhuurder het aanbod gekregen om de woning waarin zij woont te kopen voor € ,-. Zij zou graag op dit aanbod ingaan, maar de prijs is eigenlijk te hoog. Zij heeft wel eens gehoord dat gemeenten financiële steun geven aan mensen die voor het eerst een woning kopen. Zij gaat op de website zoeken of de gemeente Apeldoorn een regeling heeft om nieuwe kopers te steunen en of zij voor deze regeling in aanmerking komt. 1a. Hoe heet de regeling waarmee de gemeente Apeldoorn financiële steun geeft aan mensen die voor het eerst een woning kopen? 1b. Komt zij als koper in aanmerking voor deze steun? Waarom wel/niet? 1c. Hoe zou zij een aanvraag kunnen indienen voor deze steun? Kenmerken: mevrouw Jansen is nog niet zo heel erg ervaren op het Internet. Ze surft weinig en voelt zich gauw onzeker. Ze heeft echter wel een goede opleiding en wil graag het naadje van de kous weten. Ze leest alles wat maar relevant lijkt en geeft niet gauw op.

21 Infocus: mensen voeren een aantal taken uit op een website en kunnen commentaar geven op ieder aspect van de website dat ze relevant vinden. De website ziet eruit zoals altijd, met het enige verschil dat er bovenin een commentaarknop zit. Als ze daarop klikken komen ze in het scherm dat jullie nu zien. Ze markeren het gedeelte waarom het gaat (pijl, kader, streep), beschrijven hun feedback en delen dit in in een categorie.

22 Overzicht met annotaties
Overzicht met annotaties. Mensen schrijven van alles op over de website en ook op de startpagina komt dus allerlei feedback. Uit ons onderzoek kwam bijvoorbeeld een aantal keren een opmerking over de onduidelijkheid van de startpagina van Amersfoort. Mensen konden niet goed vinden welke link ze hier moesten kiezen om bij de informatie te komen die ze zochten. De één is beter is staat dan de ander om zo’n probleem heel duidelijk te omschrijven. Soms is er nog behoorlijk wat interpretatie nodig van de onderzoeker om tot een diagnose vh probleem te komen. Een belangrijke oorzaak van de onduidelijkheid van de startpagina werd duidelijk toen we proefpersonen op de site lieten werken en daarbij een combinatie van eye tracking en de hdm toepasten.

23 Scenario’s tot nu toe Scenario-evaluaties: Formulieren van Amsterdam
Website van Utrecht Amersfoort Dordrecht Gemeentes provincie Gelderland (

24 In het laboratorium (niet in benchmark)
Hardop denken Tijdens taakuitvoering Na het uitvoeren van de taak (retrospectief) Registratie oogbewegingen Proefpersonen voeren taken uit Oogbewegingen worden geregistreerd Meestal in combinatie met hardop denken Altijd in combinatie met de vragenlijst (WEQ) Uitgevoerd op sites van Amersfoort, Apeldoorn, Dordrecht en Nijmegen (N=240)

25 Benchmark tot nu toe Een interessante werkgroep met een veelbelovende combinatie van gemeentes en experts in usability Grote bereidheid om een stap verder te zetten in kwaliteitszorg voor gemeentes op het Web Uitstekend plan voor een pilot ontwikkeld met een interessante combinatie van methoden Interessant aanbod van marktpartijen om daar tegen bodemprijzen aan mee te werken Uitdagingen: financiering vinden bij de betrokken gemeentes budget Relatie ontwikkelen met landelijke initiatieven (ICTU en BZK) Inbedden in benchmark-ambities VNG

26 Conclusies Benchmark Eerste waardevolle aanzet in de richting van serieuze kwaliteitszorg voor het web Sterke punten: Gemeentes werken samen en leren van elkaar Organisaties met expertise in usability werken samen Diverse metingen / instrumenten waardoor de resultaten veel betrouwbaarder zijn Ervaringen van gebruikers worden gecombineerd met expert-oordelen Zowel globale kwantitatieve resultaten als meer diagnostische kwalitatieve resultaten Zowel aandacht voor de voorkant als de achterkant Problemen: Gemeentes hebben nauwelijks budget Geen overkoepelende ondersteuning