Vragenlijstontwikkeling op het CBS: van pre-test tot evaluatie Deirdre Giesen Centraal Bureau voor de Statistiek Divisie Methodologie en Kwaliteit d.giesen@cbs.nl VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009 Inhoud presentatie Impressie van CBS vragenlijsten Organisatie vragenlijst ontwikkeling Ontwikkelproces vragenlijsten Voorbeeld: PS vragenlijst Voorbeeld: IIT vragenlijst Vragen en discussie VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

Soorten vragenlijsten Zeer diverse onderwerpen en groepen respondenten Huishoudens, personen, instellingen, bedrijven. CAWI, CATI, CAPI, e-mail, papier. Vooral feitelijke vragen: bijv. omzet, vierkante meters winkeloppervlak, doktersbezoek, werkzame status et cetera. VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009 Top 10 statistieken met enquêtering (naar steekproefomvang per jaar, * = panelonderzoek) Naam statistiek Steekproef Eenheid Modi Productiestatistiek 75.000 Bedrijven Internet, papier & XBRL Enquête Beroepsbevolking* 64.000 Huishoudens CAPI & CATI Investeringen en lease 61.000 Papier Wegvervoer 60.000 Kentekens Internet, papier & XML Korte termijn statistiek * 40.000 Internet, e-mail & papier Veiligheidsmonitor 37.500 Persoon Internet, CATI, CAPI & papier Budget onderzoek 37.000 Huishouden CAPI, CATI & papier Bedrijfstelling 35.000 Internet & papier Conjunctuurenquête 21.500 Internet, CATI & papier Dagrecreatie* 21.000 CATI VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

Organisatie waarneming CBS Centralisering van alle waarneming Vragenlijsten in alle modes Upload bestanden XBRL Registers Generieke processen en systemen VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

Belangrijkste doelen bij vragenlijstontwikkeling Kwalitatief goede data verzamelen (valide, betrouwbaar, nauwkeurig, relevant, tijdig). Met zo min mogelijk belasting van respondenten. Tegen zo laag mogelijke kosten. VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

Ontwikkelproces vragenlijst VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

Soorten tests / evaluaties informele tests expert raadpleging kleinschalige, kwalitatieve test functioneel en technisch testen kleinschalige, operationele test (pilot) grootschalige tests: experimenten, pilots analyse van procesdata analyse van surveydata VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

Voorbeeld 1: Herontwerp vragenlijst productiestatistieken PS-vragenlijst: Gedetailleerde uitvraag van kosten en opbrengsten bedrijven Papier Circa 75.000 bedrijven in steekproef Praktisch alle branches en grootteklassen VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

Aanpak herontwerp vragenlijst productiestatistieken (2003-2006) Twee sporen beleid: Reduceren uitvraag Inventarisatie output Gebruik secundaire bronnen Verbeteren uitvraag Evaluatie oude vragenlijst Herontwerp + test Pilot (2006) Implementatie (2007) Evaluatie VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

Evaluatie oude vragenlijst stap 1: Analyse van beschikbare informatie: Reeds bestaande nota’s over de PS Ingevulde formulieren Focusgroepen met mensen van helpdesk, buitendienst, gaafmaken en analyse Coderen van ruim 2000 inhoudelijke opmerkingen van respondenten Hoogte en snelheid respons Kwaliteit verzamelde data: item non respons en plausibiliteit VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009 Evaluatie oude vragenlijst stap (2): Kwalitatief onderzoek responsproces Telefoongesprekken non-respondenten (14) Bedrijfsbezoeken respondenten (27) deels observatie – deels nagesprekken VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

Vernieuwde huisstijl: 2. Onderzoek naar de PS << Vernieuwde huisstijl: 2. Onderzoek naar de PS Q oud VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

Belangrijkste conclusies Responslast is hoog en motivatie laag Correcties kosten veel tijd Layout formulier veroorzaakt fouten Structuur formulier onhandig Toelichtingen worden niet gelezen VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009 Wijzigingen Reductie aantal items (van gemiddeld 119 naar 92) Andere structuur van de vragenlijst (soortgelijke vragen meer bij elkaar) Andere redactie toelichtingen (korter) Herziene layout papieren vragenlijst Ontwikkeling elektronische vragenlijst VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

Ontwikkeling nieuwe vragenlijst Papieren vragenlijst (verschillende varianten): Test met CBS medewerkers Test met bedrijven (n=26) Elektronische vragenlijst (verschillende prototypes, test + pilot) Online ‘tabblad’ variant test met CBS medewerkers Offline – CD ‘tabblad’ variant getest bij 37 bedrijven Offline- downloadable ‘herontwerp’ variant getest bij 6 bedrijven Pilot 7800 bedrijven (5 waarneemdomeinen) VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

Eerste prototype e-vragenlijst VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

Pilot versie e-vragenlijst VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009 Evaluatie nieuwe PS Bedrijfsbezoeken (N=20) Telefonische enquête respondenten (N=2210 oude design en N=2499 nieuwe design) Analyse responsedata VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

Belangrijkste uitkomsten Overall respons blijft gelijk (80%) E-respons hoog (80%) Responstijd daalt (135  105 dagen) Invultijd daalt (4 3 uur) % dat invullen moeilijk vindt daalt (6857) Waardering voor CBS blijft gelijk (6,5) VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009 Voorbeeld 2: Pilot IIT IIT bevolking: bevolking in Instellingen, Instituties en Tehuizen Doel: onderzoek of en hoe regulier survey naar gezondheid kan worden uitgevoerd onder bewoners van verzorgingshuizen en verpleeghuizen. Deel van strategisch onderzoeksprogramma “non-respons en moeilijk waarneembare groepen” (samenwerking tussen CBS en oa Universiteit Utrecht) VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009 Ontwikkelproces Literatuuronderzoek + expertraadpleging Ontwikkeling concept vragenlijst en benadermethode Interviews met contactpersonen tehuizen en cliëntenraden (N=6) Herziening methode Kwalitatieve testinterviews bewoners (N=6) Herziening methode en vragenlijst Pilot met 3 interviewers, 6 tehuizen, 9 bewoners. Pilot met 537 bewoners VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

Overall conclusies Pilot IIT (Feskens, 2009) 1) Enquêtering is goed mogelijk onder bewoners verpleeg- en verzorgingstehuizen met enige aanpassingen: Vraagstellingen eenvoudiger Steekproeftrekking door interviewer bij verpleeghuizen Screening om enquêteerbaarheid te bepalen Familieenquête voor niet- enquêteerbare personen 2) Bevolking verpleeg- en verzorgingstehuizen wijkt af van leeftijdgenoten die zelfstandig wonen. VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009 Meer informatie Informatie over o.a. gebruikte vragenlijsten, onderzoeksdesigns en methodologisch onderzoek: www.cbs.nl/nl-NL/menu/methoden/default.htm Feskens, R. (2009) Difficult Groups in Survey Research and the Development of Tailor-Made approach strategies. Dissertatie: Universiteit Utrecht Giesen, D & Hak, T. (2005) Revising the Structural Business Survey: From a Multi-Method Evaluation to Design. Proceedings of the Federal Committee on Statistical Methodology Research Conference, November 14-16 2005, Arlington, Virginia Giesen, D. (2007b). The Response Process Model as a Tool for Evaluating Business Surveys. Proceedings 3rd International Conference on Establishment Surveys (ICES-3), 18- 21 June, Montreal, Canada, pp 871-880. Alexandria, VA: ASA. Snijkers, G. (2002) Cognitive Laboratory Experiences. On Pre-testing Computerized Questionnaires and data quality. Dissertatie: Statistics Netherlands/Utrecht University. Snijkers, G., Onat, E. & Vis-Vischers, R. (2007). The Annual Structural Business Survey: Developing and testing an electronic form. Proceedings 3rd International Conference on Establishment Surveys (ICES-3), 18-21 June, Montreal, Canada, pp 456-463. Alexandria, VA: ASA. VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009