Surveys via telefoon en web, kan dat wel? Aan de bal!, VSO-presentatiedag, 3 juni Reinder Banning & Barry Schouten Centraal Bureau voor de Statistiek

Surveymodes Tot 70’er jaren: schriftelijke vragenlijst per post of aan deur 70’er jaren: telefonisch interviewen in opkomst vanuit VS 80’er jaren: computer-ondersteunde vragenlijsten (CATI, CAPI) 90’er jaren: opkomst internet en mobiele telefoon Trend: afnemende registratie van telefoonnummers en toenemend gebruik en toegang tot web. Gevolg: Opkomst van panels, combinaties van survey modes

Combinaties van modes (mixed-mode) n Woningmarktmodule ( ): web, CATI, CAPI n Integrale Veilgheidsmonitor ( ): web, CATI, CAPI, papier n Arbeidsparticipatie (2009): web, papier, CATI n AVO Cultuuronderzoek (2009): web, CATI n Sociaal Fysiek (2009): web, CATI, CAPI n Gezo (2010): web, CATI, CAPI (deel 1), web, papier (deel 2) n EBB (2010): CATI, CAPI n Vrijwilligerswerk en Sociale Samenhang (2010): web, CATI, CAPI. n Voorjaars Veiligheidsmonitor (2010): web, papier, CATI, CAPI n Onderzoek Verplaatsingen in Nederland (2010): web, CATI, CAPI.

Wat is een mixed-mode benadering? Mixed-mode = meerdere survey modes in één onderzoek Meerdere contact modes ook mogelijk maar niet mixed-mode Varianten: gelijktijdig, sequentieel of combinatie CBS-waarneemstrategie: Start met goedkoopste survey modes en zet duurdere modes alleen in als dit voor kwaliteit (dekking, respons, meetfouten) nodig is.

Voorbeelden n VMR pilots 2006 en 2007, EBB 2010 en GE 2010 n Pilot EBB 2005 Steekproef TelefoonPersoonlijkTelefoonPersoonlijk Web ResponsNonrespons Persoonlijk Respons Nonrespons Web Telefoon Persoonlijk

Voorbeelden - vervolg n Pilot Informele Economie 2006 n KorteTermijn Statistieken (EU) Telefoon Web ResponsNonrespons Steekproef PapierDigitaal

Waarom eigenlijk mixed-mode onderzoek? Motieven:  Modern; internet in opkomst  Kwaliteit; op maat maken strategie  Kosten Uitgangspunten: 1. Vergelijkbare kwaliteit bij minder kosten 2. Hogere kwaliteit bij gelijkblijvende kosten

Wat is kwaliteit? Onderzoek gebaseerd op kanssteekproef uit GBA  Dekking; doelpopulatie dient toegang te hebben tot mode(s)  Respons; doelpopulatie dient mee te willen/kunnen doen  Meetfout; respondent dient valide antwoord te geven Concentratie op vertekening door onderdekking en non-respons

Mixed-mode en kwaliteit Uitgangspunt kwaliteitsverbetering  Kunnen we hogere dekking bereiken?  Kunnen we hogere respons halen?  Kunnen we een betere samenstelling van respons halen? Uitgangspunt kostenreductie  Kunnen we dezelfde dekking bereiken?  Kunnen we vergelijkbare respons halen?  Kunnen we vergelijkbare samenstelling van respons halen? Algemeen  Welke invloed heeft onderdekking/respons op vergelijkbaarheid?

Voor- en nadelen van mixed-mode Voordelen  Kosten; dure modes alleen inzetten indien echt nodig  Respons; op maat maken benadering  Dekking; meerdere modes = hogere dekkingsgraad Nadelen  Vragenlijstontwerp; complexer en tijdrovender  Logistiek; complexer door meerdere stromen  Vergelijkbaarheid over domeinen en in tijd staat onder druk door verschuivingen in de dekking van modes en door mode- effecten

Surveyfouten - onderdekking Interviews aan de deur en via post kennen (in principe) geen onderdekking mits steekproefkader gelijk is aan GBA. Op CBS alle mixed-mode onderzoeken hebben tenminste CAPI of schriftelijk. Hoe zit het met onderzoeken zonder een van beide modes?

Surveyfouten - onderdekking Gemeten percentages dekking respons GEZO 2009 Kwaliteit van logistische regressie-modellen: Telefoon: 18 – 20% Internet: 45 – 49% Telefoon en/of internet: 25 – 27% Een mixed-mode onderzoek dat aan-huis en/of papier inzet heeft 100% dekking. Geen web WebTotaal Geen geregistreerde telefoon 3%27%30% Geregistreerde telefoon 10%60%70% Totaal13%87%

De situatie in de EBB 2009 was als volgt: Landsdeel Noord Landsdeel Oost

Landsdeel West Landsdeel Zuid

Surveyfouten - onderdekking Lage dekking telefoon niet-westerse allochtonen, alleenstaanden, ongehuwden, jongeren, stedelijke gebieden, lage inkomens/WOZ, werkloos, lager opgeleid, geen vakantie, geen kerkelijke gezindte of Islamiet, geen dagblad, ontevreden, rokend Lage dekking internet: alleenstaand, ouderen, lage inkomens/WOZ, niet-beroeps, lager opgeleid, geen vakantie, slechte gezondheid, langdurig ziek, kerkelijke gezindte, contact huisarts, minder gelukkig, minder tevreden Lage dekking telefoon en/of internet: alleenstaand, geen vakantie, niet-beroeps

Surveyfouten - onderdekking Dekking afgezet tegen gemiddelde WOZ waarde In alle gevallen: lage WOZ = minder telefoon en minder web Laagste dekking web: 1.Sterk stedelijke gebieden met lage WOZ in noorden en westen 2.Matig stedelijke gebieden met lage WOZ in westen en zuiden Laagste dekking telefoon registratie: 1.Sterk stedelijke gebieden met lage WOZ in westen, oosten en zuiden 2.Matig stedelijke gebieden met lage WOZ in oosten

Surveyfouten - responscijfers OnderzoekRegulierMixed-mode VMR %63% VMR 2007 – geen aankondiging 68%61% VMR 2007 – één rappel 68%66% VMR 2007 – twee rappels 68%67% Informele Economie %53% EBB %76% Responscijfers benaderen die van enkele modes

Surveyfouten – selectiviteit respons OnderzoekRegulierMixed-mode VMR %81% Informele Economie %78% EBB %77% EBB 2005 – telefoon 85%87% Representativiteitsindicator: leeftijd, herkomst, stedelijkheid, type huishouden Conclusies: Een vergelijkbare samenstelling van respons is mogelijk Slecht responderende groepen blijven slecht responderend Groep zonder geregistreerde telefoon compliceert mixed-mode

Surveyfouten – selectiviteit respons Hoe zit het met regionale verschillen in respons? Tussen provincies en steden grote verschillen in responscijfers Als we rekening houden met samenstelling van bevolking dan blijft echter alleen stedelijkheid en gemiddelde WOZ over

Pure mode effecten Responsgedrag voorbeelden  Keuze voor eerste antwoord (primacy) - papier  Keuze voor laatste antwoord (recency) - CATI  Instemmen met interviewer (acquiescence) – CATI, CAPI  Sociaal wenselijke antwoorden – CATI, CAPI  Non-differentiatie – web, papier  Geen mening/Weet niet – web, papier  Cognitief belastende vragen – CATI Mixed-mode maakt pure mode effecten zichtbaar. Opties 1. Uni-mode design 2. Cognitieve equivalent design

Editing en schatten  Editing: In electronische vragenlijsten kunnen, itt schriftelijke vragenlijsten, editregels ingebouwd worden. Plausibiliteit en consistentie worden afgedwongen. Editing is daarmee een onderdeel geworden van het vragenlijstontwerp.  Weging en analyse: De survey mode van respons kan genegeerd worden in de weging. Echter, weegvariabelen kunnen effectiever ingezet worden door per survey mode apart te wegen.

Logistiek  Logistiek neemt door meerdere stromen van steekproefpersonen en tussentijdse toewijzingen aan andere survey modes aanzienlijk toe  Mixed-mode niet uitvoerbaar zonder duidelijke onderzoeksdefinities en geavanceerd administratiesysteem

Conclusies  Surveys met enkel telefoon of web kennen selectieve onderdekking  Surveys met web kennen bovendien een lage respons  Mixed-mode surveys met telefoon of web als een van de modes kan oplossing bieden, maar:  Vergelijkbaarheid van statistieken staat onder druk als mode- effecten optreden binnen inkomen, WOZ, opleidingsniveau, dagbladabonnement, gezondheid en vakantiegedrag (telefoon, web), rookgedrag (telefoon)

Conclusies  Een mixed-mode onderzoek kan als het gaat om dekking en respons de kwaliteit van een aan-huis onderzoek benaderen bij aanzienlijk lagere kosten (tot 25%)  Slecht responderende groepen vragen om een aangepaste benaderingsstrategie; ze doen het in alle modes minder goed  Een mixed-mode onderzoek kan als het gaat om dekking en respons de kwaliteit van een aan-huis onderzoek niet eenvoudig verbeteren bij ongeveer gelijkblijvende kosten  Pure mode effecten vragen om een gedegen voorbereiding van het vragenlijstontwerp en zetten hoe dan ook de vergelijkbaarheid over domeinen en tijd onder druk  Mixed-mode benadering speelt ook in de verwerking een rol

Richtlijnen  Maak een zorgvuldige afweging welke modes geschikt zijn gegeven het responsgedrag dat verwacht kan worden  Stem vragenlijstontwerp al af met verwerking  Als vergelijkbaarheid in de tijd belangrijk is, ga dan voorzichtig om met web en telefoon vanwege de veranderende dekking  Als vergelijkbaarheid tussen deelpopulaties belangrijk is kies dan survey modes die vergelijkbaar responsgedrag laten zien  Begin met goedkope survey modes maar maak aan respondent bekend dat duurdere survey modes volgen indien niet wordt gereageerd  Weeg nonrespons per survey mode