NOSMO methodologendag, Utrecht, 12 november 2004 Access panels Een pleidooi voor transparantie Ineke Stoop

NOSMO methodologendag, Utrecht, 12 november 2004 Panacee of quick and dirty

NOSMO methodologendag, Utrecht, 12 november 2004 Voordelen (on-line) access panels Veel respondenten Representatief Hoge respons Gebruikersvriendelijk Goedkoop Snel Veel achtergrondinformatie Specifieke groep selecteren Deelname onafhankelijk onderwerp

NOSMO methodologendag, Utrecht, 12 november 2004 Veel respondenten “We received more than responses – twice the minimum required for scientific validity – …… while the survey did not yield a random sample and the selection probabilities are unknown, this does not mean that the survey cannot yield representative social science data”. (geciteerd in Couper, 2000) Omvang is van belang bij random steekproeven  Deelname: convenience or pre-recruitment?  Wat is de populatie? Kan ik generaliseren naar de bevolking?  Wat zijn insluitkansen? Onbekend? Verwaterd?  Kan ik betrouwbaarheidsintervallen en significanties berekenen?  Puntschattingen of verbanden

NOSMO methodologendag, Utrecht, 12 november 2004 Web surveys and panels Conductors of such surveys have in effect been seduced by the hope that large numbers, a traditional indicator of a high quality survey (because of low sampling error), will compensate in some undefined way for whatever coverage and nonresponse problems that might exist. Large numbers of volunteer respondents, by themselves, have no meaning. Ignoring the need to define survey populations, select probability samples, and obtain high response rates, together provide a major threat to the validity of web surveys. Dillman and Bowker (2001)

NOSMO methodologendag, Utrecht, 12 november 2004 Representatief Interview mode (on-line?) Dekking onder subgroepen  Ouderen, minderheden Representatief maken door extra aandacht te besteden aan moeilijke groepen Extra efforts have been made to create a considerable volume in the category of respondents with low pc-ownership figures (particularly older people and the less well educated). Wat is representatief?

NOSMO methodologendag, Utrecht, 12 november 2004 Panels en representativiteit Kruskal en Mosteller (1979)  general acclaim for data  absence of selective forces  miniature of the population  typical or ideal case(s)  coverage of the population  a vague term, to be made precise  representative sampling as a specific sampling method, or  as permitting good estimation, or  as good enough for a particular purpose.

NOSMO methodologendag, Utrecht, 12 november 2004 Hoge respons Hoge respons onder bereidwillige respondenten Hoge respons door interview mode (eigen tijd) Initiële nonrespons Although 80% to 90% of panel households cooperate on a study, the major problem with mail panels is that the initial cooperation rate of households invited to participate in a panel is often 10% or less. Sudman and Kalton (1986) Kan je respons berekenen? Hoogte respons en nonresponse bias

NOSMO methodologendag, Utrecht, 12 november 2004 Nonrespons bias Sudman and Kalton (1986) These unknown selection biases may distort the survey results, and the researcher will not be able to assess the possible distortion unless some independent check can be made. Panel dat lijkt op bevolking  Verwachting dat survey-antwoorden samenhangen met achtergrondkenmerken  Verwachting dat survey-antwoorden niet samenhangen met lidmaatschap panel (behalve via achtergrondkenmerken) Achtergrondvariabelen: correlates of causes of survey nonresponse Non-ignorable nonresponse: NMAR

NOSMO methodologendag, Utrecht, 12 november 2004 Gebruikersvriendelijk Invullen in eigen tijd  Kenmerken survey-mode, niet panel Professionele respondent Wie vult de lijst in? Kloppen personalia? (fake respondenten)  Verschillen convenience panel en pre- recruitment panel

NOSMO methodologendag, Utrecht, 12 november 2004 Goedkoop Deming (1960, p. 31): ”cost has no measure without a measure of quality, and there is no way to appraise objectively the quality of a (quota) sample as there is with a probability sample”. Geeft een goedkope aanpak resultaten van een iets mindere kwaliteit of geeft een goedkope aanpak foute resultaten? Het onderhouden en bewaken van een goed panel is ook niet goedkoop.

NOSMO methodologendag, Utrecht, 12 november 2004 Dus niet doen? Maar  Veel achtergrondinformatie  Specifieke groep selecteren  Deelname onafhankelijk onderwerp  Verschillende interview modes Misschien juist wel veel middelen om nonrespons bias te vermijden of ervoor te corrigeren (met veel voorinformatie) Kish (1998) These better methods (of quota sampling) tend to be used when the results can be checked against outside sources, such as election forecasts. This is clever and "cost effective", but should warn us against the likelihood of much greater biases from the unchecked results of quota sampling.

NOSMO methodologendag, Utrecht, 12 november 2004 Dus wel doen? Insluitkansen en initiële nonrespons vastleggen Onderscheiden tussen convenience en prerecruitment panel Onderzoek naar verschillen uitkomsten random sample en verschillen (generaliseerbaar) Misschien juist wel veel middelen om nonrespons bias te vermijden of ervoor te corrigeren (met veel voorinformatie) Because of the size of the panel and the wealth of recorded characteristics, such as socio-economic, demographic, and behavioural characteristics and details about the respondent's possessions, we can draw large and representative samples for any target group. The database contains a great deal of information about all respondents.

NOSMO methodologendag, Utrecht, 12 november 2004 Of toch niet? Random steekproeven gebaseerd op steekproeven uit kaders met een hoge dekkingsgraad en een hoge respons geven bewijsbaar weinig vertekening. Voor panels zijn niet zulke algemene uitspraken te doen. Kish (1998) These better methods (of quota sampling) tend to be used when the results can be checked against outside sources, such as election forecasts. This is clever and "cost effective", but should warn us against the likelihood of much greater biases from the unchecked results of quota sampling.

NOSMO methodologendag, Utrecht, 12 november 2004 Wat te doen? Meer onderzoek naar (on-line) access panels  Niet (alleen) vergelijken van random sample en panel Meer informatie over totstandkoming panels Geschikt voor welke doelgroep of vraagstelling? Minder opvoeren van on-line panel als DE oplossing van alle problemen rond nonrespons en van surveys in het algemeen

NOSMO methodologendag, Utrecht, 12 november 2004 En transparantie Fowler (2002) If a researcher decides to use a nonprobability sample, however, readers should be told how the sample was drawn, the fact that it likely is biased in the direction of availability and willingness to be interviewed, and that the normal assumptions for calculating sampling errors do not apply. Such warnings to readers are not common. In many cases, nonprobability samples are misrepresented seriously, and that constitutes a serious problem for the credibility of social science research. Markt research organisaties zouden hun klanten op dezelfde manier moeten voorlichten.

NOSMO methodologendag, Utrecht, 12 november 2004 Dank u voor uw aandacht