Presentatie Vragenlijsten Tessa de Haas Carla Heijms Cecilia Janssen

Peter de Wit

Inleiding Niet ons eigen onderzoek Maar een onderzoek over non-respons

Vragenlijsten bij onderzoek naar formuleringeffecten Voor ons onderzoek naar formuleringeffecten hebben 160 respondenten deelgenomen. Welke moeilijkheden hebben wij daarbij ondervonden? -Groot aantal respondenten -Medewerking; soms wel/soms niet Wat hebben jullie ondervonden?

Wat vinden Nederlanders eigenlijk van een vragenlijst/enquête? Onderzoek uitgevoerd in opdracht van het Sociaal en Cultureel Planbureau Proefschrift Ineke Anezka Lucia Stoop (2005) De jacht op de laatste respondent Non-respons in steekproefonderzoek

De jacht op de laatste respondent Non-respons in steekproefonderzoek 'Ik kan alleen maar op zondagochtend, om zeven uur,' zei de hardnekkige weigeraar. 'Dat is goed,' antwoordde de interviewer. 'U houdt echt niet op voordat ik de vragenlijst heb beantwoord, hè. Komt u dan maar binnen, dan doe ik het nu.' 'Die man wou helemaal niet meedoen,' zei de ene interviewer tegen de andere. 'Maar toen vond-ie het toch goed en was hij niet meer te stuiten toen ik naar zijn mening over de politiek en de Europese Unie vroeg.'

De jacht op de laatste respondent Non-respons in steekproefonderzoek (1) In Nederland is het steeds moeilijker om een hoge respons te krijgen. Dit maakt onderzoek onder steekproeven uit de bevolking lastig en kostbaar. Een lage respons roept vragen op over de betrouwbaarheid van de uitkomsten van onderzoek. In de studie wordt ingegaan op de achtergronden van non-response en de mogelijkheden om deze non-response te verminderen.

De jacht op de laatste respondent Non-respons in steekproefonderzoek (2) Het grootste probleem van non-respons is: De validiteit, omdat sommige groepen over- en andere ondervertegenwoordigd raken.

De jacht op de laatste respondent Non-respons in steekproefonderzoek (3) Diepgaande analyse van non-respons bij het Aanvullend Voorzieningengebruikonderzoek 1999 van het SCP. Een steekproef van personen die niet aan dit onderzoek wilden meedoen werd enkele maanden later benaderd met een korte vragenlijst over voorzieningengebruik. Het merendeel bleek bereid om de vragenlijst te beantwoorden. Vergelijking van de resultaten van de respondenten die de lange vragenlijst hadden ingevuld met die van de korte vragenlijst van de overgehaalde weigeraars, maakte het mogelijk precies aan te geven tot welke vertekening non- respons leidt, en of extra inspanningen niet alleen tot een hogere respons leiden, maar ook tot betrouwbaarder resultaten.

Een hoge respons is mogelijk en belangrijk Veel sociaal-wetenschappelijk onderzoek is gebaseerd op steekproeven uit de bevolking. Deze kunnen een goed beeld geven van de gehele bevolking als de respons hoog is. Bij een lage respons is het risico groot dat de resultaten van een survey bepaald worden door mensen die veel thuis zijn, het onderwerp interessant vinden of het leuk vinden om vragenlijsten in te vullen. Een hogere respons, ook onder mensen die veel weg zijn, of niet in surveys of het onderwerp zijn geïnteresseerd, is haalbaar als deelname op veel verschillende manieren mogelijk en aantrekkelijk wordt gemaakt. -Op een geschikte tijd benaderen. -Nog een keer terugkomen als dat beter uitkomt. -Zelf laten bepalen of de vragenlijst schriftelijk, telefonisch, mondeling of via internet wordt beantwoord. -Deelname kan aantrekkelijk worden gemaakt door het geven van een cadeautje, maar ook door informatie te geven over het belang en het doel van het onderzoek.

Conclusies De hoge non-respons bij steekproefonderzoek in Nederland is een ernstig probleem. Hoe hoger de respons, hoe groter de kans op betrouwbare resultaten. Met een intensieve benadering is een respons van 70% mogelijk. De respons op steekproefonderzoek in Nederland hoeft niet onder te doen voor die in andere Europese landen. Zowel de bereikbaarheid van respondenten als de bereidwilligheid om aan onderzoek mee te doen neemt af. Beide oorzaken van non-respons vereisen aparte maatregelen. Gezien de nadelige gevolgen van non-respons is het noodzakelijk meer aandacht te besteden aan de kwaliteit van dataverzameling

Algemeen Dagblad ‘Nederlanders zijn enquêtes beu’ door onze nieuwsdienst DEN HAAG | De Nederlander is steeds minder bereid mee te doen aan onderzoeken en enquêtes. Het is geen uitzondering dat de helft van de mensen weigert de gestelde vragen te beantwoorden. Dat blijkt uit onderzoek van Ineke Stoop, medewerkster van het Sociaal Cultureel Planbureau (SCP). Stoop stelt in haar rapport 'The hunt for the last respondent' dat het grote aantal mensen dat niet meedoet 'een ernstig probleem' is, omdat de resultaten steeds onbetrouwbaarder worden. "Bij een lage respons is het risico groot dat de resultaten van een onderzoek bepaald worden door mensen die veel thuis zijn, het onderwerp interessant vinden of het leuk vinden om vragenlijsten in te vullen." Ze onderzocht de redenen van mensen die niet mee wilden doen aan een groot SCP-onderzoek. Die waren divers: ouderen willen soms niet omdat ze geen vreemden binnenlaten of omdat ze de vragenlijsten te lang vinden, jongeren hebben er soms gewoon geen zin in of doen wel mee als er een andere interviewer aan de deur staat. Anderen weigeren domweg omdat anders de 'melk overkookt'. Niet-meedoen is volgens Stoop vooral vervelend als de respons onder bepaalde groepen van de samenleving sterk uiteenloopt. In Nederland is het bijvoorbeeld zo dat inwoners van de grote steden 'notoir moeilijk te enquêteren zijn', waardoor dorpelingen oververtegenwoordigd raken. Over het algemeen wordt niet-meedoen opgelost door met statistische technieken de resultaten te corrigeren. Maar hoe groter het aantal mensen is dat niet meedoet, hoe moeilijker het wordt de resultaten in balans te brengen. Volgens Stoop is de respons op onderzoek te verhogen door deelname aantrekkelijker te maken, bijvoorbeeld door het aanbieden van een cadeautje. Maar soms is het al genoeg om de ondervraagde op een geschikter tijdstip terug te bellen, of ze bijvoorbeeld in de gelegenheid te stellen de vragen per internet te beantwoorden. Overigens is ook het onderzoek naar het niet-meedoen aan onderzoek niet volledig. Ook na herhaalde pogingen waren er mensen die niet wilden laten weten waarom ze niet wilden meedoen.

Bedankt voor de aandacht! Zijn er nog vragen? Tessa de Haas Carla Heijms Cecilia Janssen