COPYRIGHT Dit document bevat uitkomsten van het Nederlandse Online Panel Vergelijkings Onderzoek (NOPVO 2006) Het is alleen toegestaan te verwijzen naar gegevens van dit onderzoek als de volgende bron gegevens vermeld worden: Bron: Het Nederlands Online Panel Vergelijkings Onderzoek (NOPVO 2006) De auteurs/initiatiefnemers: Ted Vonk (Onderzoekpaleis) Robert van Ossenbruggen (ProCression) Pieter Willems (Millward Brown) Contact: info@onderzoekpaleis.nl

Access panels en online onderzoek: slangenkuil of panacee? Nederlands Online Panel Vergelijkings Onderzoek (NOPVO) Door Robert van Ossenbruggen Pieter Willems Ted Vonk Amsterdam 12 oktober 2006 Access panels en online onderzoek: slangenkuil of panacee?

Agenda Opzet en doelstellingen NOPVO Bevindingen bij het empirisch onderzoek Respons Steekproefsamenstelling Paneloverlap De respondenten Verschillen in uitkomsten tussen panels Conclusies en aanbevelingen Gastspreker Els Molenaar “Als je wint heb je vrienden”

Opzet en doelstellingen NOPVO

Meer dan 50% van dataverzameling in NL verloopt online Nederland loopt daarmee voorop in de marktonderzoekwereld Gevolg is een relatief sterke ontwikkeling van: technologie specialistische dienstverlening: meer dan 25 online panels in NL Redenen voor sterke groei online onderzoek Toename kosten traditioneel onderzoek door verandering wetgeving CATI-response daalde sterk waardoor kosten voor veldwerk eveneens toenamen Sterke groei van internetpenetratie door actief overheidsbeleid (Internet penetratie >80% en breedband in NL is 63%)

Online panels: verschillende tijden, verschillende meningen Verschuiving veldwerk naar web: hoe werd dit geaccepteerd? 1998 – 2001: Scepsis en terughoudendheid Representativiteit, potentiële mode problemen 2002 – 2004: Bijna blinde acceptatie: nauwelijks kwaliteitszorg Kosten, snelheid, concurrentie voor zijn 2005 – nu: Opnieuw bezorgdheid kwaliteit online panels dubbelgangers, dumpprijzen, geen richtlijnen

Daarom: NOPVO 2006 Twee goede redenen om NOPVO dit jaar in Nederland te starten Goed antwoord vinden op toenemende kwaliteitszorg Breed aanbod van panels in NL vormt een unieke situatie Vraagstelling NOPVO Wat is de omvang van de actuele panelsituatie in NL? Wie is de online panelrespondent Hoe responderen panelleden uit verschillende panels op een gestandaardiseerde vragenlijst In welke mate zijn opinie- en marketingdata afhankelijk van panelkeuze?

Aanpak NOPVO in vogelvlucht Inventarisatie online panels in Nederland op basis van ESOMAR criteria Empirische studie één vragenlijst met typische marktonderzoeksvragen elke panel levert een bruto sample van 1000 respondenten het bruto sample naar eigen inzicht gestratificeerd ten einde NL representatief netto sample te verkrijgen gelijke veldwerkperiode van 7 dagen, geen reminders 19 panels hebben deelgenomen: samen > 90% van al het online onderzoek in Nederland

Aanpak NOPVO in vogelvlucht Zeer uitgebreide gegevens beschikbaar: Per panel: beloningsvorm leeftijd panel uitnodigingsbeleid etc. Per panellid: panelhistorie aantal uitnodigingen gemiddelde response laatste keer deelname socio demo, etc. Per respondent: responsegedrag check panelhistorie check sociodemo antwoorden op vragenlijst

Vragenlijst empirisch onderzoek Werk en vervoer Politieke voorkeur Beoordeling kabinetsbeleid en JPB Religie en geloof in God Verhuisgeneigdheid en tevredenheid met woonomgeving Spontane en geholpen bekendheid bier/TV-merken Reclamebekendheid Participatie in online onderzoek Frequentie internetgebruik Verschillende soorten schaalvragen, 2 open vragen, vragen naar getallen

Deelnemende panels NOPVO Traditioneel Full Service behorend tot Internationale keten 5 Traditioneel Full Service Internet start ups Panel Only 4 Alleen 25 vragen ESOMAR 3

Wetenswaardigheden over de panels Meerderheid panels bestaat langer dan 5 jaar Uiteenlopende methoden voor werving panelleden Bijna alle panels belonen respondenten voor medewerking Gemiddeld € 1,20 voor 10 minuten Meeste panels leggen beperkingen op aan frequentie deelname aan onderzoek Uitvoerige beschrijving van alle panels te vinden op www.moaweb.nl “het 25 vragen van ESOMAR overzicht”

De kernvragen zijn…… In welke mate beïnvloeden panelfactoren het gedrag van respondenten? en, In welke mate leidt dit tot een verschillende beantwoording van vragenlijsten?

Eerst nog even dit…….. Vanaf nu worden de panels niet meer bij naam genoemd Doel van NOPVO: Inzicht geven in verschillen en overeenkomsten van online panels Discussie stimuleren over welke panelfactoren relevant zijn bij opzet en onderhoud van panels Geen doel van NOPVO: Kwalificeren van goede of slechte panels Panels hebben inzicht in hun eigen prestaties via een benchmark rapport

Het empirisch onderzoek Respons Paneloverlap Aantal vragenlijsten

Aanzienlijke verschillen in respons per panel Hoogte van respons hangt samen met verschillende panelkenmerken Panelleeftijd Wervingsmethode Beloningssysteem Panelbewaking Omgang met respondenten Invloed van factoren afzonderlijk moeilijk vast te stellen

Hoge/lage respons nader verklaard (1) Panels met hoge respons hebben niet alleen maar trouwe respondenten uitgenodigd… Panels met hoge respons zijn hoofdzakelijk Panels die nog maar kort bestaan Beperkt aantal uitnodigingen hebben verstuurd Panels met lage respons zijn panels die weinig aan panelbewaking doen Er worden respondenten uitgenodigd die al een jaar lang geen vragenlijst hebben ingevuld Omvang panelbestand is belangrijk in communicatie naar de markt

Hoge/lage respons nader verklaard (2) Panelleeftijd: Verse panelleden responderen beter dan ervaren panelleden Samenstelling steekproef naar panelleeftijd varieert sterk per panel Wervingsmethode: Werving via onderzoek (-instrumenten) geeft hoogste respons (zijn al bereidwillig) Zelf aanmelden of aangemeld via links/banners geeft duidelijk lagere respons Beloningssysteem Zekerheid over beloning is van belang Stimulerend effect van de hoogte van de beloning stopt bij 1 euro

Hoogte respons heeft weinig invloed op de uitkomsten Er zijn GEEN verschillen tussen de panels gevonden die direct verband houden met de hoogte van de respons Leden van online panels vormen een homogene groep Ze zijn onderzoekbereidwillig Heavy users van Internet Vertekening als gevolg van ontbrekende groepen bij online panels is er nauwelijks (ze ontbreken in alle panels)

Beter meewerkende panelleden oververtegenwoordigd Respons op uitnodigingen in afgelopen 12 maanden komt overeen met NOPVO respons Respons per panel op basis van uitnodigingen in afgelopen 12 maanden is vergelijkbaar met respons bij NOPVO NOPVO netto steekproef is wat anders dan het panelbestand

Hoogte respons is niet relevant bij online panels Initiële non-respons bij werving wordt niet meegeteld Bij zelf aanmelden sprake van selectieve respons Hoogte respons is beïnvloedbaar door Uitsluiten moeilijk bereikbare groepen Selectie/behoud van goed responderende panelleden Hoogte van respons zegt meer over economisch rendement van het panel Hoogte respons is geen indicator van de kwaliteit van de steekproef

Wie zitten er (niet) in de panels? Samenstelling naar leeftijd, geslacht, opleiding en regio in meeste gevallen in orde (er is op geworven en gestuurd) 65-plussers zijn niet meegenomen Beperkte afwijking van Sociaal Economische Klasse (dus niet alleen maar studenten en werkelozen) Structurele afwijkingen in alle panels Niet-westerse Allochtonen ontbreken praktisch volledig Heavy Internet users oververtegenwoordigd Te weinig CDA stemmers en teveel SP kiezers Weinig kerkgangers

Te weinig CDA stemmers en teveel SP kiezers Meer stemmers dan in werkelijkheid: 90% zegt gestemd te hebben terwijl de opkomst 80% was CDA structureel te laag bij alle panels, SP te hoog CDA/SP afwijking ook zichtbaar bij stemintentie

Paneloverlap doorkruist panelmanagement activiteiten 62% respondenten is lid van meerdere panels Gemiddeld is een respondent lid van 2,73 panels Bij deze mate van overlap heeft een restrictief beleid bij het uitzetten van vragenlijsten weinig zin Overlap in het panelbestand is minder

Overlap met andere panels varieert sterk per panel Gemiddeld aantal lidmaatschappen in NOPVO steekproef 3,25 Gecorrigeerd voor panelomvang: 2,73 62% is lid van meer dan 1 panel Panel overlap varieert van 29% tot 88% Hoogste overlap tussen twee panels: 42%

Meeste paneloverlap bij gekochte adressen Vier van de vijf paneleden die geworven zijn met behulp van gekochte adressen is lid van meerdere panels Minste overlap bij telefonische werving (wel de kostbaarste wervingsmethode) Gemiddeld aantal panels varieert van 2,0 bij telefonische werving tot 4,3 bij werving via aangekochte adressen Enige ruis aanwezig in deze uitkomsten vanwege de paneloverlap

Hoeveel panelleden zijn er eigenlijk in Nederland? Ca. 900.000 unieke panelleden Volgens opgave panels 1.650.000 panelleden Kans om in de steekproef te komen is afhankelijk van het aantal panels waar men van deel uit maakt Gemiddelde paneloverlap 2.73 6% dubbele adressen in de steekproef Panelbestanden bestaan uit: Ca. 700.000 panelleden die in 1 panel zitten Ca. 200.000 panelleden die in gemiddeld 4,7 panels zitten

Panelleden hebben het er maar druk mee…….. Voor de goede vergelijkbaarheid alleen respondenten genomen die meer dan 1 jaar panellid zijn Gemiddeld 19 uitnodigingen Aan restricties ten aanzien van aantal uitnodigingen blijken panels zich in de praktijk te houden Lage aantal uitnodigingen wordt bepaald door gebrek aan projecten Niet alle panels hebben gegevens over uitnodiging voor handen

Panelleden hebben het er eigenlijk nog veel drukker mee… Panelleden hebben het er eigenlijk nog veel drukker mee…. Aantal uitnodigingen in afgelopen 4 weken van alle panels waar men lid van is Gemiddeld 5,1 uitnodigingen per 4 weken Per panel varieert het gemiddeld aantal tussen de 2,8 en 7,2 Slechts 2% heeft geen uitnodiging ontvangen Bij lidmaatschap meerdere panels gemiddeld 6,4 uitnodigingen

80-20 regel geldt ook voor invullen vragenlijsten Op jaarbasis 25. 000 80-20 regel geldt ook voor invullen vragenlijsten Op jaarbasis 25.000.000 ingevulde vragenlijsten Beperkte groep panelleden vult substantieel deel vragenlijsten in Bij berekening van deze aantallen is rekening gehouden met Gemiddeld aantal panellidmaatschappen Respons op uitnodigingen van goed/slecht responderende panelleden Omvang panels

Het Panellid Beweegredenen Hoe reageert hij/zij op een vragenlijst Soorten respondenten

Panelleden vinden het leuk…….

Redenen om mee te doen verschillen Motieven om mee te doen verschillen per panel Motief beloning varieert van 2% - 27% Vind het leuk vragenlijsten in te vullen: 14% - 35% Jongeren worden meer door beloning aangetrokken Nieuwsgierigheid drijft de beter opgeleiden

Hoe reageren panelleden op een vragenlijst? Tijdstip/dag van invullen 75% vragenlijsten binnen 24 uur ingevuld Groot deel van werkenden vult vragenlijst op werk (tijden) in Snelheid van invullen Gemiddelde invultijd:12,5 minuten Gemiddelde invultijd snelste panel: 11,1 minuten Gemiddelde invultijd langzaamste panel: 15,5 minuten Van hoe meer panels men lid is des te sneller wordt de vragenlijst ingevuld Lid van 1 panel :13,5 minuten Lid van 2-5 panels: 12,9 minuten Lid van 6-10 panels: 11,9 minuten Lid van 11 of meer panels:11,2 minuten

Benodigde invultijd varieert over panels: wijst op andere gedrag 2 snelste panels 2 langzaamste panels Internetgebruik p. week 14,3 en 15,3 uur 7,9 en 8,5 uur Doe mee uit interesse 31%, 40% 50%, 54% Doe mee voor beloning 40%, 44% 11%, 25% Aantal panels lid 5,3 en 5,4 1,7 en 2,4 Aantal reclames gezien 4,1 en 4,4 5,3 en 5,5 Bekendheid merken geen effect

“Door u aan te melden op deze website sluit u zich aan bij een gemeenschap van professionele geënquêteerden…” “Om zoveel mogelijk geld te verdienen, dient u zich OP ZOVEEL MOGELIJK websites te registeren” “Het is de perfecte baan voor vrouwen die thuis willen blijven bij hun kinderen of voor iedereen die graag thuis wat bijverdient” (Bron: www.thesurveypro.com/dutch.htm)

Aangenaam kennis te maken: de professionele respondent Veel panels lid Veel vragenlijsten ingevuld Operationalisatie NOPVO: ‘professionaliteitsindex’= aantal panels lid (Z) + aantal vragenlijsten ingevuld afgelopen 4 weken (Z) Geselecteerd voor analyse: top 10%

Het is fijn dat er beroepsrespondenten zijn…….. Gemiddeld heeft men 4,4 vragenlijsten ingevuld in afgelopen 4 weken Respons op uitnodigingen in afgelopen 4 weken is (zou zijn) 88% In hoe meer panels men zit, Hoe beter men respondeert Hoe sneller men respondeert

Aangenaam kennis te maken: de loyale respondent De ‘loyale’ respondent: neemt de tijd om de vragenlijst in te vullen en maakt zich niet gemakkelijk van open vragen af Operationalisatie NOPVO: ‘loyaliteitsindex’= duur interview (Z) + lengte open vraag 1 (Z) + lengte open vraag 2 (Z) + lengte open vraag 3 (Z) Geselecteerd voor analyse: top 10%

Aangenaam kennis te maken: de gemakzuchtige respondent De gemakzuchtige respondent: contra loyale respondent Dus: sjeest door de vragenlijst en maakt zich gemakkelijk van open vragen af Operationalisatie NOPVO: ‘gemakzuchtigheidsindex’= loyaliteitsindex * -1 Geselecteerd voor analyse: top 10%

Professionele respondent is slechts incidenteel gemakzuchtig Bij selectie top 10% van de respondentindexen zeer beperkte overlap in respondenttypen

Respondenttype & eigenschappen Professionele respondent hogere internetfrequentie vaker in nieuwe panels lager opgeleid vaker arbeidsongeschikt minder tevreden met inkomen minder tevreden met functioneren democratie minder gezond Loyale respondent hoger opgeleid Gemakzuchtige respondent minder ouderen

Panellidmaatschap: van wie komt het initiatief? werving panellid (van 12 panels gegevens bekend) gemakzuchig: vanuit respondent loyaal: vanuit panel professioneel:

Grote verschillen in motivatie Hieronder staat een aantal redenen waarom mensen aan onderzoek op Internet meedoen. Wat is voor u de belangrijkste reden? mening kwijt leuk om nieuwe ideeën en producten te zien nieuwsgierigheid onderwerpen interessant leuk om de resultaten te zien leuk om onderdeel uit te maken van online groep gemakzuchig: extrinsiek gemotiveerd loyaal: intrinsiek professioneel: leuk om vragenlijsten in te vullen

Verschillen tussen typen lopen bij reclamebekendheid op tot 15%... Reclamebekendheid weergegeven als deviatie van totaal Grootste effect bij gemakzuchtige respondenten (0 lijn = totaal)

Of zelfs tot boven de 20%... merkbekendheid televisie weergegeven als deviatie van totaal

Grote variatie politieke interesse In welke mate bent u geïnteresseerd in politiek? gemakzuchig: zwakke politieke interesse loyaal: sterke professioneel: geen effect

Respondenttypen verschillen sterk tussen panels laag gemakzuchtig hoog gemakuchtig

Typologie bepaalt reclamebekendheid Effect van respondenttype werkt door op panelniveau Dus: panels met veel loyale respondenten hebben een hogere merkbekendheid dan panels met veel professionele en/of gemakzuchtige respondenten ! 3 panels met meest loyale respondenten 3 panels met meest gemakzuchtige respondenten

Grootste zorg: de gemakzuchtige respondent Q: Is de angst voor de professionele respondent terecht? A: Deels, want dit type respondent heeft wel een afwijkend responspatroon, de effecten zijn echter klein Q: Is de loyale respondent ook de ideale respondent? A: Dit blijft nog even een vraag. Datakwaliteit hoog Maar: afwijkend responspatroon. Wie zijn er nu eigenlijk afwijkend? de loyalen of de minder loyalen? Q: Is de gemakzuchtige respondent een gevaar voor panelonderzoek? A: Absoluut: a-typische groep met grote effecten die zorgt voor nodige ruis in data

Kwaliteit van data Verschillen tussen panels

Kwaliteit van data o.a. afhankelijk van: Effort in open antwoorden Van een enkel woord tot een opstel Neiging tot gebruik categorie ‘wil niet zeggen’ Neiging tot gebruik categorie ‘weet niet’ ‘Doorklikkers’: respondent die op reeks schalen iedere keer hetzelfde antwoordt Neiging tot gebruik van neutrale antwoorden Noemen van niet bestaande merken

Gemakzuchtige respondent levert minder bruikbare data

Verschillen in de uitkomsten van panels Wat we aan verschillen mogen verwachten Wat we aan verschillen vinden Merendeel verschillen niet veel groter dan betrouwbaarheidsintervallen doen verwachten Extremen leiden wel tot andere conclusies Hoe we de verschillen kunnen verklaren

Wat we aan verschillen mogen verwachten Steekproefonderzoek vertoont per definitie enige fluctuatie (sampling error) Responspercentages van panels verschillen aanzienlijk Dus netto steekproeven van een kleine 200 tot bijna 800 Uitgaande van volledig aselecte steekproeven, geeft dit een maximale 95%-betrouwbaarheidsinterval van 7% (+/-) voor de kleinste netto steekproeven Verschillen toetsen niet zo zinvol

Aantal resultaten verschillen fors tot zéér fors… min tot max min tot max min tot max min tot max verschil min/max: 28% 19% 17% 29%

Grote verschillen meestal door panels met extreme score min/max:

Veranderen van panel geeft kans op trendbreuken panels met hoge reclamebekendheid geen één reclame gezien: totaal: 11% min: 7% max: 16% panels met lage reclamebekendheid

Grote variatie in aantallen extreme scores Alle minima en maxima van antwoorden op de vragenlijst zijn geïdentificeerd per panel Resultaat: sommige panels geven nauwelijks extreme antwoorden, andere panels vaak Q: Lijken de antwoorden van de panels met weinig extremen op elkaar? Q: Lijken de antwoorden van de panels met veel extremen op elkaar?

Twee soorten kwaliteit: datakwaliteit en steekproefsamenstelling Wat we aan verschillen vinden Het merendeel van de vragen levert geen schokkende verschillen op Indien wel schokkend, dan meestal door panels met extreme score Hoe we de verschillen kunnen verklaren Deels: het type respondenten dat in panels zit Bij een aantal panels lijken vragenlijsten zorgvuldiger te worden ingevuld dan bij andere Bij een aantal panels lijkt de steekproefsamenstelling beter op orde te zijn dan bij andere

Conclusies

Conclusies NOPVO (1) Er is spraken van een selecte, afwijkende respondentengroep. De selectie vindt plaats voordat iemand panellid wordt. Het grootste deel van de populatie zit niet in de panels: zij geven die ándere antwoorden Om die reden is responsehoogte niet langer een indicator voor kwaliteit van de steekproef maar een indicator voor het economisch rendement van het panel Respondenten doen hun naam eer aan: ze zijn intensieve vragenlijstinvullers: Er is grote overlap tussen panels waardoor invloed van panelmanagement de facto beperkt is

Conclusies NOPVO (2) Een leereffect bestaat: respondenten met ervaring reageren anders op bijvoorbeeld reclame- en merkbekendheid Panels variëren op de onderzoeksuitkomsten, echter dit kan niet verklaard worden door onderliggende eigenschappen Twee kwaliteitsproblemen vormen een probleem bij panelonderzoek: samenstelling van het panelbestand en kwaliteit van data Aan de paneladministratie van sommige panels kan het nodige verbeterd worden Paradox: wat drijft een panelexplointant: continuïteit en kostenefficiënte exploitatie versus kwaliteit van onderzoek?: het lijkt er op dat de effecten die we vinden vooral vanuit aspect 1 voortkomen.

Aanbevelingen (1) Bezint eer ge begint Gooi iedereen met een slechte responsekwaliteit uit je panel Gebruik online panels vooral voor trendmetingen en concepttesting Wees voorzichtig met het gebruik van online panels voor penetratiemeting Wissel niet van panel in continue onderzoek: effecten bij wisselen komen niet zo zeer door verschil in panelmanagement maar vooral door verschil in sampling

Aanbevelingen (2) Bij vergelijkingsonderzoek (0/1meting, continue onderzoek) dient het de aanbeveling om samples te matchen op panelhistorische kenmerken Een substituut voor de oude vraag “werk je bij marktonderzoeksbureau” moet worden vervangen door “hoe vaak heb je de afgelopen 4 weken aan zo meegedaan en hoeveel uitnodigingen heb je gekregen” Vraag aan je sample provider een hash van het bruto sample Verzin een andere manier om je panel te werven: er staan nog 9 miljoen mensen voor je klaar…