The Science of Sampling © 2011 Survey Sampling International (River)sampling with Confidence Hoe de juiste mix misschien wel online onderzoek kan redden Joost Philips Managing Director Benelux - SSI

The Science of Sampling © 2011 Survey Sampling International | 2 | Waar gaan we het over hebben? Sampling Non-Probability sampling Probability sampling Random sampling Systematic sampling … Convenience sampling Quota sampling …

The Science of Sampling © 2011 Survey Sampling International | 3 | Waar gaan we het over hebben? Online sampling Andere bronnen Onderzoeks- Panels Websites Online communities Social Media … River- sampling

The Science of Sampling © 2011 Survey Sampling International | 4 | Hoe werkt het (wel)?

The Science of Sampling © 2011 Survey Sampling International | 5 | Hoe werkt het (niet)?

The Science of Sampling © 2011 Survey Sampling International | 6 | Waarom River sampling? Representativiteit Voorspellende waarde Randvoorwaarde: Diversiteit

The Science of Sampling © 2011 Survey Sampling International | 7 | Respondenten verdwijnen uit panels

The Science of Sampling © 2011 Survey Sampling International | 8 | Waarom? Why have you not joined an online research panel? 1 I don’t want any more s7% I think they are scams6% It’s a waste of time3% Not enough time to take surveys11% Never heard of an online research panel20% Don’t want to commit to a panel22% Never had any opportunities to join a panel 37% Other6% Base: people online who have never joined a research Why do you no longer belong to an online research panel? 2 Too many surveys4% Not enough surveys27% I never qualified for a survey44% Poor respondent experience4% Not enough time to take surveys17% Didn’t want to commit to a panel anymore 8% Other8% Base: people online, on a panel previously, not currently

The Science of Sampling © 2011 Survey Sampling International | 9 | Voor online Probability sampling - RDD, Door-to-Door, Papier (ABS)

The Science of Sampling © 2011 Survey Sampling International | 10 | Online Non-probability sampling  Veel weerstand wetenschappers, methodologen, statistici: probability is goed, convenience is slecht  Vragen over representativiteit  Dekkingsfouten

The Science of Sampling © 2011 Survey Sampling International | 11 | Online Oplossing?

The Science of Sampling © 2011 Survey Sampling International | 16 | Online Toch werkt het (Wisdom of Crowds?)  Beter (data-collectie)  Sneller  Goedkoper Belangrijker nog: De onderzoeksuitkomsten wijken niet wezenlijk af van de uitkomsten van kans steekproeven MITS...

The Science of Sampling © 2011 Survey Sampling International | 18 | Vertrouwen

The Science of Sampling © 2011 Survey Sampling International | 19 | Online De onderzoeksuitkomsten wijken niet wezenlijk af van de uitkomsten van kans steekproeven MITS het universum stabiel en divers is Misschien vertelt het boek van James Surowiecki (Wisdom of Crowds) wel waarom een online panel telkens opnieuw nauwkeurige resultaten kan produceren: if you get a large enough group of people, who are chosen randomly enough, are independent of each other and not subject to pressure to conform – then you will get a better answer than asking any expert his opinion

The Science of Sampling © 2011 Survey Sampling International | 20 | Probleem: hoeveel uit elk ‘frame’?

The Science of Sampling © 2011 Survey Sampling International | 21 | Waarom geen uitgebalanceerde hoeveelheid per bron? Bronnen zijn commerciële entiteiten, met hun eigen business model  Aan verandering onderhevig  Geen gegaranties op ‘levering’  Ook als het ‘merk’ hetzelfde blijft, kunnen de mensen veranderen We moeten de MENSEN begrijpen

The Science of Sampling © 2011 Survey Sampling International | 22 | Controle op sociaal-demografische kenmerken dan? De variaties in antwoorden die we gezien hebben komen van steekproeven met een representatieve verdeling op sociaal-demografische kenmerken Dus er is nog iets meer dat consumentengedrag bepaald Ook de keuze om wel of niet deel uit te maken van een bron (bijv. panel) is consumentengedrag We moeten de mensen BEGRIJPEN

The Science of Sampling © 2011 Survey Sampling International | 23 | De psychologie achter consumentengedrag Wordt vaak genoemd maar zelden uitgelegd gedemonstreerd of bewezen we geloven er gewoon in......

The Science of Sampling © 2011 Survey Sampling International | 24 | Zelf op zoek naar verklarende variabelen Broad set of factors defining groups of people, spanning multiple disciplines Personality traits (after Jung)Need for cognition (Cacioppo et al) Music preferences (Rentfrow)Neurographics Cognitive ability (Kahneman and Frederick) Propensity factors e.g., to participate, share, risk averse, attitude to privacy Geographic / personality alignment (Gosling and Rentfrow) Chronotypes, “lark” or “owl” (Roenneberg) Social Values (Schwartz) Disruption/orienting reflex measure, habituation disruption

The Science of Sampling © 2011 Survey Sampling International | 25 | Bepalende factoren voor de juiste mix Vragen opgesteld rondom 162 variabelen Verklarende waarde van de variabelen (factoren) getest aan de hand van vragen over technologie, hobbies, interesses, (merk) voorkeuren, loyaliteit, advertentie bekendheid Variabelen iteratief getest op verklarende waarde van de te verklaren (afhankelijke) variabelen 14 variablen geïndentificeerd die meer antwoordvariatie verklaren dan socio-demografische kenmerken alleen. Van hieruit zijn 8 clusters gecreëerd waarop wordt gebalanceerd

The Science of Sampling © 2011 Survey Sampling International | 26 | Hoe krachtig is het? Verklaard antwoordvariatie aanzienlijk beter dan alleen socio-demografische kenmerken Afhankelijk van het onderwerp veelal tot 2 keer beter of meer

The Science of Sampling © 2011 Survey Sampling International | 27 | Resultaten dichter bij ‘de waarheid’ on measures where we have benchmarks, blend comes closer iPod/MP3 Ownership Smartphone Ownership Social Media (Facebook or MySpace) SSI SurveySpot panel Benchmark43c SSI Blend Benchmark sources: Pew Research; comScore; Harris Interactive

The Science of Sampling © 2011 Survey Sampling International | 28 | Simulatie zonder controle op de mix MP3 ownership – uncontrolled

The Science of Sampling © 2011 Survey Sampling International | 29 | Simulatie waarbij clusters constant blijven MP3 ownership – controlled

The Science of Sampling © 2011 Survey Sampling International | 30 | Constant in vergelijking tot wat? Sample Management uitdaging

The Science of Sampling © 2011 Survey Sampling International | 31 | Samenvatting Het panel model heeft een beperkte toekomst Het gebruiken van verschillende bronnen is een must  Misschien nog niet vandaag, maar wel in de nabije toekomst  Hierdoor kunnen superieure samples worden geleverd mits diversiteit en kwaliteit worden gewaarborgd

The Science of Sampling © 2011 Survey Sampling International | 32 | Samenvatting Het mixen van verschillende bronnen is een voorwaarde, niet een optie  Validiteit neemt toe  Betrouwbaarheid is de uitdaging