Presentatie PASO Seminar dd 4 maart 2003 Responsmaximalisatietechnieken bij Organisatieonderzoek André Zijdenbos Kees Brammer bv Zoetermeer (Netherlands)

Presentatie PASO Seminar dd 4 maart 2003 Inhoud bv 2Het OSA Arbeidsvraagpanel 2.1Verleden 2.2Heden 2.3Toekomst 3Eventueel: vragen

Presentatie PASO Seminar dd 4 maart 2003 Organisatie EIM Groep

Presentatie PASO Seminar dd 4 maart 2003 De organisatie  Sinds 1993 actief met telefonisch veldwerk  Sinds 2001 zelfstandig opererend als bv  Kwantitatief georiënteerd  Gespecialiseerd in business-to-business onderzoek  8 vaste medewerkers, 50 flexmedewerkers  ca. 125 projecten per jaar

Presentatie PASO Seminar dd 4 maart 2003 OSA Arbeidsvraagpanel Onderzoeksdesign  panel  onderzoekspopulatie: ca vestigingen van bedrijven en instellingen waar 5 of meer personen werkzaam zijn  naar grootte en type (NACE-code) disproportioneel gestratificeerde steekproef (ca. 100 cellen)  informant/respondent: ‘vestigingsmanager’  informatiebehoefte: ca. 230 vraageenheden  iedere 2 jaar een peiling; t/m peilingen uitgevoerd

Presentatie PASO Seminar dd 4 maart 2003 Steekproefdesign 2001

Presentatie PASO Seminar dd 4 maart 2003 OSA Arbeidsvraagpanel Uitvoering t/m 2001 Methode van dataverzameling:  face-to-face ondervraging van de directeur/ vestigingsmanager, gevolgd door self completion door HRM-verantwoordelijke  procedure: telefonische screening + afspraak, interview (gem. 60 min.) en na afloop uitreiken

Presentatie PASO Seminar dd 4 maart 2003 Evaluatie  moeizame en tijdrovende operatie  werving van respondenten was moeilijk  steekproefsamenstelling  steekproefplan  klachten over gesprekslengte  hoge non-respons; m.n. bij selfcompletion

Presentatie PASO Seminar dd 4 maart 2003 Verwachtingen voor 2003 verwachting voor 2003: niet veel beter, maar in ieder geval moeilijker en duurder daarbij: teruglopende onderzoeksbudgetten conclusie: het moet anders!

Presentatie PASO Seminar dd 4 maart 2003 Alternatief: telefonisch geknipt  vragenlijst kan telefonisch worden afgenomen.  positieve ervaringen bij MKB Beleidspanel en het VNO Conjunctuurpanel; respons van ca. 70% bij herhalingsgesprekken;

Presentatie PASO Seminar dd 4 maart 2003 Responsontwikkeling telefonisch veldwerk

Presentatie PASO Seminar dd 4 maart 2003 Voordelen telefonisch geknipt  hogere response; door geschat: respondenten uit panel 2001: 65% Nieuwe respondenten: 50%  betere monitoring en sturing van het proces op samenstelling steekproef en kwaliteit  alles onder één dak; daardoor betere controle en beheersing van het steekproefdesign  informatie is sneller beschikbaar  flexibeler in opzet  recalls

Presentatie PASO Seminar dd 4 maart 2003 Nadelen  Om tot volledige cases te komen moeten meer organisaties worden ondervraagd met als gevolg onvolledige waarnemingen.  De vragenlijst moet voor sommige vragen voor telefonische ondervraging worden aangepast, hetgeen vergelijking met voorgaande metingen kan bemoeilijken  Er kan geen gebruik worden gemaakt van toonmateriaal; ook om deze redenen moeten er aanpassingen in de vragenlijst komen;  Er is concensus binnen de OSA nodig over samenstelling vragenlijst; welke vragen in welke meting (prioritering van vragen)

Presentatie PASO Seminar dd 4 maart 2003 OSA Arbeidsvraagpanel 2003 Uitvoeringsspecificaties  telefonische ondervraging in 3 golven (voorjaar 2003, najaar 2003 en voorjaar 2004);  spreiding over 2 jaren;  N 1 = ca ;  N 2 = (= ca. 70% van N 1 )  N 3 = ca (= ca. 70% van N 2)  Nog gecompliceerder steekproefdesign (ca. 200 stratificatiecellen!)  Bij T 1: vooraf toezending aankondigingsbrief  Bij T 2 en T 3 : vooraf toezending aankondigingsbrief + korte rapportage

Presentatie PASO Seminar dd 4 maart 2003 Veldwerkresultaat 1e golf TotaalPanelresp.Nieuwe resp. Gesprek gevoerd weigering Geen gehoor/in gesprek (5 recalls)9510 Wel afspraak/geen gesprek12416 Overig, w.o. taalproblemen212 Totaal100% Aantal benaderde organisaties Participatie%72%79%68%

Presentatie PASO Seminar dd 4 maart 2003 Veldwerkresultaat-2  Resultaten eind juli beschikbaar;  Steekproef exact volgens plan gerealiseerd;  Kwaliteit van de antwoorden is minimaal gelijk aan die bij f-to-f  Data zijn consistent in relatie tot vorige meting  Resultaten tweede golf (voorlopig) boven verwachting

Presentatie PASO Seminar dd 4 maart 2003 Uitvoering: De toekomst De opkomst van multi/mixed mode

Presentatie PASO Seminar dd 4 maart 2003 OMR scanning Face-to-face Telephone CATI TCASI (IVR) MCAPI CAPI CASI OCR scanning WAP Evolutie van dataverzameling Technologie Onafhankelijk Technologie Afhankelijk Disk by mail tijdlijn CAWI bron: Tim Macer

Presentatie PASO Seminar dd 4 maart 2003 Wat verstaan wij onder multi/mixed mode?  Multi-mode  Aparte deelsteekproeven worden met verschillende vormen van dataverzameling benaderd  Mixed mode  Serieel  Verschillende vormen worden na elkaar ingezet in de verschillende fasen van een onderzoek  Parallel  De respondent kan kiezen uit verschillende vormen van dataverzameling of zelfs kan switchen MOEILIJKHEIDSNIVEAU

Presentatie PASO Seminar dd 4 maart 2003 Mixed mode: voorbeelden  In meer landen tegelijkertijd  Web in Amerika  CATI in Europa  CAPI of papier in Azië Parallel Serieel  Vragenlijst geknipt  Eerste deel via telefoon  Vervolg (opzoekvragen) via web

Presentatie PASO Seminar dd 4 maart 2003 OSA Arbeidsvraagpanel en multi/mixed mode (1) Welke alternatieven zijn er? Telefonisch interview gevolgd door enquete via het internet voor de opzoekvragen (serieel) Telefonisch contact met vraag op welke wijze men de vragen wil beantwoorden, via de telefoon of via het web (parallel)

Presentatie PASO Seminar dd 4 maart 2003 OSA Arbeidsvraagpanel en multi/mixed mode (2) Welke problemen kunnen zich voordoen?  Kalibratie  Het risico van verschillende meetfouten door verschillende vormen van dataverzameling  Dekking  Steekproefproblemen—verschillende non-response bij deelsteekproeven voor elke vorm van dataverzameling  Complexiteit  Dupliceren van operationele en programmeer werkzaamheden bij meer vormen van dataverzameling  Toenemende kosten, vertragingen en fouten door dupliceren

Presentatie PASO Seminar dd 4 maart 2003 OSA Arbeidsvraagpanel en multi/mixed mode (3) Welke voordelen kan dit opleveren?  Verlaging van de kosten (minder tijd interviewers)  Kortere doorlooptijd (geen data-entry).  Hogere response (benadering op maat)  Benadering op maat  Groter bereik  Meer controle/Makkelijker rappeleren (één database)

Presentatie PASO Seminar dd 4 maart 2003 Multi-mode: the challenge “Survey organizations, whether they are in universities like mine, in private-sector organizations or in government organizations, are going to have to change dramatically in some ways in order to do effective surveys as we bring these new technologies online and still use our other technologies where they work.” Don Dillman, Washington State University