Onderzoekersforum CQ-index Methode van dataverzameling: schriftelijk versus gecombineerd (internet en schriftelijk) Marloes Zuidgeest Intro/ welkom over mijn achtergrond Hallo allemaal, mijn naam is Marloes Zuidgeest. Ik ben werkzaam bij het NIVEL. Ik ben betrokken geweest bij de ontwikkeling van verschillende CQI vragenlijsten. Daarnaast hebben we tijdens de dataverzameling van het discriminerend vermogen van de CQ-index Mammacare onderzoek gedaan naar verschillen tussen een schriftelijke afname en een gecombineerde afname (internet en schriftelijk). Onze ervaringen wil ik graag met jullie hier delen. 18 september 2008 Onderzoekersforum CQ-index

Onderzoekersforum CQ-index Inhoud presentatie Inleiding Methode Resultaten Discussie/ aanbevelingen Deze presentatie is in vier delen opgesplist. Eerst de inleiding waarna ik de onderzoeksvraag noem. Daarna zal ik iets vertellen hoe we de onderzoeksvraag beantwoord hebben. Daarna volgen de resultaten en de conclusie. 18 september 2008 Onderzoekersforum CQ-index

Onderzoekersforum CQ-index Inleiding Ontwikkeling van CQI vragenlijsten en de vormgeving en standaardisatie van meetsystematiek oa methode van dataverzameling Toepassing CQI in de praktijk Is een gecombineerde dataverzameling een alternatief voor schriftelijke dataverzameling? Er is de laatste jaren veel geld gestoken in de ontwikkeling, vormgeving en standatisatie van cq-index vragenlijsten. Er is een verschuiving van aandacht voor toepassing van cq-index in de praktijk. Zijn er bepaalde verbeterslagen te maken.Uit de literatuur is bekend dat internet vele voordelen kent (lagere kosten, minder tijd, mogelijkheden voor compleetheid van gegevens, respondenten krijgen alleen relevante vragen te zien). Nadelen van internetvragenlijsten zoals een de benadering van een beperkte groep (toegang en ervaring met internet), lage respons en over het algemeen zijn er meer manneljike respondenten. CQ-index vragenlijsten worden voornamelijk schriftelijk afgenomen met meerdere herinneringen. De vraag is nu of een combinatie van verzamelingsmethoden een alternatief is voor de schriftelijke dataverzamelingen. 18 september 2008 Onderzoekersforum CQ-index

Onderzoekersforum CQ-index Onderzoeksvraag Wat zijn de verschillen tussen een gecombineerde (internet en schriftelijk) en een schriftelijke CQI dataverzameling in termen van de hoogte van de respons, de snelheid van de respons, de kwaliteit van de gegevens, het responsgedrag, persoonskenmerken van respondenten, de kosten? Hieruit vloeit de onderzoeksvraag: 18 september 2008 Onderzoekersforum CQ-index

Onderzoekersforum CQ-index Methode CQI Mammacare discriminerend vermogen Inclusiecriteria: >18 jaar, borstzorg afgelopen 24 maanden, niet eerder meegedaan aan CQI onderzoek C: steekproef van 400 patiënten S: gestratificeerde steekproef van 400 patiënten uit 3953 patiënten op basis van geslacht (97,3% vrouw), borstafwijking en leeftijd (55,5 jaar ± 14,5 jaar). We selecteerden voor het gecombineieerde dataverzamelnigs 200 patienten met een goedaardige borstafwijking en 200 patienten met een kwaadaardige borstafwijking met bovengenoemde selectiecriteria. Daarna werd er voor de schriftelijke dataverzameling 400 patienten geselecteerd die overeenkwamen met de geselecteerden uit de gecombineerde dataverzamelingssteekproef. Ze kwamen overeen qua geslacht, borstafwijking en leeftijd. 18 september 2008 Onderzoekersforum CQ-index

Traject van dataverzameling brief met verzoek om bijgevoegde schriftelijke vragenlijst in te vullen brief met verzoek om online vragenlijst in te vullen met unieke inlogcodes bedankkaart Week 1 Week 0 Week 4 non-respondenten ontvingen een brief en extra schriftelijke vragenlijst non-respondenten ontvingen een brief met de keuze om de internetvragenlijst in te vullen of de bijgevoegde schriftelijke vragenlijst. non-respondenten ontvingen een herinneringsbrief om alsnog via het internet of schriftelijk de vragenlijst in te vullen non-respondenten ontvingen een herinneringsbrief om alsnog de schriftelijke vragenlijst in te vullen Week 6 Schriftelijk traject Gecombineerd traject 18 september 2008 Onderzoekersforum CQ-index

Onderzoekersforum CQ-index Analyses (1) Hoogte van de respons netto respons (χ2-toets) De snelheid van reageren Aantal dagen tussen verzenden en ontvangen (Mann-Whitney toets) Kwaliteit van gegevens Gemiddeld percentage missende waarden en onterecht ingevulde vragen per vraag (Mann-Whitney toets) 18 september 2008 Onderzoekersforum CQ-index

Onderzoekersforum CQ-index Analyses (2) Responsgedrag Gemiddelde gecorrigeerde (voor leeftijd, opleiding, lich. gezondheid) schaalscores en waarderingscijfers (MLwiN; χ2-toets) Persoonskenmerken van respondenten Leeftijd, opleiding lichamelijke en psychische gezondheid (Mann-Whitney test) en geslacht (χ2-toets) Kosten Beschrijving van de kosten 18 september 2008 Onderzoekersforum CQ-index

Resultaten (1): Hoogte van de respons Netto respons schriftelijk 69% Netto respons gecombineerd 63% (χ2= 1,04; p=0,31) Binnen het gecombineerde traject: 53% van de respondenten heeft via internet de vragenlijst ingevuld 18 september 2008 Onderzoekersforum CQ-index

Resultaten (2): Snelheid van de respons Schriftelijk: 8 dagen eerder terug (Z=-3,59; p<0,05). Gemiddeld 17 (s) vs 25 (c) dagen 1 S: 28,5% C: 26,0% 2 S: 75,4% C: 45,0% 3 S: 93,8% C: 86,8% Binnen gecombineerde traject: Gemiddeld 10 dagen voordat schriftelijke vragenlijst terug was We zien hier een grafische weervagen van het aantal retour ontvangen vragen lijsten oer datum voor het schriftelijke en geocmbineerde traject. 18 september 2008 Onderzoekersforum CQ-index

Resultaten (3): Kwaliteit van de gegevens De kwaliteit van gegevens was beter bij het gecombineerde traject Gemiddeld percentage missende waarden 3,4% versus 4,4% (Z=-3,08, p<0,05) Gemiddeld percentage onterecht ingevulde waarden 3,2% versus 6,2% (Z=-3.68; p<0,05) 18 september 2008 Onderzoekersforum CQ-index

Resulstaten (4) Responsgedrag; schaalscores Schrifteljik positievere ervaringen 18 september 2008 Onderzoekersforum CQ-index

Resultaten (5) Responsgedrag; waarderingscijfers 18 september 2008 Onderzoekersforum CQ-index

Resultaten (6) Persoonskenmerken van respondenten Geen verschillen tussen de respondenten van schriftelijke en gecombineerde traject voor wat betreft gemiddelde leeftijd (55,9 vs 56,1 jaar; Z=-0,24; p=0,81), % vrouw (97,6 vs 97,5%; χ2= 0,013 p=0,910) Opleiding (Z=-1,70; p=0,09) Lichamelijke gezondheid (Z=-1,21; p=0,23) Psychische gezondheid (Z=-0,85; p=0,85) 18 september 2008 Onderzoekersforum CQ-index

Resultaten (7) Persoonskenmerken van respondenten binnen gecombineerde traject zijn internetrespondenten: jonger (53,1 vs 59,5%; z=-4,06; p<0,000) hoger opgeleid (Z=-3,11; p<0,01) betere psychologische gezondheid (Z=-2,33; p<0,05) 18 september 2008 Onderzoekersforum CQ-index

Onderzoekersforum CQ-index Resultaten (8) Kosten 18 september 2008 Onderzoekersforum CQ-index

Onderzoekersforum CQ-index Discussie (1) Hoogte van respons 69% en 63% is relatief hoog Snelheid van reageren was bij schriftelijke dataverzameling sneller Kwaliteit van gegevens was beter bij gecombineerd traject Bij CQI onderzoeken varieert de respons tussen 20% (gehandicapten gezindsondersteuning en ambulante ondersteuning), en 79% (geboortezorg). Door het onderwerp zorg rond borstafwijking en relatief oudere doelgroep. 69 en 63 % is relatief hoog. End e gecombineerde dataverzamelig verdubbelde toen er de mogelijkheid was om een schriftleijek vragenlijst in te vullen.De laatste herinnering bij een schriftelijke vragenlijst haatl 6% van de responenten over. (9 en 63 % is 5e en 8e plek). Snelheid was bij schrifteljike dataverzamelingen sneller. Dit komt waarschijnljk door het feit dat de relatief oudere doelgroep niet via het internet in wil vullen of kan invullen. Dit blijkt ook uit het feit dat de patienten binnen 10 dagen reageren als ze een schriftleijke vragenlijst otnvangen. (sneller dan 17 dagen bij schriftelijk traject). Dit kan ook gezien worden als prenotificatie, waar nu bij de CQI Rughernia en Spataderen mee geexperimenteerd wordt. Kwaliteitt van gegevens (minder missende waarden en minder onterecht ingeculde) komt door het feit dat de helft van het gecombineerde traject het via het internet heeft ingevuld. Een dataverzameling geheel via internet zal de kwaliteit van gegevens nog meer ten goede komen. Omdata je geen skiopfouten hebt en kunt programmeren dat alle vragen ingevuld dienene te zijn voordat je verder kan gaan. 18 september 2008 Onderzoekersforum CQ-index

Onderzoekersforum CQ-index Discussie (2) Responsgedrag, geen verschil behalve bij schaal ‘Bejegening door verpleegkundige in de fase van de operatie’ Persoonskenmerken van respondenten verschilden niet. Er werden kosten bespaard bij de gecombineerde dataverzameling Het gevonden verschil kon niet verklaard worden door het feit dat respondentverschillen. Hiervoor is gecorrigeerd en de respondenten verschilden ook niet op persoonskenmerken. ER zijn blijkbaar echte verschillen, of het verschil kan veroorzaakt worden door de wijze van dataverzameling, waarbij schriftelijek dataverzameling voor positievere resultaten zorgt. Het kan ook een toevalstrefer zijn. De persoonskenmerken van respondenten verschilden niet. Binnen het gecombieerde traject bleek de internetrespondenten wel te verschillenqua leeftijd, en opleiding. Dit komt overeen met de cijfers van het CBS. Om ouderen en lager opgeleide te benaderen kan het beste gekozen worden om een schriftelijek vragenlijst aan te bieden. Opgemerkt moet worden dat de vragenlijst bijna door 100% door vrouwen ingevuld is. Uit de literatuur is bekend dat mannen via internet reageren. Nu reageerden 53% van de respondenten via internet, maar dit percentage kan dan wellicht hoger zijn. 18 september 2008 Onderzoekersforum CQ-index

Onderzoekersforum CQ-index Aanbevelingen Bij keuze van dataverzamelingsmethode dient naar de doelgroep gekeken te worden Een gecomineerde dataverzameling is kostenbesparend en een alternatief indien doelgroep niet te oud en lager opgeleid. Directe vergelijking schriftelijk – gecombineerd – internet dataverzameling 18 september 2008 Onderzoekersforum CQ-index

Onderzoekersforum CQ-index Vragen? 18 september 2008 Onderzoekersforum CQ-index