Ronnie Slijkhuis Onderzoekersforum CQI The Internet: Valid or Flawed?

Inleiding Validiteit “Validity determines whether the research truly measures that which it was intended to measure, or how truthful the research results are. In other words, does the research instrument allow you to hit "the bull’s eye" of your research object?” (Joppe, 2000)

Survey validiteit Bedreigingen voor de validiteit van enquêtes Errors due to Observation ‘Mode Effect’ Aanwezigheid van een computer Houding ten opzichte van het Internet De sociale omgeving van het Internet Errors due to Non-observation Non respons Coverage Samenhang met demografie; Jong, blank, man, hogere middenklasse, en technologisch geschoold (Groves, 1989)

Dataverzamelingsproces De Internet enquête Week 1: Uitnodiging dmv Brief - Uitleg omtrent het onderzoek - Uitleg omtrent anonimiteit en veiligheid - Internet adres - Gebruikersnaam - Wachtwoord Week 2: Reminder dmv Postkaart Week 4: Reminder dmv Brief (Non-respons enquête over de redenen van non-participatie)

Resultaten Item analyse Geen significantie in afwijkende antwoorden tussen de twee modes Slechts één vraag significant: “Als u in de afgelopen 12 maanden een stuurde naar uw zorgverzekeraar, hoe vaak kreeg u dan de informatie of hulp die u nodig had?”

Resultaten Respondent analyse Zeven demografische variabelen: Gezondheid (X 2 = 0,709, df=4)(ns) Leeftijd (X 2 = 15,378, df=6)(*) Geslacht (X 2 = 4,670, df=1)(*) Opleiding (X 2 = 11,379, df=2)(**) Ethniciteit (X 2 =1,385, df=1)(ns) Huidige werksituatie (X 2 =8,894, df=4)(ns) Inkomen (X 2 =13,794, df=4)(**) (* p<0,05; ** p<0,01; ns = niet significant)

Resultaten

Respons analyse Netto Respons Internet: 7,8% Papier: 34,8%

Resultaten

Conclusies Mode effect Afwezig aangezien er geen verschillen in antwoorden zijn ontdekt Coverage error Alhoewel jonger, hoger opgeleid, vaker man en met een hoger inkomen ten opzichte van papier, lijkt de representativiteit voor de gehele populatie beter met Internet Non Respons error Gebruik van het Internet leidt tot een beduidend lagere respons in vergelijking met papier

Implicaties Meer onderzoek benodigd om de responsproblematiek aan te pakken –Voornamelijk om onwil aan te pakken, maar ook mogelijk omgaan met onkunde (vertrouwen) –Specifiek reminder traject (timing/vorm) “Mixed Mode” als mogelijke oplossing voor nu –Tegelijkertijd gebruik maken van papier en Internet, gebruik makend van de voordelen van beide werelden –Verder onderzoek vereist naar reminder traject –Mogelijkheid van

Mixed Mode traject (Week –1: Pre-notificatie) Brief/ Week 0: Uitnodiging Brief/ Week 1: Reminder Postkaart/ Week 3/4: Reminder Papieren enquete/Aanvraagkaart hiervoor (Week 5/6: Laatste reminder) Brief