CQ-index Huisartsenzorg: pilot schriftelijke vs. electronische dataverzameling CQI-onderzoekersforum 18 september 2008

1 Opbouw presentatie 1.Achtergronden bij het onderzoek 2.Methodologische aspecten 3.Resultaten: responsanalyse 4.Resultaten: item- en schaalniveau 5.Resultaten: achtergrondkenmerken respondenten 6.Resultaten: samengevat 7.Discussie/conclusie

2 1. Achtergronden bij het onderzoek Primaire vraagstelling: Wat zijn de effecten van de dataverzamelingsmethodiek (schriftelijk vs. online) op: Bruto- en netto respons; Uitkomsten op item- en schaalniveau; Samenstelling van de responsgroep op een aantal relevante achtergrondkenmerken.

3 2. Methodologische aspecten Onderzoekspopulatie: –6 Huisartsenpraktijken (HAP’s) regio Den Haag Steekproeftrekking: –Beoogde omvang per HAP: 300 schriftelijk, 200 online; –Exclusie: Niet ingeschreven bij betreffende HAP; < 18 jaar; > 1 jaar geleden laatste contact met HAP. –1 HAP: alleen schriftelijk vanwege onvoldoende adressen.

4 3. Resultaten: responsanalyse (totalen) Online: groot verschil gerealiseerde bruto steekproef – netto verstuurd

5 3. Resultaten: responsanalyse (verschil bruto-netto, per HAP) Online: klein verschil bruto respons – netto respons

6 3. Resultaten: responsanalyse (netto-respons per HAP) Netto respons online vergelijkbaar met netto respons schriftelijk

7 3. Resultaten: responsanalyse (kernbevindingen) Online: groot verschil gerealiseerde bruto steekproef – netto verstuurd t.g.v. matige kwaliteit -adressenbestand (‘bounces’). Online: klein verschil bruto respons – netto respons aangezien ‘weigeraars’ geen deel uitmaken van bruto- respons. Netto respons online vergelijkbaar met netto respons schriftelijk.

8 3. Resultaten: itemniveau (kernbevindingen) Overall beeld: geen systematische statistisch significante verschillen (schriftelijk vs. online) in de verdeling van de respondenten over de antwoordcategorieën. Voor een aantal items wél statistisch significante verschillen in de verdeling voor één of meerdere (maar niet alle) HAP’s.

9 Verschil schriftelijk – online: overzicht items en HAP’s VraagHAP Weet u voldoende over de organisatie van uw huisartspraktijk? *4 Hoe vaak is het in de afgelopen 12 maanden gelukt om overdag binnen een minuut iemand van uw huisartspraktijk aan de telefoon te krijgen? *3 & 5 Als u overdag met de huisartspraktijk belde, hoe vaak werd u dan goed geholpen? *5 Hoe vaak beoordeelde de dokters-assistente goed dat u een afspraak nodig had met de arts? *3 Hoe vaak kon u als u het nodig vond binnen 24 uur op het spreekuur terecht? *2 Was de huisartspraktijk open op tijdstippen die voor u gunstig waren? *3 Kunnen mensen in de wachtkamer horen of zien wat er in de spreek- of onderzoekskamer gebeurt? *3 Heeft u, als u dat wilt, voldoende mogelijkheid om uw eigen patiëntegegevens (bijv. brieven van specialisten) in te zien? *1 Hoe vaak legde uw huisarts u dingen op een begrijpelijke manier uit? *2 Werd u door uw huisarts goed geïnformeerd over de verschillende behandelings mogelijkheden voor uw gezondheidsklachten? *5 Hoe vaak gaf uw huisarts u de ruimte om mee te beslissen over de behandeling of hulp die u kreeg? *3 Kreeg u voldoende hulp bij het ‘vinden van de weg’ in de gezondheidszorg (zoals informatie over behandelaars, ziekenhuizen, wachtlijsten, het maken van een afspraak en dergelijke)? *3 Had uw huisarts aandacht voor mogelijke emotionele problemen die te maken hebben met uw gezondheid? *5 Hoe vaak was uw huisarts bereid met u te praten over fouten of over zaken die, naar uw mening, niet goed zijn gegaan? *2

10 3. Resultaten: itemniveau (HAP 3): geen verschil schriftelijk - online Hoe vaak vond u de artsen en andere medewerkers van uw huisartspraktijk behulpzaam?

11 3. Resultaten: itemniveau (HAP 3): verschil schriftelijk - online Kreeg u voldoende hulp bij het ‘vinden van de weg’ in de gezondheidszorg (zoals informatie over behandelaars, ziekenhuizen, wachtlijsten, het maken van een afspraak en dergelijke)?

12 4. Resultaten: schaalscores (kernbevindingen) Overall beeld: geen systematische statistisch significante verschillen (schriftelijk vs. online) in gemiddelde schaalscore voor de diverse schalen. Voor een aantal schalen wél statistisch significante verschillen in de gemiddelde schaalscore voor één of meerdere (maar niet alle) HAP’s.

13 4. Resultaten: schaalscores (Huisarts: bejegening) geen significante verschillen schriftelijk - online

14 4. Resultaten: schaalscores (Assistente) significante verschillen schriftelijk - online p <.005 p <.05

15 5. Resultaten: achtergrondkenmerken (kernbevindingen) Overall geldt: responsgroep ‘online’ hoger opgeleid dan responsgroep ‘schriftelijk’ én (uitgezonderd HAP 1) responsgroep ‘online’ jonger dan responsgroep ‘schriftelijk’. Daarnaast geldt: –HAP 1: responsgroep ‘online’ geringer aandeel allochtonen. –HAP 2: responsgroep ‘online’ geringer aandeel allochtonen en minder huisarts-contactmomenten. –HAP 4: minder huisarts-contactmomenten en hogere waardering fysieke/psychische gezondheid. –HAP 5: minder huisarts-contactmomenten.

16 5. Resultaten: achtergrondkenmerken respondenten (etniciteit) p <.01 p <.05

17 5. Resultaten: achtergrondkenmerken respondenten (leeftijd) p <.01 p <.005 p <.05

18 5. Resultaten: achtergrondkenmerken respondenten (opleiding) p <.005 p <.001p <.05 p <.001

19 5. Resultaten: achtergrondkenmerken respondenten (aantal huisarts-contactmomenten) p <.05p <.005 p <.05

20 5. Resultaten: achtergrondkenmerken respondenten (waardering lichamelijke gezondheid) p <.01

21 5. Resultaten: achtergrondkenmerken respondenten (waardering psychische gezondheid) p <.01

22 6. Resultaten: samengevat De te realiseren netto-respons bij online dataverzameling is vergelijkbaar met die bij de reguliere schriftelijke dataverzameling. De uitkomsten op item- en schaalniveau verschillen niet systematisch tussen de online- en schriftelijke dataverzameling. Op een aantal relevante achtergrondkenmerken zijn er significante verschillen in de samenstelling van de responsgroep tussen de online- en schriftelijke dataverzameling. Ondanks verschillen in relevante achtergrondkenmerken geen systematische verschillen in uitkomsten tussen schriftelijk en online.

23 7. Discussie / Conclusie Rapport CQ-index huisartsenzorg: meetinstrumentontwikkeling (NIVEL, 2008): Hogere leeftijd: positiever Hoger opgeleid: positiever Slechtere lichamelijke/psychische gezondheid: positiever Autochtoon: positiever Minder huisartscontactmomenten: positiever

24 7. Discussie / Conclusie Mogelijke verklaring voor ontbreken van systematische verschillen in uitkomsten tussen online en schriftelijk: Het positieve effect van achtergrondkenmerk X (bijv. opleiding) op de uitkomsten wordt gecompenseerd door het negatieve effect van achtergrondkenmerk Y (bijv. leeftijd).

25 Verwachte effecten verschillen in achtergrondkenmerken +, =, en – geven aan of het verschil een positief, geen, of een negatief effect heeft op de resultaten voor online (relatief t.o.v. schriftelijk). HAP 1HAP 2HAP 3HAP 4HAP 5 Ethniciteit++=== Leeftijd=---- Opleiding+++++ N consulten=+=++ Lich. Gezondheid===-= Psych. Gezondheid===-=

26 7. Discussie / Conclusie Conclusie: Online dataverzameling is een waardige vervanger voor de reguliere schriftelijke dataverzameling, op voorwaarde dat verschillen in relevante achtergrondkenmerken worden ‘weggepoetst’ door toepassing van case-mix-adjustment.