CQI meetinstrumenten: achtergronden en instrumentontwikkeling Herman Sixma Rotterdam - 24 april 2007

Opbouw presentatie Achtergronden CQI meetinstrumenten Doelstelling CQI meetinstrumenten Het ontwikkeltraject - constructie - psychometrische test - test op discriminerend vermogen - vaststelling meetinstrument Afsluitende opmerkingen

Bouwsteen 1: de QUOTE meetinstrumenten QUality Of care Through the patient’s Eyes Vragenlijsten met algemene en aandoening- en/of sectorspecifieke kwaliteitsaspecten, waarbij gevraagd wordt naar: Belang van kwaliteitsaspecten Ervaring (wordt aan verwachtingen voldaan?) Verbeterpunten: ervaring x belang

Voorbeelden van QUOTE’s en QUOTE Look-a-likes Benchmark thuiszorg Kwaliteit van zorg epilepsie Ziekenhuis Vergelijkings Systeem Benchmark zorgkantoren Kwaliteit prestaties RIO’s Kwaliteit van zorg verstandelijk gehandicapten QUOTE Diabetes QUOTE Astma / COPD QUOTE Reuma QUOTE Staar QUOTE HIV QUOTE IBD QUOTE borstkanker QUOTE angst en depressie QUOTE fysiotherapie QUOTE huisartsen QUOTE ouderen QUOTE ergotherapie QUOTE lich. Gehandicapten QUOTE TBC

Bouwsteen 2: de CAHPS meetinstrumenten Consumer Assessment of Healthcare Providers and Systems Vragenlijsten met vooral algemene kwaliteits-aspecten waarbij gevraagd wordt naar: Ervaring (wordt aan verwachtingen voldaan) Problemen met toegankelijkheid Algemeen rapportcijfer Protocollen voor steekproeftrekking, data-verzameling, analyse en rapportage

CAHPS-instrumenten Please answer the questions in this survey about this stay at [FACILITY NAME]. Do not include any other hospital stay in your answers.   YOUR CARE FROM NURSES 1. During this hospital stay, how often did nurses treat you with courtesy and respect 1 Never 2 Sometimes 3 Usually 4 Always   4. Before giving you the medicine, did hospital staff describe possible side effects in a way you could understand? 1 Yes 2 No 5. Using any number from 0 to 10 where 0 is the worst possible care and 10 is the best possible care, what number would you give the care you got from all the nurses who treated you? 0 0 Worst possible nursing 1 1 care 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 10 10 Best possible nursing care

CAHPS + QUOTE = CQ Index Antwoordsystematiek van CAHPS Layout van CAHPS Protocollen van CAHPS Aandoening-/sectorspecifieke verdieping van QUOTE Belangvragen van QUOTE Verbeterscores van QUOTE

CQI-meetinstrumenten In voor- bereiding Constructie 1e test 2e test Gereed zorg en zorgverzekering   fysiotherapie staaroperaties heup/knieoperaties diabetes ketenzorg VV&T gehandicaptenzorg ambulante + 1e lijns GGZ maagmiddelen huisartsenzorg eerstelijnszorg farmacie geboortezorg ziekenhuisopname mammacare reuma ketenzorg rughernia spataderzorg

CQI meetinstrumenten dienen publieke en private doelen Keuze-informatie Kwaliteits-informatie Verbeter-informatie Zorginkoop-informatie Toezichts-informatie Monitor-informatie Consumenten  Patiënten/cliënten  Zorgaanbieders  Verzekeraars  IGZ / NMa  Overheid 

Verbeterpunten heup-/knieoperaties

Bereikbaarheid/bejegening in huisartspraktijk 2,5 2,7 2,9 3,1 3,3 3,5 3,7 3,9 15 (63) 20 (40) 22 (71) 19 (49) 1 (102) 10 (210) 23 (63) 3 (397) 11 (81) 8 (218) 13 (128) 6 (106) 12 (123) 2 (130) 4 (110) 7 (399) 9 (118) netwerk diabeteszorg (aantal patiënten) gem. score *** * Bron: Rupp e.a., Afdeling Sociale Geneeskunde AMC, 2006

Ontwikkeltraject CQI meet-instrumenten Ontwikkeling vragenlijsten (duurkent publiek/private financiering: ZonMw VWS Verzekeraars Collectebusfondsen Metingen hebben private financiering: Zorgaanbieders

1. Idee voor ontwikkeling CQ Index 2. Opstellen plan voor ontwikkeling 3. Aan-vragen subsidie 4. Start ontwikkel-project 5. Constructie meetinstru- ment 7. Test Psychometrie en discriminerend vermogen 6. Data-verzameling (en) 8. Rapportage bevindingen 9. Nieuwe CQ Index Afstemming met CKZ ontwikkel-programma Privaat ontwikkelproject: Advies WAR over onderzoeksplan Advies WAR aan onderzoekers over conceptlijst Toets WAR van rapport en herzien instrument; advies WAR aan bestuur CKZ Vaststelling instrument + rapport door CKZ Publiek ontwikkelproject: toets onderzoeksplan door WAR

1. Idee voor ontwikkeling CQ Index 2. Opstellen plan voor ontwikkeling 3. Aan-vragen subsidie 4. Start ontwikkel-project 5. Constructie meetinstru- ment 7. Test Psychometrie en discriminerend vermogen 6. Data-verzameling (en) 8. Rapportage bevindingen 9. Nieuwe CQ Index Afstemming met CKZ ontwikkel-programma Privaat ontwikkelproject: Advies WAR over onderzoeksplan Advies WAR aan onderzoekers over conceptlijst Toets WAR van rapport en herzien instrument; advies WAR aan bestuur CKZ Vaststelling instrument + rapport door CKZ Publiek ontwikkelproject: toets onderzoeksplan door WAR

Constructie CQI meetinstrument Focusgroepgesprekken met gebruikers (evt. aangevuld met diepte-interviews) Literatuurstudie, inclusief bestudering bestaande vragenlijsten Begeleidingscommissie / klankbordgroep Commentaar aanbieders, zorginkoop-teams, verzekeraars, patiënten- en cliëntenorganisaties

1. Idee voor ontwikkeling CQ Index 2. Opstellen plan voor ontwikkeling 3. Aan-vragen subsidie 4. Start ontwikkel-project 5. Constructie meetinstru- ment 7. Test Psychometrie en discriminerend vermogen 6. Data-verzameling (en) 8. Rapportage bevindingen 9. Nieuwe CQ Index Afstemming met CKZ ontwikkel-programma Privaat ontwikkelproject: Advies WAR over onderzoeksplan Advies WAR aan onderzoekers over conceptlijst Toets WAR van rapport en herzien instrument; advies WAR aan bestuur CKZ Vaststelling instrument + rapport door CKZ Publiek ontwikkelproject: toets onderzoeksplan door WAR

Dataverzameling Steekproeftrekking op basis van protocol, afgestemd op doelgroep Dataverzameling (vragenlijsten / interviews) afgestemd op doelgroep - Data-entry op basis van protocol (inclusief controles)

1. Idee voor ontwikkeling CQ Index 2. Opstellen plan voor ontwikkeling 3. Aan-vragen subsidie 4. Start ontwikkel-project 5. Constructie meetinstru- ment 7. Test: cognitief psychometrisch + discriminerend vermogen 6. Data-verzameling (en) 8. Rapportage bevindingen 9. Nieuwe CQ Index Afstemming met CKZ ontwikkel-programma Privaat ontwikkelproject: Advies WAR over onderzoeksplan Advies WAR aan onderzoekers over conceptlijst Toets WAR van rapport en herzien instrument; advies WAR aan bestuur CKZ Vaststelling instrument + rapport door CKZ Publiek ontwikkelproject: toets onderzoeksplan door WAR

Test 1: Cognitieve test (N = ca. 10 per deelgroep) Doel: kleinschalig uittesten van het meetinstrument op bruikbaarheid en begrijpelijkheid Methode: - Schriftelijk + commentaar - Mondeling (telefonisch / face-to-face) - Groepsbijeenkomst

Test 2: Psychometrisch onderzoek (N = circa 400) 1. Item + inter-item analyse: - missing values (< 10%) - scheefheid verdeling (< 90%) - correlaties (bij voorkeur <.70) 2. Factoranalyse - exploratief + evt. confirmatief (factorlading < .40) 3. Betrouwbaarheidsanalyse - Cronbach’s α < .70

Test 3: Discriminerend vermogen ( N = minimaal 200 per eenheid ) Data niet onafhankelijk: hiërarchische structuur: cliënten gegroepeerd binnen organisaties/instellingen Multi-level analyse (in MLwiN ) Doel: - Kijken of de vragenlijst verschillen tussen instellingen weer kan geven - Correctie voor patient- en netwerk- kenmerken: casemix adjustment

1. Idee voor ontwikkeling CQ Index 2. Opstellen plan voor ontwikkeling 3. Aan-vragen subsidie 4. Start ontwikkel-project 5. Constructie meetinstru- ment 7. Test Psychometrie en discriminerend vermogen 6. Data-verzameling (en) 8. Rapportage bevindingen 9. Nieuwe CQ Index Afstemming met CKZ ontwikkel-programma Privaat ontwikkelproject: Advies WAR over onderzoeksplan Advies WAR aan onderzoekers over conceptlijst Toets WAR van rapport en herzien instrument; advies WAR aan bestuur CKZ Vaststelling instrument + rapport door CKZ Publiek ontwikkelproject: toets onderzoeksplan door WAR

CQI meetinstrumenten richten zich op : “…het meten en publiceren van de ervaringen van klanten met de (gezondheids)zorg volgens een landelijke meetstandaard: de CQ-Index. Dit resulteert in openbare, relevante, valide en vergelijkbare informatie over klantervaringen in de zorg…”

CQI meetinstrumenten: zijn vooral zinvol bij toepassing in relatief grootschalig (vergelijkend) onderzoek; kunnen worden opgevat als ‘thermometer’; zijn minder geschikt voor toepassing bij bepaalde ‘specifieke’ doelgroepen (bijv. kleine eenheden) kunnen worden gecombineerd met (kwalitatief) verdiepend onderzoek

Contactgegevens Herman J. Sixma NIVEL Postbus 1568 3500 BN Utrecht tel: 030 2 729 710 E-mail: h.sixma@nivel.nl www.nivel.nl