Trimbos-instituut 2008 1 De Consumer Quality Index Stand van zaken Bob van Wijngaarden Studiedag Het Binnenste Buiten 26 maart 2008.

Presentatie over: "Trimbos-instituut 2008 1 De Consumer Quality Index Stand van zaken Bob van Wijngaarden Studiedag Het Binnenste Buiten 26 maart 2008."— Transcript van de presentatie:

1 Trimbos-instituut 2008 1 De Consumer Quality Index Stand van zaken Bob van Wijngaarden Studiedag Het Binnenste Buiten 26 maart 2008

2 Trimbos-instituut 2008 2 Opzet van deze sessie 1.De achtergrond van de CQ-Index: waarom en waartoe ervaringen van cliënten meten? 2. De ontwikkeling van CQ vragenlijsten voor de GGZ: eerste ervaringen 3. Een blik vooruit: de implementatie van de CQ-index

3 Trimbos-instituut 2008 3 Belang van cliëntoordelen Medische overwegingen Efficiency Ervaringsdeskundigheid Kwaliteitsverbetering Humanistische overwegingen Marktwerking

4 Trimbos-instituut 2008 4 Gewicht van cliëntoordelen Cliëntoordelen, zoals satisfactie met de zorg, en kwaliteit van leven zijn minstens even belangrijk als: Klinische uitkomsten Kosten van de zorg Wachttijden, drop-out, heropnames, etc.

5 Trimbos-instituut 2008 5 Gebruik cliëntoordelen Basisset Prestatie Indicatoren keuze-informatie cliënten: www.kiesBeter.nl Zorginkoop verzekeraars Interne sturing instellingen Te meten met: GGZ Thermometer of CQ-Index?

6 Trimbos-instituut 2008 6 Waarom een CQ-Index? Gebaseerd op CAHPS vragenlijsten (USA) Ervaringen van cliënten met ontvangen zorg en met hun zorgverzekeraar Geen satisfactie maar ervaringen Actieve inbreng van cliënten in focusgroepen Gestandaardiseerde vragenlijsten, wijze van dataverzameling en dataverwerking Onderlinge vergelijking en keuze-informatie

7 Trimbos-instituut 2008 7 Van CAHPS naar CQ-Index Introductie CAHPS in Nederland door verzekeraars Eerst alleen somatische aandoeningen en een verzekeraars CAHPS Overgenomen door Overheid als ‘het’ instrument Centrum Klantervaring Zorg Een nieuwe naam: Consumer Quality Index

8 Trimbos-instituut 2008 8 Een CQ-Index voor de GGZ Ontwikkeld op basis van: ECHO (=CAHPS) uit USA Focusgroepen cliënten GGZ Thermometer Voorstudie cliëntgerichtheid Consultatie experts

9 Trimbos-instituut 2008 9 1 e versie CQ-Index Ambulant kortdurend (<2 jaar) Grootste groep (70%) Grootste kans op bereidheid tot deelname Grootste kans op zelfstandig kunnen invullen van een lange vragenlijst

10 Trimbos-instituut 2008 10 Focusgroepen Acht tot tien cliënten uit de doelgroep Onafhankelijk voorzitter Secretaris (medewerker project) Twee bijeenkomsten: -bespreken relevante domeinen -bespreken concept vragenlijst

11 Trimbos-instituut 2008 11 Pilotversie CQ-index In totaal 99 vragen: - 60 ervaringsvragen Stelt uw behandelaar de juiste vragen? - 4 vragen over uitkomst behandeling Hoe gaat u nu met uw klachten om? - 7 beoordelingsvragen (cijfer) Welk cijfer (0-10) geeft u aan uw behandelaar? - 9 selectievragen Indien ja, ga naar vraag ……. - 18 achtergrondvragen (standaard) Geslacht, leeftijd, geboorteland - 1 open vraag Opmerkingen

12 Trimbos-instituut 2008 12 Dataverzameling Vijf GGZ-instellingen Steekproef 300 cliënten per instelling Per per post volgens Dillman methode (voorgeschreven standaard) Vragenlijst, antwoordenvelop en begeleidende brief Na 1 week Briefkaart met een herinnering Na 4 wekenNieuwe vragenlijst en herinneringsbrief Na 6 wekenHerinneringsbrief

13 Trimbos-instituut 2008 13 Respons (1) Klachten over Dillman methode (stalking) Klachten over inbreuk privacy Cliënten hadden geen behandelcontact, maar kregen wel een lijst toegestuurd Soms is ‘nevencliënt’ aangeschreven

14 Trimbos-instituut 2008 14 Respons (2) Verzonden 1540 Retour 690 (44.8%) Leeg retour 124 Ten onrechte verzonden 77 Niet bruikbaar 14 Netto respons 475 (30.8%)

15 Trimbos-instituut 2008 15 Kwaliteit verzamelde data (1) 10-15% missings bij selectievragen - Ten onrechte beantwoorde vraag (10%) - Ten onrechte niet beantwoord (15%) < 5% missings bij andere vragen

16 Trimbos-instituut 2008 16 Kwaliteit verzamelde data (2) Representativiteit - Meer vrouwen (65%) - Meer ouderen (50+) Moeilijkheidsgraad - Niet moeilijk (87%) - Geen toename missings naar einde lijst Tijdsduur - Binnen 20 minuten (71%)

17 Trimbos-instituut 2008 17 Schaalstructuur Factoranalyse + betrouwbaarheid Psychisch functioneren ( 4 items, α=0.95) Bejegening door hulpverlener (10 items, α=0.86) Informatie over cliëntenrechten ( 6 items, α=0.77) Informatie over de behandeling ( 4 items, α=0.72) Informatie over medicatie ( 3 items, α=0.69) Deskundigheid hulpverlener ( 3 items, α=0.75) Communicatie tussen behandelaars ( 3 items, α=0.70) De juiste behandeling gekregen ( 2 items, α=0.83) Keuze voor behandeling ( 2 items, α=0.73) Afspraken over nazorg( 2 items, α=0,61)

18 Trimbos-instituut 2008 18 Aanpassingen CQ-index n.a.v. 1 e pilot Aantal items teruggebracht - Scheef verdeelde items verwijderd - Items uit schalen verwijderd, zonder verlies betrouwbaarheid - Overbodige vragen verwijderd - 2 e versie CQ-index met 79 vragen Structuur aangepast - Zo weinig mogelijk selectievragen

19 Trimbos-instituut 2008 19 Conclusie 1 e pilot (Te) lange vragenlijst Klachten methode dataverzameling (privacy) Fouten in steekproef Selectievragen scheppen verwarring Redelijke tot goede kwaliteit data Moeilijkheidsgraad geen probleem Schaalstructuur, dus inhoudelijk zinvol

20 Trimbos-instituut 2008 20 2 e Pilot ambulante CQ-I (loopt) Testen onderscheidend vermogen 20 instellingen (GGZ en Verslavingszorg) 300 cliënten per instelling CQ-Index 100 cliënten per instelling Belangvragen Keuze tussen vragenlijst of Internet Instellingen betalen zelf dataverzameling Krijgen daarvoor beschikking over de eigen data voor jaarverantwoording (JMV) Definitieve CQ-I ambulant medio 2008

21 Trimbos-instituut 2008 21

22 Trimbos-instituut 2008 22 Eerste indruk data (N=500) 40% respons gemiddeld (1 e pilot 31%) <10% via Internet < 5% missings (ook bij doorkiesvragen) 11% heeft hulp gekregen (uitleg, samen met partner ingevuld, vertaald, ed) 52% mannen (1 e pilot 45%) 60% jonger dan 44 jaar (1 e pilot 28%) 9% geen opleiding; 30% VWO en hoger 89% Nederlands(talig); ouders 85%

23 Trimbos-instituut 2008 23 CQ-Index langdurende zorg en klinische opname (1) Deze maand van start gegaan Modulaire opzet Vragenlijst gebaseerd op de CQ-Index ambulante ggz (basislijst) Aangevuld met extra vragen voor verblijf en klinische opname Nieuwe focusgroepen

24 Trimbos-instituut 2008 24 CQ-Index langdurende zorg en klinische opname (2) 1 e fase: pre-pilot (N=50; 3 maanden) – Is een CQ-Index haalbaar bij deze populaties? – Hoeveel energie moet je er in stoppen, tegen welk resultaat? – ‘Go or no go’ moment (gaan we door?) – Zoek nog deelnemende instellingen 2 e fase: pilot (6 maanden)

25 Trimbos-instituut 2008 25 Implementeerbaarheid Wat kunnen we nu zeggen over: De kwaliteit van het instrument? Het proces van dataverzameling? De resultaten uit de pilot(s)? Dus de bruikbaarheid en implementeerbaarheid van het instrument?

26 Trimbos-instituut 2008 26 Kwaliteit instrument, dataverzameling en resultaat pilots Kwaliteit redelijk tot goed (nog geen informatie over onderscheidend vermogen) Zinvolle informatie Maar, voorlopig alleen kortdurend ambulant Maar, lange lijst met wisselende respons Veel inspanningen voor verkrijgen data Problemen rond privacy Klachten van cliënten (Dillman, privacy)

27 Trimbos-instituut 2008 27 Bruikbaarheid en implementeerbaarheid In Basisset zware wissel op CQ-Index, dus mogelijk afbreekrisico Voor welke cliënten geschikt? Frequentie van afname (nog onbekend) Privacy wat betreft achtergronddata Geen jaarlijkse afname? Dan vragen over bruikbaarheid voor: – Vulling basisset prestatie-indicatoren/JMV – Interne sturing/kwaliteitsverbetering – Keuze informatie voor cliënten via www.kiesbeter.nl

28 Trimbos-instituut 2008 28 Onzekerheden Wie mag/gaat data verzamelen? Wie mag/gaat data beheren? Wie gaat financieren? Welke partij krijgt toegang tot welke resultaten/informatie? Hoe lossen we het privacyprobleem op?