Trimbos-instituut De Consumer Quality Index Stand van zaken Bob van Wijngaarden Studiedag Het Binnenste Buiten 26 maart 2008

Trimbos-instituut Opzet van deze sessie 1.De achtergrond van de CQ-Index: waarom en waartoe ervaringen van cliënten meten? 2. De ontwikkeling van CQ vragenlijsten voor de GGZ: eerste ervaringen 3. Een blik vooruit: de implementatie van de CQ-index

Trimbos-instituut Belang van cliëntoordelen Medische overwegingen Efficiency Ervaringsdeskundigheid Kwaliteitsverbetering Humanistische overwegingen Marktwerking

Trimbos-instituut Gewicht van cliëntoordelen Cliëntoordelen, zoals satisfactie met de zorg, en kwaliteit van leven zijn minstens even belangrijk als: Klinische uitkomsten Kosten van de zorg Wachttijden, drop-out, heropnames, etc.

Trimbos-instituut Gebruik cliëntoordelen Basisset Prestatie Indicatoren keuze-informatie cliënten: Zorginkoop verzekeraars Interne sturing instellingen Te meten met: GGZ Thermometer of CQ-Index?

Trimbos-instituut Waarom een CQ-Index? Gebaseerd op CAHPS vragenlijsten (USA) Ervaringen van cliënten met ontvangen zorg en met hun zorgverzekeraar Geen satisfactie maar ervaringen Actieve inbreng van cliënten in focusgroepen Gestandaardiseerde vragenlijsten, wijze van dataverzameling en dataverwerking Onderlinge vergelijking en keuze-informatie

Trimbos-instituut Van CAHPS naar CQ-Index Introductie CAHPS in Nederland door verzekeraars Eerst alleen somatische aandoeningen en een verzekeraars CAHPS Overgenomen door Overheid als ‘het’ instrument Centrum Klantervaring Zorg Een nieuwe naam: Consumer Quality Index

Trimbos-instituut Een CQ-Index voor de GGZ Ontwikkeld op basis van: ECHO (=CAHPS) uit USA Focusgroepen cliënten GGZ Thermometer Voorstudie cliëntgerichtheid Consultatie experts

Trimbos-instituut e versie CQ-Index Ambulant kortdurend (<2 jaar) Grootste groep (70%) Grootste kans op bereidheid tot deelname Grootste kans op zelfstandig kunnen invullen van een lange vragenlijst

Trimbos-instituut Focusgroepen Acht tot tien cliënten uit de doelgroep Onafhankelijk voorzitter Secretaris (medewerker project) Twee bijeenkomsten: -bespreken relevante domeinen -bespreken concept vragenlijst

Trimbos-instituut Pilotversie CQ-index In totaal 99 vragen: - 60 ervaringsvragen Stelt uw behandelaar de juiste vragen? - 4 vragen over uitkomst behandeling Hoe gaat u nu met uw klachten om? - 7 beoordelingsvragen (cijfer) Welk cijfer (0-10) geeft u aan uw behandelaar? - 9 selectievragen Indien ja, ga naar vraag …… achtergrondvragen (standaard) Geslacht, leeftijd, geboorteland - 1 open vraag Opmerkingen

Trimbos-instituut Dataverzameling Vijf GGZ-instellingen Steekproef 300 cliënten per instelling Per per post volgens Dillman methode (voorgeschreven standaard) Vragenlijst, antwoordenvelop en begeleidende brief Na 1 week Briefkaart met een herinnering Na 4 wekenNieuwe vragenlijst en herinneringsbrief Na 6 wekenHerinneringsbrief

Trimbos-instituut Respons (1) Klachten over Dillman methode (stalking) Klachten over inbreuk privacy Cliënten hadden geen behandelcontact, maar kregen wel een lijst toegestuurd Soms is ‘nevencliënt’ aangeschreven

Trimbos-instituut Respons (2) Verzonden 1540 Retour 690 (44.8%) Leeg retour 124 Ten onrechte verzonden 77 Niet bruikbaar 14 Netto respons 475 (30.8%)

Trimbos-instituut Kwaliteit verzamelde data (1) 10-15% missings bij selectievragen - Ten onrechte beantwoorde vraag (10%) - Ten onrechte niet beantwoord (15%) < 5% missings bij andere vragen

Trimbos-instituut Kwaliteit verzamelde data (2) Representativiteit - Meer vrouwen (65%) - Meer ouderen (50+) Moeilijkheidsgraad - Niet moeilijk (87%) - Geen toename missings naar einde lijst Tijdsduur - Binnen 20 minuten (71%)

Trimbos-instituut Schaalstructuur Factoranalyse + betrouwbaarheid Psychisch functioneren ( 4 items, α=0.95) Bejegening door hulpverlener (10 items, α=0.86) Informatie over cliëntenrechten ( 6 items, α=0.77) Informatie over de behandeling ( 4 items, α=0.72) Informatie over medicatie ( 3 items, α=0.69) Deskundigheid hulpverlener ( 3 items, α=0.75) Communicatie tussen behandelaars ( 3 items, α=0.70) De juiste behandeling gekregen ( 2 items, α=0.83) Keuze voor behandeling ( 2 items, α=0.73) Afspraken over nazorg( 2 items, α=0,61)

Trimbos-instituut Aanpassingen CQ-index n.a.v. 1 e pilot Aantal items teruggebracht - Scheef verdeelde items verwijderd - Items uit schalen verwijderd, zonder verlies betrouwbaarheid - Overbodige vragen verwijderd - 2 e versie CQ-index met 79 vragen Structuur aangepast - Zo weinig mogelijk selectievragen

Trimbos-instituut Conclusie 1 e pilot (Te) lange vragenlijst Klachten methode dataverzameling (privacy) Fouten in steekproef Selectievragen scheppen verwarring Redelijke tot goede kwaliteit data Moeilijkheidsgraad geen probleem Schaalstructuur, dus inhoudelijk zinvol

Trimbos-instituut e Pilot ambulante CQ-I (loopt) Testen onderscheidend vermogen 20 instellingen (GGZ en Verslavingszorg) 300 cliënten per instelling CQ-Index 100 cliënten per instelling Belangvragen Keuze tussen vragenlijst of Internet Instellingen betalen zelf dataverzameling Krijgen daarvoor beschikking over de eigen data voor jaarverantwoording (JMV) Definitieve CQ-I ambulant medio 2008

Trimbos-instituut

Trimbos-instituut Eerste indruk data (N=500) 40% respons gemiddeld (1 e pilot 31%) <10% via Internet < 5% missings (ook bij doorkiesvragen) 11% heeft hulp gekregen (uitleg, samen met partner ingevuld, vertaald, ed) 52% mannen (1 e pilot 45%) 60% jonger dan 44 jaar (1 e pilot 28%) 9% geen opleiding; 30% VWO en hoger 89% Nederlands(talig); ouders 85%

Trimbos-instituut CQ-Index langdurende zorg en klinische opname (1) Deze maand van start gegaan Modulaire opzet Vragenlijst gebaseerd op de CQ-Index ambulante ggz (basislijst) Aangevuld met extra vragen voor verblijf en klinische opname Nieuwe focusgroepen

Trimbos-instituut CQ-Index langdurende zorg en klinische opname (2) 1 e fase: pre-pilot (N=50; 3 maanden) – Is een CQ-Index haalbaar bij deze populaties? – Hoeveel energie moet je er in stoppen, tegen welk resultaat? – ‘Go or no go’ moment (gaan we door?) – Zoek nog deelnemende instellingen 2 e fase: pilot (6 maanden)

Trimbos-instituut Implementeerbaarheid Wat kunnen we nu zeggen over: De kwaliteit van het instrument? Het proces van dataverzameling? De resultaten uit de pilot(s)? Dus de bruikbaarheid en implementeerbaarheid van het instrument?

Trimbos-instituut Kwaliteit instrument, dataverzameling en resultaat pilots Kwaliteit redelijk tot goed (nog geen informatie over onderscheidend vermogen) Zinvolle informatie Maar, voorlopig alleen kortdurend ambulant Maar, lange lijst met wisselende respons Veel inspanningen voor verkrijgen data Problemen rond privacy Klachten van cliënten (Dillman, privacy)

Trimbos-instituut Bruikbaarheid en implementeerbaarheid In Basisset zware wissel op CQ-Index, dus mogelijk afbreekrisico Voor welke cliënten geschikt? Frequentie van afname (nog onbekend) Privacy wat betreft achtergronddata Geen jaarlijkse afname? Dan vragen over bruikbaarheid voor: – Vulling basisset prestatie-indicatoren/JMV – Interne sturing/kwaliteitsverbetering – Keuze informatie voor cliënten via

Trimbos-instituut Onzekerheden Wie mag/gaat data verzamelen? Wie mag/gaat data beheren? Wie gaat financieren? Welke partij krijgt toegang tot welke resultaten/informatie? Hoe lossen we het privacyprobleem op?