NOSMO Studiemiddag over de Methodologie van Praktijkonderzoek Routine Outcome Monitoring (ROM) vanuit methodologisch perspectief Hans Landsheer, Universiteit Utrecht Dep. Methodologie en Statistiek FSW

Doelstellingen en vraagstellingen ROM Evaluatie van individuele behandelingen Worden individuele behandelingsdoelstellingen gehaald? Evaluatie van behandelafdelingen Gaan de patiënten vooruit? Worden de doelstellingen van de behandelafdeling gehaald? Onderzoek naar uitkomsten van specifieke behandelingen ROM als onderdeel van een Controlled Randomized Trial (CRT): Causale vraagstelling: heeft een behandeling effect? ROM als extensie van een CRT: Kunnen de CRT-onderzoeksresultaten ook gevonden worden onder praktijkomstandigheden? Benchmarking / Prestatie indicatie Functioneert de gezondheidsorganisatie beter dan andere organisaties op een specifieke indicator? ROM kan uiteenlopende doelstellingen dienen en bij de verschillende doelstellingen kunnen verschillende validiteitseisen geformuleerd worden. Naast interne validiteit, externe validiteit instrumentvaliditeit/instrumentbetrouwbaarheid, wordt het begrip lokale validiteit geïntroduceerd. Verschillende instrumenten worden besproken. Daarnaast wordt gepleit voor het gebruik van observaties. Een en ander wordt geïllustreerd aan de hand van concrete, recente ervaringen met ROM studies.

Methodologische vraagstukken Hoe selecteer je patiënten? Randomisering is lastig Afhankelijkheid van selectie instellingen Hoe vergelijk je verschillende patiënten? Hoe vergelijk je verschillende behandelingen? Hoe zorg je voor vergelijkbaarheid van behandelingsfasen? Hoe standaardiseer je metingen? Hoe zorg je voor vergelijkbaarheid van voor- en nametingen? Het toepassen van metingen hoort niet tot de GGZ-routine Metingen van behandelingsresultaten kunnen niet eenvoudig gerelateerd worden aan de behandelingen

Ad 4. Benchmarking / Prestatie indicatie Functioneert de gezondheidsorganisatie beter dan andere organisaties op een specifieke prestatie indicator? Uitspraak over de gezondheidsinstelling!  Causale relatie tussen GGZ-instelling en prestaties + vergelijkbaarheid instellingen Methodologie Sociologische / econometrische benadering geen randomisering of controle Groot aantal metingen, groot aantal personen Identieke metingen bij verschillende personen Propensity scores Rubin’s causale model

Benchmarking in de praktijk Vergelijkbaarheid alleen voor zover gemeten Metingen zijn een groot probleem Variëteit aan behandelingsdoelstellingen Globale metingen met een beperkte klinische relevantie Benchmarking staat los van de praktijk Professionals zien dit vaak als opgedrongen onderzoek Professionals kunnen resultaten niet gebruiken Gevaar: resultaatmeting wordt doelstelling, i.p.v. dat doelstelling wordt gemeten Grote kloof tussen wenselijkheid en werkelijkheid

De eenvoudige vraag blijft vaak onbeantwoord: Bereikt de patiënt zijn behandelingsdoelstellingen? Back to basics: ROM als feedbackinstrument voor patiënt en therapeut Resultaatmeting moet vanzelfsprekend worden Observaties en beoordelingen hebben voordelen: Ze worden al gebruikt bij behandelingen, zij het onsystematisch Het helpt om doelstellingen concreet en haalbaar te houden Observaties/beoordelingen zijn direct te koppelen aan concrete behandelingsdoelstellingen Observaties kunnen aangepast worden aan een gewijzigde doelstelling  adaptief Observaties kunnen frequent toegepast worden Een meting is altijd een reductie, de kunst is om een meting de essentie van het behandelingsdoel te laten vertegenwoordigen

Stellingen Hans Landsheer Routine Outcome Monitoring is een instrument voor kwaliteitsbewaking, en wel of concrete behandeldoelstellingen gehaald worden Behandelresultaten van verschillende GGZ-instellingen zijn lastig te interpreteren en het is daarom niet zinvol om deze te gebruiken voor de vergelijking van verschillende instellingen Benchmarking van de GGZ op grond van ROM hoort niet thuis bij de zorgverzekeraars (zie http://www.sbggz.nl/Over-SBG en http://www.infinitcare.com/rom-in-de-ggz/)