Betrouwbaar onderscheiden Xander Koolman IPSE Studies Colloquium 3 december 2009

Inhoud presentatie Statistische betrouwbaarheid: belangrijk? Wat is betrouwbaarheid? Wat is onderscheidingsvermogen? Hoe kan de betrouwbaarheid worden verbeterd? 5-4-2017

Artikel Medisch Contact 20 november 2009 Heleen Pons, Hester Lingsma & Roland Bal Over het maken en breken van reputaties. De waarde van ziekenhuisranglijsten 5-4-2017

5-4-2017

15-12-2008 Koolman Advies en Onderzoek i.s.m. SiRM

Betrouwbaarheid AD Het percentage van alle variatie dat verklaard kan worden met de prestaties van het voorgaande jaar: 2008: 35% 2007: 25% 5-4-2017

Wat is statistische betrouwbaarheid? Een meting is statistisch betrouwbaar wanneer de invloed van toeval klein is. Voorbeeld decubitus in thuiszorg Prevalentie gemiddeld 1% Steekproefgrootte veelal kleiner dan 50

Waarom betrouwbaarheid? Zonder betrouwbaarheid: fluctueren de scores sterk tussen de meetmomenten fluctueren de scores sterk tussen indicatoren per aanbieder kiezen patiënten/zorginkopers de verkeerde zorgaanbieder of negeren de informatie raken zorgaanbieders gedemotiveerd Is weinig betrouwbare informatie waardeloos? Nee, gemiddeld leveren goede aanbieders beter

Wat beïnvloedt betrouwbaarheid? significantieniveau onderscheidingsvermogen schaal standaardisatie versus filteren klassenindeling samenvoeging van metingen gebruik van voor- en nametingen

Betrouwbaarheidsniveau Betrouwbaarheid is de kans dat een gemiddelde zorgaanbieder als gemiddeld (niet onderscheidend) wordt geduid. Betrouwbaarheid is 1- significantieniveau (alpha)

Significantieniveau α/2 betrouwbaarheid

Onderscheidingsvermogen Onderscheidingsvermogen (power) is de kans dat een onderscheidende zorgaanbieder als onderscheidend (niet gemiddeld) wordt geduid.

Onderscheidingsvermogen Meer betrouwbaarheid = minder onderscheidingsvermogen betrouwbaarheid

Benodigd aantal waarnemingen (prevalentie 50%) Power 0,5 0,8 0,9 0,95 0,99 α 0,1 15 27 35 43 59 0,05 20 34 51 68 0,01 31 49 69 90 0,001 48 70 83 94 118

Benodigd aantal waarnemingen (prevalentie10%) Power 0,5 0,8 0,9 0,95 0,99 α 0,1 118 205 262 314 426 0,05 159 260 324 383 506 0,01 389 467 537 683 0,001 412 573 668 751 923 15-12-2008 Koolman Advies en Onderzoek i.s.m. SiRM

Uitruil In wetenschappelijk onderzoek is gebruikelijk 95% betrouwbaarheid 80% onderscheidingsvermogen (soms 90%) Discussie Meer onderscheidingsvermogen minder betrouwbaarheid

Schaal van de indicator Dichotoom (0-1) resulterend in een percentage Waar ligt het afkappunt? Geordend (z. goed, goed, redelijk, slecht, z. slecht) Interval (graden koorts)

Afkappunt decubitus en prevalentie

Keuze van afkappunt en aantallen Graad 3 en hoger 921 observaties nodig Graad 2 en hoger 382 observaties nodig Graad 1 en hoger 166 observaties nodig

Standaardisatie versus filteren Verpleeghuis neemt veel patiënten op met decubitus Correctie door deze patiënten te excluderen Correctie door te standaardiseren We schatten het effect van decubitus bij opname op decubitus tijdens het meetmoment en corrigeren daarvoor. Bij een verdubbeling van prevalentie zonder exclusie: Exclusie 921 observaties nodig Standaardisatie < 921 en > 382 observaties nodig

Klassenindeling Klassen of sterren op basis van Significante verschillen Significant beter dan gemiddeld Absolute verschillen 2% minder decubitus dan gemiddeld Rang Beste 30% Laatste is lastig vereist zeer hoge aantallen waarnemingen

Samenvoeging van metingen Samenvoegen van meetmomenten zorgaanbieders/locaties patiëntengroepen/indicatoren Homogene scores Geen informatieverlies Meer betrouwbaarheid/onderscheidingsvermogen Heterogene scores…

Effecten samenvoegen Homogene uitkomsten Van 260 naar 130 per meting Heterogene uitkomsten Van 260 naar 550 per meting

Gebruik van voor- en nametingen Toeval hangt samen met de patiënt Het verschil tussen voor- en nameting is minder afhankelijk van toeval meer afhankelijk van kwaliteit Invloed van toeval kan veel kleiner zijn

Effecten voor- en nametingen Aantal metingen 2 3 4 Rho (correlatie voor- en nametingen) 260 195 173 0,2 208 156 139 0,4 117 104 0,6 78 70 0,8 52 39 35

Hoe betrouwbaar? Hoe betrouwbaar? Wat is de waarde van precieze informatie? (value of information) Wat zijn de kosten? Kosten metingen Minder gedetailleerde uitkomsten Minder valide uitkomsten Antwoord vereist onderzoek

Concluderend Statistische betrouwbaarheid is belangrijk is beïnvloedbaar moet onderdeel zijn van ontwikkeling van indicatoren onderhoud van indicatoren moet uitgeruild worden tegen validiteit en kosten, maar optimale uitruil is onduidelijk

Dank voor uw aandacht Voor meer informatie: www.zichtbarezorg.nl rapport Betrouwbaar onderscheiden