Inhoud presentatie Statistische betrouwbaarheid: belangrijk?

Presentatie over: "Inhoud presentatie Statistische betrouwbaarheid: belangrijk?"— Transcript van de presentatie:

1 Betrouwbaar onderscheiden Xander Koolman IPSE Studies Colloquium 3 december 2009

2 Inhoud presentatie Statistische betrouwbaarheid: belangrijk?
Wat is betrouwbaarheid? Wat is onderscheidingsvermogen? Hoe kan de betrouwbaarheid worden verbeterd?

3 Artikel Medisch Contact 20 november 2009
Heleen Pons, Hester Lingsma & Roland Bal Over het maken en breken van reputaties. De waarde van ziekenhuisranglijsten

4

5 Koolman Advies en Onderzoek i.s.m. SiRM

6 Betrouwbaarheid AD Het percentage van alle variatie dat verklaard kan worden met de prestaties van het voorgaande jaar: 2008: 35% 2007: 25%

7 Wat is statistische betrouwbaarheid?
Een meting is statistisch betrouwbaar wanneer de invloed van toeval klein is. Voorbeeld decubitus in thuiszorg Prevalentie gemiddeld 1% Steekproefgrootte veelal kleiner dan 50

8 Waarom betrouwbaarheid?
Zonder betrouwbaarheid: fluctueren de scores sterk tussen de meetmomenten fluctueren de scores sterk tussen indicatoren per aanbieder kiezen patiënten/zorginkopers de verkeerde zorgaanbieder of negeren de informatie raken zorgaanbieders gedemotiveerd Is weinig betrouwbare informatie waardeloos? Nee, gemiddeld leveren goede aanbieders beter

9 Wat beïnvloedt betrouwbaarheid?
significantieniveau onderscheidingsvermogen schaal standaardisatie versus filteren klassenindeling samenvoeging van metingen gebruik van voor- en nametingen

10 Betrouwbaarheidsniveau
Betrouwbaarheid is de kans dat een gemiddelde zorgaanbieder als gemiddeld (niet onderscheidend) wordt geduid. Betrouwbaarheid is 1- significantieniveau (alpha)

11 Significantieniveau α/2 betrouwbaarheid

12 Onderscheidingsvermogen
Onderscheidingsvermogen (power) is de kans dat een onderscheidende zorgaanbieder als onderscheidend (niet gemiddeld) wordt geduid.

13 Onderscheidingsvermogen
Meer betrouwbaarheid = minder onderscheidingsvermogen betrouwbaarheid

14 Benodigd aantal waarnemingen (prevalentie 50%)
Power 0,5 0,8 0,9 0,95 0,99 α 0,1 15 27 35 43 59 0,05 20 34 51 68 0,01 31 49 69 90 0,001 48 70 83 94 118

15 Benodigd aantal waarnemingen (prevalentie10%)
Power 0,5 0,8 0,9 0,95 0,99 α 0,1 118 205 262 314 426 0,05 159 260 324 383 506 0,01 389 467 537 683 0,001 412 573 668 751 923 Koolman Advies en Onderzoek i.s.m. SiRM

16 Uitruil In wetenschappelijk onderzoek is gebruikelijk
95% betrouwbaarheid 80% onderscheidingsvermogen (soms 90%) Discussie Meer onderscheidingsvermogen minder betrouwbaarheid

17 Schaal van de indicator
Dichotoom (0-1) resulterend in een percentage Waar ligt het afkappunt? Geordend (z. goed, goed, redelijk, slecht, z. slecht) Interval (graden koorts)

18 Afkappunt decubitus en prevalentie

19 Keuze van afkappunt en aantallen
Graad 3 en hoger 921 observaties nodig Graad 2 en hoger 382 observaties nodig Graad 1 en hoger 166 observaties nodig

20 Standaardisatie versus filteren
Verpleeghuis neemt veel patiënten op met decubitus Correctie door deze patiënten te excluderen Correctie door te standaardiseren We schatten het effect van decubitus bij opname op decubitus tijdens het meetmoment en corrigeren daarvoor. Bij een verdubbeling van prevalentie zonder exclusie: Exclusie 921 observaties nodig Standaardisatie < 921 en > 382 observaties nodig

21 Klassenindeling Klassen of sterren op basis van
Significante verschillen Significant beter dan gemiddeld Absolute verschillen 2% minder decubitus dan gemiddeld Rang Beste 30% Laatste is lastig vereist zeer hoge aantallen waarnemingen

22 Samenvoeging van metingen
Samenvoegen van meetmomenten zorgaanbieders/locaties patiëntengroepen/indicatoren Homogene scores Geen informatieverlies Meer betrouwbaarheid/onderscheidingsvermogen Heterogene scores…

23 Effecten samenvoegen Homogene uitkomsten Van 260 naar 130 per meting
Heterogene uitkomsten Van 260 naar 550 per meting

24 Gebruik van voor- en nametingen
Toeval hangt samen met de patiënt Het verschil tussen voor- en nameting is minder afhankelijk van toeval meer afhankelijk van kwaliteit Invloed van toeval kan veel kleiner zijn

25 Effecten voor- en nametingen
Aantal metingen 2 3 4 Rho (correlatie voor- en nametingen) 260 195 173 0,2 208 156 139 0,4 117 104 0,6 78 70 0,8 52 39 35

26 Hoe betrouwbaar? Hoe betrouwbaar?
Wat is de waarde van precieze informatie? (value of information) Wat zijn de kosten? Kosten metingen Minder gedetailleerde uitkomsten Minder valide uitkomsten Antwoord vereist onderzoek

27 Concluderend Statistische betrouwbaarheid is belangrijk
is beïnvloedbaar moet onderdeel zijn van ontwikkeling van indicatoren onderhoud van indicatoren moet uitgeruild worden tegen validiteit en kosten, maar optimale uitruil is onduidelijk

28 Dank voor uw aandacht Voor meer informatie: www.zichtbarezorg.nl
rapport Betrouwbaar onderscheiden