De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Betrouwbaar onderscheiden Xander Koolman IPSE Studies Colloquium 3 december 2009.

Verwante presentaties


Presentatie over: "Betrouwbaar onderscheiden Xander Koolman IPSE Studies Colloquium 3 december 2009."— Transcript van de presentatie:

1 Betrouwbaar onderscheiden Xander Koolman IPSE Studies Colloquium 3 december 2009

2 Inhoud presentatie Statistische betrouwbaarheid: belangrijk? Wat is betrouwbaarheid? Wat is onderscheidingsvermogen? Hoe kan de betrouwbaarheid worden verbeterd?

3 Artikel Medisch Contact 20 november 2009 Heleen Pons, Hester Lingsma & Roland Bal Over het maken en breken van reputaties. De waarde van ziekenhuisranglijsten

4 4

5 Koolman Advies en Onderzoek i.s.m. SiRM 5

6 Betrouwbaarheid AD Het percentage van alle variatie dat verklaard kan worden met de prestaties van het voorgaande jaar: 2008: 35% 2007: 25%

7 Wat is statistische betrouwbaarheid? 7 Een meting is statistisch betrouwbaar wanneer de invloed van toeval klein is. Voorbeeld decubitus in thuiszorg Prevalentie gemiddeld 1% Steekproefgrootte veelal kleiner dan 50

8 Waarom betrouwbaarheid? 8 Zonder betrouwbaarheid: fluctueren de scores sterk tussen de meetmomenten fluctueren de scores sterk tussen indicatoren per aanbieder kiezen patiënten/zorginkopers de verkeerde zorgaanbieder of negeren de informatie raken zorgaanbieders gedemotiveerd Is weinig betrouwbare informatie waardeloos? Nee, gemiddeld leveren goede aanbieders beter

9 Wat beïnvloedt betrouwbaarheid? 9 significantieniveau onderscheidingsvermogen schaal standaardisatie versus filteren klassenindeling samenvoeging van metingen gebruik van voor- en nametingen

10 Betrouwbaarheidsniveau 10 Betrouwbaarheid is de kans dat een gemiddelde zorgaanbieder als gemiddeld (niet onderscheidend) wordt geduid. Betrouwbaarheid is 1- significantieniveau (alpha)

11 Significantieniveau 11 α/2 betrouwbaarheid

12 Onderscheidingsvermogen 12 Onderscheidingsvermogen (power) is de kans dat een onderscheidende zorgaanbieder als onderscheidend (niet gemiddeld) wordt geduid.

13 Onderscheidingsvermogen 13 onderscheidings- vermogen Meer betrouwbaarheid = minder onderscheidingsvermogen betrouwbaarheid

14 Benodigd aantal waarnemingen (prevalentie 50%) 14 Power 0,50,80,90,950,99 α 0, , , ,

15 Benodigd aantal waarnemingen (prevalentie10%) Koolman Advies en Onderzoek i.s.m. SiRM 15 Power 0,50,80,90,950,99 α 0, , , ,

16 Uitruil 16  In wetenschappelijk onderzoek is gebruikelijk  95% betrouwbaarheid  80% onderscheidingsvermogen (soms 90%)  Discussie  Meer onderscheidingsvermogen minder betrouwbaarheid

17 Schaal van de indicator 17 Dichotoom (0-1) resulterend in een percentage Waar ligt het afkappunt? Geordend (z. goed, goed, redelijk, slecht, z. slecht) Interval (graden koorts)

18 Afkappunt decubitus en prevalentie 18

19 Keuze van afkappunt en aantallen 19 Graad 3 en hoger 921 observaties nodig Graad 2 en hoger382 observaties nodig Graad 1 en hoger166 observaties nodig

20 Standaardisatie versus filteren 20  Verpleeghuis neemt veel patiënten op met decubitus  Correctie door deze patiënten te excluderen  Correctie door te standaardiseren We schatten het effect van decubitus bij opname op decubitus tijdens het meetmoment en corrigeren daarvoor.  Bij een verdubbeling van prevalentie zonder exclusie:  Exclusie 921 observaties nodig  Standaardisatie 382 observaties nodig

21 Klassenindeling 21 Klassen of sterren op basis van Significante verschillen Significant beter dan gemiddeld Absolute verschillen 2% minder decubitus dan gemiddeld Rang Beste 30% Laatste is lastig vereist zeer hoge aantallen waarnemingen

22 Samenvoeging van metingen 22 Samenvoegen van meetmomenten zorgaanbieders/locaties patiëntengroepen/indicatoren Homogene scores Geen informatieverlies Meer betrouwbaarheid/onderscheidingsvermogen Heterogene scores…

23 Effecten samenvoegen 23 Homogene uitkomsten Van 260 naar 130 per meting Heterogene uitkomsten Van 260 naar 550 per meting

24 Gebruik van voor- en nametingen 24 Toeval hangt samen met de patiënt Het verschil tussen voor- en nameting is minder afhankelijk van toeval meer afhankelijk van kwaliteit Invloed van toeval kan veel kleiner zijn

25 Effecten voor- en nametingen 25 Aantal metingen 234 Rho (correlatie voor- en nametingen) , , , ,

26 Hoe betrouwbaar? 26 Hoe betrouwbaar? Wat is de waarde van precieze informatie? (value of information) Wat zijn de kosten? Kosten metingen Minder gedetailleerde uitkomsten Minder valide uitkomsten Antwoord vereist onderzoek

27 Concluderend 27 Statistische betrouwbaarheid is belangrijk is beïnvloedbaar moet onderdeel zijn van ontwikkeling van indicatoren onderhoud van indicatoren moet uitgeruild worden tegen validiteit en kosten, maar optimale uitruil is onduidelijk

28 Voor meer informatie: rapport Betrouwbaar onderscheiden DANK VOOR UW AANDACHT


Download ppt "Betrouwbaar onderscheiden Xander Koolman IPSE Studies Colloquium 3 december 2009."

Verwante presentaties


Ads door Google