De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Externe validatie van klinische predictiemodellen voor pneumonie in eerstelijns patiënten met acute hoest Een individuele patiënten data meta-analyse.

Verwante presentaties


Presentatie over: "Externe validatie van klinische predictiemodellen voor pneumonie in eerstelijns patiënten met acute hoest Een individuele patiënten data meta-analyse."— Transcript van de presentatie:

1

2 Externe validatie van klinische predictiemodellen voor pneumonie in eerstelijns patiënten met acute hoest Een individuele patiënten data meta-analyse Alwin Schierenberg, Arts-onderzoeker Julius Centrum, UMC Utrecht

3 Achtergrond Pneumonie Aanzienlijke bijdrage in mortaliteit in ontwikkelde landen [1,2] Gerichte behandeling [3] Onderscheid met andere lagere luchtweg infecties (LLWI) is lastig (in de eerste lijn) Thoraxfoto is niet wenselijk/mogelijk bij alle patiënten Shutterstock.com

4 Achtergrond Pneumonie [2] Huisarts diagnosticeert pneumonie op basis van klinische presentatie ?

5 Rationale Verschillende klinische predictie modellen gepubliceerd voor pneumonie Terugdringen antibiotica gebruik en resistentie [4–8] Overzicht ontbreekt Nieuwere modellen niet gevalideerd; Essentieel alvorens implementatie in praktijk: Kwantificeren (over)optimisme van model [16] Evalueren kwaliteit ontwikkelingsstudie model Prestatie model in andere (maar vergelijkbare) patiënten [10,13,17]

6 Doel Evaluatie statistische robuustheid Alle op symptomen gebaseerde predictie modellen (“klinische modellen”) Voor diagnose pneumonie In externe databronnen Met gemengde eerstelijns patiënten populatie Welk model is het meest geschikt voor de eerste lijn ?

7 Methoden 1.Systematische zoekopdracht 2.Database samenstellen 3.Externe validatie

8 Methoden 1.Systematische zoekopdracht Eerstelijns patiënten met acute hoest Diagnostiek naar pneumonie (e.g. thoraxfoto)

9 Methoden – Zoekopdracht PubMed, EMBASE, Cochrane: 1.Alle klinische predictie modellen voor eerste lijn 2.Zo veel mogelijk geschikte individuele patiënten data (IPD)

10 Methoden – Modellen Zes predictiemodellen [19,20,30–33] 3-6 predictoren per model Variatie in geïncludeerde predictoren Model Total Diehr et al. Singal et al. Heckerling et al. Melbye et al. Hopstaken et al. van Vugt et al. Total predictors in model History Absence of asthma1 Duration of illness1 Symptoms Chest pain1 Coryza (absence)3 Cough (dry)2 Diarrhea1 Dyspnea2 Fever1 Myalgia1 Phlegm1 Sore throat1 Sweats (night)1 Signs Crackles4 Diminished breath sounds2 Fever5 Tachycardia2 Tachypnea1

11 Methoden – Individuele Patiënten Data (IPD) IPD van acht gepubliceerde studies (N=5308) [18,20,31,32,34–37] Verschillende settings Variatie in inclusiecriteria Diagnose pneumonie dmv. thoraxfoto Melbye et al. Hopstaken et al. Flanders et al. Graffelman et al. Holm et al.Rainer et al. Steurer et al. van Vugt et al. Alle datasets Setting HAPHASEHHA SEHHA, SEH HA - Aantal of patiënten Pneumonie5% 13%12%20%13%43%21%5%12%

12 Methoden Systematische zoekopdracht Database samenstellen Externe validatie

13 Methoden – Database Identificatie niet gemeten predictoren Geen imputatie Dus: validatie van elk model in elke dataset niet mogelijk! Validation dataset Model Melbye et al. Hopstaken et al. Flanders et al. Graffelman et al. Holm et al. Rainer et al. Steurer et al. Van Vugt et al. Aantal “validaties ” Van Vugt et al D 3 Heckerling et al Diehr et al Singal et al Melbye et al. D Hopstaken et al. -D

14 Methoden – Database Identificatie missende waarden Enkelvoudig imputatie (SI) op dataset niveau Predictoren of uitkomst voorspellen o.b.v. aanwezige data Voorkomt bias

15 Methoden Systematische zoekopdracht Database samenstellen Externe validatie 1.Discriminatie 2.Kalibratie

16 Methoden – Externe validatie Discriminatie Vermogen tot het differentiëren van een model tussen zieke en niet zieke patiënten https://shocktalkvenue.wordpress.com/ 2+11/+4/23/why-discrimination-is-good/ Perfecte discriminatie Goede discriminatie “Coin flip” 1- Specificiteit (%) Sensitiviteit (%) Gepoolde “Area Under the ROC Curve” (AUC) Gewogen gemiddelde van AUCs per model Delta AUC Verschil in AUC tov. het gemiddelde van alle AUCs één de dataset

17 Resultaten – Discriminatie [1] Gepoolde AUC Validation dataset Model Melbye et al. Hopstaken et al. Flanders et al. Graffelman et al. Holm et al. Rainer et al. Steurer et al. Van Vugt et al. Pooled AUC (95% CI) † Van Vugt et al D0.79 ( ) Heckerling et al ( ) Diehr et al ( ) Singal et al ( ) Melbye et al. D ( ) Hopstaken et al. -D ( )

18 Resultaten – Discriminatie [2] Delta AUC

19 Methoden – Externe validatie Kalibratie Overeenkomst tussen voorspelde kans en de aanwezigheid van pneumonie Kalibratie plots 3 risicogroepen, kans pneumonie: <10% 10-30% >30 % Test card Philips PM5544

20 Resultaten – Kalibratie Twee modellen “acceptabele” kalibratie Extreme kansen problematisch Overige modellen “slechte” kalibratie

21 Discussie Geen validatie mogelijk in alle IPD door ontbrekende predictoren Geen volledige head-to-head vergelijking Heterogeniteit in IPD-studies Setting Inclusie criteria Thoraxfoto geen gouden standaard

22 Conclusie Predictie modellen kunnen helpen discrimineren tussen patiënten met en zonder pneumonie Echter: toewijzen extreme kansen lastig Klinische model door van Vugt et al. beste discriminatie, en aanvaardbare kalibratie in de IPD van verschillende studie populaties Dit model met de predictoren rhinorroe, benauwdheid, crepitaties, verm. ademgeruis, koorts en tachycardie is de voornaamste kandidaat voor gebruik in de eerste lijn

23 Met dank aan: Begeleiders: Joris AH de Groot 1 Margaretha C Minnaard Alma C van de Pol 1 Berna DL Broekhuizen 1 Niek J de Wit 1 Johannes B Reitsma 1 Theo JM Verheij 1 Co-auteurs: Rogier M Hopstaken 2 Saskia F van Vugt 1 Arie Knuistingh Neven 3 Aleida W Graffelman 3 Hasse Melbye 4 Timothy H Rainer 5 Johann Steurer 6 Anette Holm 7 Ralph Gonzales 8 Geert-Jan Dinant 9 Ondersteuning: Reto Kofmehl Cangel Chan Karin Aretz Susan van Hemert-Glaubitz Scott Flanders Judy Maselli Peter Zuidhof Bianca Kramer 1. UMC Utrecht, Julius Centrum voor Gezondheidswetenschappen en Eerstelijnsgeneeskunde, Utrecht, Nederland. 2. Saltro Diagnostisch Centrum, Utrecht, Nederland. 3. Leiden UMC, Departement of Public Health and Primary Care, Leiden, the Netherlands. 4. University of Tromsø, Department of Community Medicine, Tromsø, Norway 5. Chinese University of Hong Kong, Hong Kong, China. 6. Universeit Zurich, Horten Centre for Patient Oriented Research and Knowledge Transfer, Zurich, Zwitserland. 7. Odense University Hospital, Department of Infectious Diseases, Odense, Denemarken 8. University of California, San Francisco, United States of America 9. Departement of General Practice, CAPHRI School for Public Health and Primary Care, Maastricht University Medical Centre, Maastricht, The Netherlands.

24 Referenties 1.Mortensen EM, Coley CM, Singer DE, Marrie TJ, Obrosky DS, et al. (2002) Causes of death for patients with community-acquired pneumonia: results from the Pneumonia Patient Outcomes Research Team cohort study. Arch Intern Med 162: 1059– Niederman MS, Mandell LA, Anzueto A, Bass JB, Broughton WA, et al. (2001) Guidelines for the management of adults with community-acquired pneumonia. Diagnosis, assessment of severity, antimicrobial therapy, and prevention. Am J Respir Crit Care Med 163: 1730– Smucny J, Fahey T, Becker L, Glazier R (2004) Antibiotics for acute bronchitis. Cochrane Database Syst Rev: CD Bradley JS, Guidos R, Baragona S, Bartlett JG, Rubinstein E, et al. (2007) Anti-infective research and development--problems, challenges, and solutions. Lancet Infect Dis 7: 68–78. 5.Tacconelli E, De Angelis G (2010) Fighting antibiotic resistance all over Europe. Expert Rev Anti Infect Ther 8: 761– Cals JWL, de Bock L, Beckers P-JHW, Francis NA, Hopstaken RM, et al. (n.d.) Enhanced communication skills and C-reactive protein point-of-care testing for respiratory tract infection: 3.5-year follow-up of a cluster randomized trial. Ann Fam Med 11: 157– Cals JWL, Butler CC, Hopstaken RM, Hood K, Dinant G-J (2009) Effect of point of care testing for C reactive protein and training in communication skills on antibiotic use in lower respiratory tract infections: cluster randomised trial. BMJ 338: b Steyerberg EW, Moons KGM, van der Windt DA, Hayden JA, Perel P, et al. (2013) Prognosis Research Strategy (PROGRESS) 3: prognostic model research. PLoS Med 10: e Altman DG, Royston P (2000) What do we mean by validating a prognostic model? Stat Med 19: 453– Collins GS, de Groot JA, Dutton S, Omar O, Shanyinde M, et al. (2014) External validation of multivariable prediction models: a systematic review of methodological conduct and reporting. BMC Med Res Methodol 14: Bleeker SE, Moll HA, Steyerberg EW, Donders ART, Derksen-Lubsen G, et al. (2003) External validation is necessary in prediction research:: A clinical example. J Clin Epidemiol 56: 826– Graffelman AW, le Cessie S, Neven AK, Willemssen FEJA, Zonderland HM, et al. (2007) Can history and exam alone reliably predict pneumonia? J Fam Pract 56: 465– Heckerling PS, Tape TG, Wigton RS, Hissong KK, Leikin JB, et al. (1990) Clinical prediction rule for pulmonary infiltrates. Ann Intern Med 113: 664– Van Vugt SF, Broekhuizen BDL, Lammens C, Zuithoff NPA, de Jong PA, et al. (2013) Use of serum C reactive protein and procalcitonin concentrations in addition to symptoms and signs to predict pneumonia in patients presenting to primary care with acute cough: diagnostic study. BMJ 346: f2450–f Woodhead M, Blasi F, Ewig S, Garau J, Huchon G, et al. (2011) Guidelines for the management of adult lower respiratory tract infections - Full version. Clin Microbiol Infect 17: E1–E Hopstaken RM, Muris JW, Knottnerus JA, Kester AD, Rinkens PE, et al. (2003) Contributions of symptoms, signs, erythrocyte sedimentation rate, and C-reactive protein to a diagnosis of pneumonia in acute lower respiratory tract infection. Br J Gen Pr 53: 358– Melbye H, Straume B, Aasebø U, Dale K (1992) Diagnosis of pneumonia in adults in general practice. Relative importance of typical symptoms and abnormal chest signs evaluated against a radiographic reference standard. Scand J Prim Health Care 10: 226– Singal BM, Hedges JR, Radack KL (1989) Decision rules and clinical prediction of pneumonia: evaluation of low-yield criteria. Ann Emerg Med 18: 13– Rainer TH, Chan CP, Leung MF, Leung W, Ip M, et al. (2009) Diagnostic utility of CRP to neopterin ratio in patients with acute respiratory tract infections. J Infect 58: 123– Steurer J, Held U, Spaar A, Bausch B, Zoller M, et al. (2011) A decision aid to rule out pneumonia and reduce unnecessary prescriptions of antibiotics in primary care patients with cough and fever. BMC Med 9: 56. doi: / Holm A, Nexoe J, Bistrup LA, Pedersen SS, Obel N, et al. (2007) Aetiology and prediction of pneumonia in lower respiratory tract infection in primary care. Br J Gen Pract 57: 547– Flanders SA, Stein J, Shochat G, Sellers K, Holland M, et al. (2004) Performance of a bedside C-reactive protein test in the diagnosis of community-acquired pneumonia in adults with acute cough. Am J Med 116: 529– De Groot JAH, Dendukuri N, Janssen KJM, Reitsma JB, Bossuyt PMM, et al. (2011) Adjusting for Differential-verification Bias in Diagnostic-accuracy Studies: A Bayesian Approach. Epidemiol March : 234–241.


Download ppt "Externe validatie van klinische predictiemodellen voor pneumonie in eerstelijns patiënten met acute hoest Een individuele patiënten data meta-analyse."

Verwante presentaties


Ads door Google