Een individuele patiënten data meta-analyse

Presentatie over: "Een individuele patiënten data meta-analyse"— Transcript van de presentatie:

1

2 Een individuele patiënten data meta-analyse
Externe validatie van klinische predictiemodellen voor pneumonie in eerstelijns patiënten met acute hoest Een individuele patiënten data meta-analyse Alwin Schierenberg, Arts-onderzoeker Julius Centrum, UMC Utrecht

3 Achtergrond Pneumonie
Aanzienlijke bijdrage in mortaliteit in ontwikkelde landen [1,2] Gerichte behandeling [3] Onderscheid met andere lagere luchtweg infecties (LLWI) is lastig (in de eerste lijn) Thoraxfoto is niet wenselijk/mogelijk bij alle patiënten Shutterstock.com

4 ? Achtergrond Pneumonie [2]
Huisarts diagnosticeert pneumonie op basis van klinische presentatie ?

5 Rationale Verschillende klinische predictie modellen gepubliceerd voor pneumonie Terugdringen antibiotica gebruik en resistentie [4–8] Overzicht ontbreekt Nieuwere modellen niet gevalideerd; Essentieel alvorens implementatie in praktijk: Kwantificeren (over)optimisme van model [16] Evalueren kwaliteit ontwikkelingsstudie model Prestatie model in andere (maar vergelijkbare) patiënten [10,13,17] Achtergrond: Kwantificeren optimisme door “overfitting” bij ontwikkeling [16]: te veel diagnostische waarde toegekend (te veel variabelen per (non)case) Gebreken in modellering identificeren: geen intercept, fouten statistiek, geen imputatie, complete case analysis. Partiële verificatie Prestatie model in een andere setting/plek met vergelijkbare patiënten [1+,13,17]: om toevalsbevindingen uit te sluiten

6 Welk model is het meest geschikt voor de eerste lijn ?
Doel Evaluatie statistische robuustheid Alle op symptomen gebaseerde predictie modellen (“klinische modellen”) Voor diagnose pneumonie In externe databronnen Met gemengde eerstelijns patiënten populatie Welk model is het meest geschikt voor de eerste lijn ?

7 Methoden Systematische zoekopdracht Database samenstellen
Externe validatie

8 Methoden Systematische zoekopdracht
Eerstelijns patiënten met acute hoest Diagnostiek naar pneumonie (e.g. thoraxfoto)

9 Methoden – Zoekopdracht
PubMed, EMBASE, Cochrane: Alle klinische predictie modellen voor eerste lijn Zo veel mogelijk geschikte individuele patiënten data (IPD)

10 Methoden – Modellen Zes predictiemodellen [19,20,30–33]
3-6 predictoren per model Variatie in geïncludeerde predictoren Model Total Diehr et al. Singal et al. Heckerling et al. Melbye et al.  Hopstaken et al. van Vugt et al. Total predictors in model 6 3 5 History Absence of asthma 1 • Duration of illness Symptoms Chest pain Coryza (absence) Cough (dry) 2 Diarrhea Dyspnea Fever Myalgia Phlegm Sore throat Sweats (night) Signs Crackles 4 Diminished breath sounds Tachycardia Tachypnea Veel verschil in geïncorporeerde predictoren

11 Methoden – Individuele Patiënten Data (IPD)
IPD van acht gepubliceerde studies (N=5308) [18,20,31,32,34–37] Verschillende settings Variatie in inclusiecriteria Diagnose pneumonie dmv. thoraxfoto Melbye et al. Hopstaken et al. Flanders et al. Graffelman et al. Holm et al. Rainer et al. Steurer et al. van Vugt et al. Alle datasets Setting HAP HA SEH HA, SEH - Aantal of patiënten 402 243 168 129 364 561 621 2820 5308 Pneumonie 5%  13% 12% 20% 43% 21% 5%

12 Methoden Systematische zoekopdracht Database samenstellen
Externe validatie

13 Methoden – Database Identificatie niet gemeten predictoren
Geen imputatie Dus: validatie van elk model in elke dataset niet mogelijk! Validation dataset Model Melbye et al. Hopstaken et al. Flanders et al. Graffelman et al. Holm et al. Rainer et al. Steurer et al. Van Vugt et al. Aantal “validaties” + - D 3 Heckerling et al. 4 Diehr et al. Singal et al. 7

14 Methoden – Database Identificatie missende waarden
Enkelvoudig imputatie (SI) op dataset niveau Predictoren of uitkomst voorspellen o.b.v. aanwezige data Voorkomt bias non-response afhankelijk van andere predictoren Bijv complete case analysis houdt hiet geen rekening mee: dan is missingness gerelateerd aan de uitkomst.

15 Methoden Systematische zoekopdracht Database samenstellen
Externe validatie Discriminatie Kalibratie

16 Methoden – Externe validatie
Discriminatie Vermogen tot het differentiëren van een model tussen zieke en niet zieke patiënten Gepoolde “Area Under the ROC Curve” (AUC) Gewogen gemiddelde van AUCs per model Delta AUC Verschil in AUC tov. het gemiddelde van alle AUCs één de dataset - Van 2 random patienten, 1 ziek 1 niet ziek, zal de zieke patiënt een hogere voorspelde kans hebben op ziekte op basis van het model. Sensitiviteit (%) Perfecte discriminatie Goede discriminatie “Coin flip” 1- Specificiteit (%)

17 Resultaten – Discriminatie [1]
Gepoolde AUC Validation dataset Model Melbye et al. Hopstaken et al. Flanders et al. Graffelman et al. Holm et al. Rainer et al. Steurer et al. Van Vugt et al. Pooled AUC (95% CI)† 0.78 - 0.89 0.60 D 0.79 ( ) Heckerling et al. 0.69 0.62 0.66 0.72 ( ) Diehr et al. 0.57 0.76 0.64 0.65 ( ) Singal et al. 0.68 0.81 0.63 0.61 0.64 ( ) 0.49 0.56 ( ) 0.58 0.52 0.56 0.53 ( )

18 Resultaten – Discriminatie [2]
Delta AUC

19 Methoden – Externe validatie
Kalibratie Overeenkomst tussen voorspelde kans en de aanwezigheid van pneumonie Kalibratie plots 3 risicogroepen, kans pneumonie: <10% 10-30% >30 % Test card Philips PM5544

20 Resultaten – Kalibratie
Twee modellen “acceptabele” kalibratie Extreme kansen problematisch Overige modellen “slechte” kalibratie

21 Discussie Geen validatie mogelijk in alle IPD door ontbrekende predictoren Geen volledige head-to-head vergelijking Heterogeniteit in IPD-studies Setting Inclusie criteria Thoraxfoto geen gouden standaard Achtergrond: Geen validatie in alle IPD: Dus mogelijk geen eerlijke vergelijking, echter door gebruik dAUC relatieve performance van model in dataset. Heterogeniteit studies; Setting: met hogere prevalentie, en dus betere performance van deze studie. Hier niet gezien en is doel externe validatie. Inclusie criteria: mogelijk verlies diagnostieche waar predictoren (reeds gebruikt in selectie) Thoraxfoto geen gouden standaard: echter wel geaccepteerde primaire test voor pneumonie, mogelijk niet meers accurate diagnose pneumonie!

22 Conclusie Predictie modellen kunnen helpen discrimineren tussen patiënten met en zonder pneumonie Echter: toewijzen extreme kansen lastig Klinische model door van Vugt et al. beste discriminatie, en aanvaardbare kalibratie in de IPD van verschillende studie populaties Dit model met de predictoren rhinorroe, benauwdheid, crepitaties, verm. ademgeruis, koorts en tachycardie is de voornaamste kandidaat voor gebruik in de eerste lijn

23 Met dank aan: Begeleiders: Co-auteurs: Ondersteuning:
Joris AH de Groot1 Rogier M Hopstaken2 Reto Kofmehl Margaretha C Minnaard Saskia F van Vugt1 Cangel Chan Alma C van de Pol1 Arie Knuistingh Neven3 Karin Aretz Berna DL Broekhuizen1 Aleida W Graffelman3 Susan van Hemert-Glaubitz Niek J de Wit1 Hasse Melbye4 Scott Flanders Johannes B Reitsma1 Timothy H Rainer5 Judy Maselli Theo JM Verheij1 Johann Steurer6 Peter Zuidhof Anette Holm7 Bianca Kramer Ralph Gonzales8 Geert-Jan Dinant9 1. UMC Utrecht, Julius Centrum voor Gezondheidswetenschappen en Eerstelijnsgeneeskunde, Utrecht, Nederland. 2. Saltro Diagnostisch Centrum, Utrecht, Nederland. 3. Leiden UMC, Departement of Public Health and Primary Care, Leiden, the Netherlands. 4. University of Tromsø, Department of Community Medicine, Tromsø, Norway 5. Chinese University of Hong Kong, Hong Kong, China. 6. Universeit Zurich, Horten Centre for Patient Oriented Research and Knowledge Transfer, Zurich, Zwitserland. 7. Odense University Hospital, Department of Infectious Diseases, Odense, Denemarken 8. University of California, San Francisco, United States of America 9. Departement of General Practice, CAPHRI School for Public Health and Primary Care, Maastricht University Medical Centre, Maastricht, The Netherlands.

24 Referenties Heckerling PS, Tape TG, Wigton RS, Hissong KK, Leikin JB, et al. (1990) Clinical prediction rule for pulmonary infiltrates. Ann Intern Med 113: 664–670. Mortensen EM, Coley CM, Singer DE, Marrie TJ, Obrosky DS, et al. (2002) Causes of death for patients with community-acquired pneumonia: results from the Pneumonia Patient Outcomes Research Team cohort study. Arch Intern Med 162: 1059–1064. Van Vugt SF, Broekhuizen BDL, Lammens C, Zuithoff NPA, de Jong PA, et al. (2013) Use of serum C reactive protein and procalcitonin concentrations in addition to symptoms and signs to predict pneumonia in patients presenting to primary care with acute cough: diagnostic study. BMJ 346: f2450–f2450. Niederman MS, Mandell LA, Anzueto A, Bass JB, Broughton WA, et al. (2001) Guidelines for the management of adults with community-acquired pneumonia. Diagnosis, assessment of severity, antimicrobial therapy, and prevention. Am J Respir Crit Care Med 163: 1730–1754. Woodhead M, Blasi F, Ewig S, Garau J, Huchon G, et al. (2011) Guidelines for the management of adult lower respiratory tract infections - Full version. Clin Microbiol Infect 17: E1–E59. Smucny J, Fahey T, Becker L, Glazier R (2004) Antibiotics for acute bronchitis. Cochrane Database Syst Rev: CD Hopstaken RM, Muris JW, Knottnerus JA, Kester AD, Rinkens PE, et al. (2003) Contributions of symptoms, signs, erythrocyte sedimentation rate, and C-reactive protein to a diagnosis of pneumonia in acute lower respiratory tract infection. Br J Gen Pr 53: 358–364. Bradley JS, Guidos R, Baragona S, Bartlett JG, Rubinstein E, et al. (2007) Anti-infective research and development--problems, challenges, and solutions. Lancet Infect Dis 7: 68–78. Tacconelli E, De Angelis G (2010) Fighting antibiotic resistance all over Europe. Expert Rev Anti Infect Ther 8: 761–763. Melbye H, Straume B, Aasebø U, Dale K (1992) Diagnosis of pneumonia in adults in general practice. Relative importance of typical symptoms and abnormal chest signs evaluated against a radiographic reference standard. Scand J Prim Health Care 10: 226–233 Cals JWL, de Bock L, Beckers P-JHW, Francis NA, Hopstaken RM, et al. (n.d.) Enhanced communication skills and C-reactive protein point-of-care testing for respiratory tract infection: 3.5-year follow-up of a cluster randomized trial. Ann Fam Med 11: 157–164. Singal BM, Hedges JR, Radack KL (1989) Decision rules and clinical prediction of pneumonia: evaluation of low-yield criteria. Ann Emerg Med 18: 13–20. Cals JWL, Butler CC, Hopstaken RM, Hood K, Dinant G-J (2009) Effect of point of care testing for C reactive protein and training in communication skills on antibiotic use in lower respiratory tract infections: cluster randomised trial. BMJ 338: b1374. Rainer TH, Chan CP, Leung MF, Leung W, Ip M, et al. (2009) Diagnostic utility of CRP to neopterin ratio in patients with acute respiratory tract infections. J Infect 58: 123–130. Steyerberg EW, Moons KGM, van der Windt DA, Hayden JA, Perel P, et al. (2013) Prognosis Research Strategy (PROGRESS) 3: prognostic model research. PLoS Med 10: e Steurer J, Held U, Spaar A, Bausch B, Zoller M, et al. (2011) A decision aid to rule out pneumonia and reduce unnecessary prescriptions of antibiotics in primary care patients with cough and fever. BMC Med 9: 56. doi: / Altman DG, Royston P (2000) What do we mean by validating a prognostic model? Stat Med 19: 453–473. Holm A, Nexoe J, Bistrup LA, Pedersen SS, Obel N, et al. (2007) Aetiology and prediction of pneumonia in lower respiratory tract infection in primary care. Br J Gen Pract 57: 547–554. Collins GS, de Groot JA, Dutton S, Omar O, Shanyinde M, et al. (2014) External validation of multivariable prediction models: a systematic review of methodological conduct and reporting. BMC Med Res Methodol 14: 40. Flanders SA, Stein J, Shochat G, Sellers K, Holland M, et al. (2004) Performance of a bedside C-reactive protein test in the diagnosis of community-acquired pneumonia in adults with acute cough. Am J Med 116: 529–535. Bleeker SE, Moll HA, Steyerberg EW, Donders ART, Derksen-Lubsen G, et al. (2003) External validation is necessary in prediction research:: A clinical example. J Clin Epidemiol 56: 826–832. De Groot JAH, Dendukuri N, Janssen KJM, Reitsma JB, Bossuyt PMM, et al. (2011) Adjusting for Differential-verification Bias in Diagnostic-accuracy Studies: A Bayesian Approach. Epidemiol March : 234–241. Graffelman AW, le Cessie S, Neven AK, Willemssen FEJA, Zonderland HM, et al. (2007) Can history and exam alone reliably predict pneumonia? J Fam Pract 56: 465–470.