Een individuele patiënten data meta-analyse

Slides:



Advertisements
Verwante presentaties
Handen wassen als preventie van influenza
Advertisements

Titel poster; 1 regel-blauwe balk 5 cm hoog, 2 regels-blauwe balk 9 cm hoog, 3 regels-hoogte 12 Eerste onderzoeker, Mede Onderzoeker A, Mede Onderzoeker,
Scaling up testing and counselling as it looks from treatment data monitoring perspectives: The applied research outcomes and the policy implications it.
Diagnostiek kinkhoest bloedprikken nodig of niet?
Marlous Kastelein Groep: Alex & Meike
De epilepsieverpleegkundige CAT M. Vlooswijk.
Exercise for people with peripheral neuropathy Karin Faber CAT, 8 september 2005.
SSEP in de diagnostiek van meralgia paresthetica
 De CAT-walk NHG-Congres L.A.A.P. van Winden.
Nut van tympanometrie bij diagnose OME bij kinderen?
Family History Is a Predictor for Appendicitis in Adults in the Emergency Department Michael J. Drescher ea. West J Emerg Med December; 13(6): 468–471.
Revitalising a Vital Sign: Improving Detection of Tachypnea at Primary Triage Ann Emerg med vol61, No1, jan 2013.
Respiratory tract infections: go viral and keep cool!
Bijtwonden en antibiotica profylaxe
Dag van de Psychotherapie, 19 december 2008
Lange-termijn Gezondheidsstatus van Q-koortspatiënten
Klinische gegevens en bloedonderzoek:
Sonja Leenman-Dekker, huisarts in opleiding RuG.
Interventies bij frequente huisartsbezoekers in de eerstelijn: een update van een systematische review Gerben Ter Riet, Frans Smits, Faridi Van Etten.
Scholing als strategie voor het implementeren van de fysiotherapie richtlijn artrose heup/knie Wilfred Peter.
Internet-interventies voor cardiovasculaire risicofactoren bij ouderen – een systematische review en meta-analyse Cathrien Beishuizen, Blossom Stephan,
CAPHRI School for Public Health and Primary Care
Latent class growth analysis als succesvolle methode om subgroepen te identificeren binnen een gewichtsreductie interventie. Bastiaan C. de Vos¹, MD,
Niels den Haan Chirurgie Waterlandziekenhuis
Het effect van bètablokkers op COPD-exacerbaties
TRUST De uitdagingen van een chirurgische trial
Bayes, Bias en Boerenbedrog. Diagnostiek Diagnostiek Trial-interpretatie Trial-interpretatie.
Zoekvraag Linde Morsink Kleine wijziging… Van bloedtransfusie… naar bloedgas…
Morfine bij acute decompensatio cordis Zoekvraag 9 juli 2013 Marieke Romijn.
Heeft deze patiënt meningitis? Dries Verheijen 21 augustus 2012.
The Hamlet Study Fabry or not Fabry: Valorization of clinical and laboratory assessments for improved diagnosis of Fabry disease In herinnering: korte.
Wel of geen antibiotica geven na een hondenbeet Jelle Kolkman Aiosgroep van Alex en Marielle
Elektro shock wave therapie: de behandeling bij hielspoor? Marianne van der Windt Groep
Chronische kniepijn. Tapen? J. van Noort Groep: Jan Peter en Mariëlle 5 juni 2008.
Zoekvraag 9/11 Een open deur?. Zoekvraag P: Vermindert de sluisdeur bij de afdeling Hematologie het aantal infecties bij neutropene patiënten? I: wel.
“..is het echt geen longembolie?” De diagnostische waarde van de D-dimeer Chiara Messidoro Groep Reinout en Ron, juni 2008 Afdeling huisartsgeneeskunde.
De incidentie-trend van dementie Analyse van Nederlandse eerstelijns data Emma F. van Bussel PhD student en huisarts in opleiding.
Toegevoegde waarde van fecaal calprotectine en
Critical Appraisal of a Topic of rectale thermometer?
Minder huisartsconsulten voor kinderen met koorts door voorlichting op het consultatiebureau: is dat mogelijk? Een systematische literatuurstudie. KKB.
Clostridium Difficile Infectie CDI Julie Van Maercke.
Integrale behandeling van atriumfibrilleren inclusief antistolling in de eerste lijn Protocol van het cluster-gerandomiseerde onderzoek ALL-IN Carline.
Anekdote: op weg in de trein naar STARR-class=> geroepen ivm jongen met insult=> in zijn tas diazepam rectiole en rivotril druppels=> gekozen voor druppels.
Department of General Practice CAPHRI School for Public Health and Primary Care Familie-anamnese op hart- en vaatziekten op jonge leeftijd middels een.
PINET Huisartsen in opleiding: hoe gaan zij om met klinische vragen over patiënten? Marlous F. Kortekaas, Lia Boelman, Marie-Louise E.L. Bartelink, Arno.
Ervaringen van huisartsen en ouders met de CRP sneltest bij kinderen Marjolein Schot 1, Esther Brussee 1, Eveline Noteboom 1, Lidewij Broekhuizen 1, Jochen.
Zoekvraag S.Duzenli PICO P: Armvene trombose I: Trombolyse C: Groep zonder trombolyse O: wel of geen posttrombotische complicaties.
Disclosure belangen NHG spreker
“Gestalt”of de Wells-regel voor het uitsluiten van longembolie in de eerste lijn?
Disclosure belangen NHG spreker
Disclosure belangen NHG spreker
DISCLOSURE Geen (potentiële) belangenverstrengeling
Disclosure belangen NHG spreker
Disclosure belangen NHG spreker
Disclosure belangen NHG spreker
Kunnen markers van leververvetting het voorspellen van het risico op hart- en vaatziekten verbeteren? Anne de Boer Promovenda en huisarts in opleiding.
e-Exercise: blended interventie met gereduceerd face-to-face contact
Disclosure belangen NHG spreker
Een individuele patiënt data meta-analyse
Diagnostische tests voor
Voor meer informatie zie hartfalen.nl
Lokale corticosteroïdinjectie bij epicondylitis medialis
Gastric bypass vs. Gastric sleeve
Crohn’s Disease and medicinal cannabis oil A WORKING PROTOCOL
Disclosure belangen NHG spreker
Disclosure belangen NHG spreker
IKO STUDIE Hein van Hout Associate professor
Disclosure belangen NHG spreker
Disclosure belangen NHG spreker
Disclosure belangen NHG spreker
Transcript van de presentatie:

Een individuele patiënten data meta-analyse Externe validatie van klinische predictiemodellen voor pneumonie in eerstelijns patiënten met acute hoest Een individuele patiënten data meta-analyse Alwin Schierenberg, Arts-onderzoeker Julius Centrum, UMC Utrecht

Achtergrond Pneumonie Aanzienlijke bijdrage in mortaliteit in ontwikkelde landen [1,2] Gerichte behandeling [3] Onderscheid met andere lagere luchtweg infecties (LLWI) is lastig (in de eerste lijn) Thoraxfoto is niet wenselijk/mogelijk bij alle patiënten Shutterstock.com

? Achtergrond Pneumonie [2] Huisarts diagnosticeert pneumonie op basis van klinische presentatie ?

Rationale Verschillende klinische predictie modellen gepubliceerd voor pneumonie Terugdringen antibiotica gebruik en resistentie [4–8] Overzicht ontbreekt Nieuwere modellen niet gevalideerd; Essentieel alvorens implementatie in praktijk: Kwantificeren (over)optimisme van model [16] Evalueren kwaliteit ontwikkelingsstudie model Prestatie model in andere (maar vergelijkbare) patiënten [10,13,17] Achtergrond: Kwantificeren optimisme door “overfitting” bij ontwikkeling [16]: te veel diagnostische waarde toegekend (te veel variabelen per (non)case) Gebreken in modellering identificeren: geen intercept, fouten statistiek, geen imputatie, complete case analysis. Partiële verificatie Prestatie model in een andere setting/plek met vergelijkbare patiënten [1+,13,17]: om toevalsbevindingen uit te sluiten

Welk model is het meest geschikt voor de eerste lijn ? Doel Evaluatie statistische robuustheid Alle op symptomen gebaseerde predictie modellen (“klinische modellen”) Voor diagnose pneumonie In externe databronnen Met gemengde eerstelijns patiënten populatie Welk model is het meest geschikt voor de eerste lijn ?

Methoden Systematische zoekopdracht Database samenstellen Externe validatie

Methoden Systematische zoekopdracht Eerstelijns patiënten met acute hoest Diagnostiek naar pneumonie (e.g. thoraxfoto)

Methoden – Zoekopdracht PubMed, EMBASE, Cochrane: Alle klinische predictie modellen voor eerste lijn Zo veel mogelijk geschikte individuele patiënten data (IPD)

Methoden – Modellen Zes predictiemodellen [19,20,30–33] 3-6 predictoren per model Variatie in geïncludeerde predictoren Model Total Diehr et al. Singal et al. Heckerling et al. Melbye et al.  Hopstaken et al. van Vugt et al. Total predictors in model 6 3 5 History Absence of asthma 1 • Duration of illness Symptoms Chest pain Coryza (absence) Cough (dry) 2 Diarrhea Dyspnea Fever Myalgia Phlegm Sore throat Sweats (night) Signs Crackles 4 Diminished breath sounds Tachycardia Tachypnea Veel verschil in geïncorporeerde predictoren

Methoden – Individuele Patiënten Data (IPD) IPD van acht gepubliceerde studies (N=5308) [18,20,31,32,34–37] Verschillende settings Variatie in inclusiecriteria Diagnose pneumonie dmv. thoraxfoto Melbye et al. Hopstaken et al. Flanders et al. Graffelman et al. Holm et al. Rainer et al. Steurer et al. van Vugt et al. Alle datasets Setting HAP HA SEH HA, SEH - Aantal of patiënten 402 243 168 129 364 561 621 2820 5308 Pneumonie 5%  13% 12% 20% 43% 21% 5%

Methoden Systematische zoekopdracht Database samenstellen Externe validatie

Methoden – Database Identificatie niet gemeten predictoren Geen imputatie Dus: validatie van elk model in elke dataset niet mogelijk!   Validation dataset Model Melbye et al. Hopstaken et al. Flanders et al. Graffelman et al. Holm et al. Rainer et al. Steurer et al. Van Vugt et al. Aantal “validaties” + - D 3 Heckerling et al. 4 Diehr et al. Singal et al. 7

Methoden – Database Identificatie missende waarden Enkelvoudig imputatie (SI) op dataset niveau Predictoren of uitkomst voorspellen o.b.v. aanwezige data Voorkomt bias non-response afhankelijk van andere predictoren Bijv complete case analysis houdt hiet geen rekening mee: dan is missingness gerelateerd aan de uitkomst.

Methoden Systematische zoekopdracht Database samenstellen Externe validatie Discriminatie Kalibratie

Methoden – Externe validatie Discriminatie Vermogen tot het differentiëren van een model tussen zieke en niet zieke patiënten Gepoolde “Area Under the ROC Curve” (AUC) Gewogen gemiddelde van AUCs per model Delta AUC Verschil in AUC tov. het gemiddelde van alle AUCs één de dataset https://shocktalkvenue.wordpress.com/2+11/+4/23/why-discrimination-is-good/ - Van 2 random patienten, 1 ziek 1 niet ziek, zal de zieke patiënt een hogere voorspelde kans hebben op ziekte op basis van het model. Sensitiviteit (%) Perfecte discriminatie Goede discriminatie “Coin flip” 1- Specificiteit (%)

Resultaten – Discriminatie [1] Gepoolde AUC   Validation dataset Model Melbye et al. Hopstaken et al. Flanders et al. Graffelman et al. Holm et al. Rainer et al. Steurer et al. Van Vugt et al. Pooled AUC (95% CI)† 0.78 - 0.89 0.60 D 0.79 (0.74-0.85) Heckerling et al. 0.69 0.62 0.66 0.72 (0.68-0.76) Diehr et al. 0.57 0.76 0.64 0.65 (0.61-0.68) Singal et al. 0.68 0.81 0.63 0.61 0.64 (0.61-0.67) 0.49 0.56 (0.49-0.63) 0.58 0.52 0.56 0.53 (0.50-0.56)

Resultaten – Discriminatie [2] Delta AUC

Methoden – Externe validatie Kalibratie Overeenkomst tussen voorspelde kans en de aanwezigheid van pneumonie Kalibratie plots 3 risicogroepen, kans pneumonie: <10% 10-30% >30 % Test card Philips PM5544

Resultaten – Kalibratie Twee modellen “acceptabele” kalibratie Extreme kansen problematisch Overige modellen “slechte” kalibratie

Discussie Geen validatie mogelijk in alle IPD door ontbrekende predictoren Geen volledige head-to-head vergelijking Heterogeniteit in IPD-studies Setting Inclusie criteria Thoraxfoto geen gouden standaard Achtergrond: Geen validatie in alle IPD: Dus mogelijk geen eerlijke vergelijking, echter door gebruik dAUC relatieve performance van model in dataset. Heterogeniteit studies; Setting: met hogere prevalentie, en dus betere performance van deze studie. Hier niet gezien en is doel externe validatie. Inclusie criteria: mogelijk verlies diagnostieche waar predictoren (reeds gebruikt in selectie) Thoraxfoto geen gouden standaard: echter wel geaccepteerde primaire test voor pneumonie, mogelijk niet meers accurate diagnose pneumonie!

Conclusie Predictie modellen kunnen helpen discrimineren tussen patiënten met en zonder pneumonie Echter: toewijzen extreme kansen lastig Klinische model door van Vugt et al. beste discriminatie, en aanvaardbare kalibratie in de IPD van verschillende studie populaties Dit model met de predictoren rhinorroe, benauwdheid, crepitaties, verm. ademgeruis, koorts en tachycardie is de voornaamste kandidaat voor gebruik in de eerste lijn

Met dank aan: Begeleiders: Co-auteurs: Ondersteuning: Joris AH de Groot1 Rogier M Hopstaken2 Reto Kofmehl Margaretha C Minnaard Saskia F van Vugt1 Cangel Chan Alma C van de Pol1 Arie Knuistingh Neven3 Karin Aretz Berna DL Broekhuizen1 Aleida W Graffelman3 Susan van Hemert-Glaubitz Niek J de Wit1 Hasse Melbye4 Scott Flanders Johannes B Reitsma1 Timothy H Rainer5 Judy Maselli Theo JM Verheij1 Johann Steurer6 Peter Zuidhof Anette Holm7 Bianca Kramer Ralph Gonzales8 Geert-Jan Dinant9 1. UMC Utrecht, Julius Centrum voor Gezondheidswetenschappen en Eerstelijnsgeneeskunde, Utrecht, Nederland. 2. Saltro Diagnostisch Centrum, Utrecht, Nederland. 3. Leiden UMC, Departement of Public Health and Primary Care, Leiden, the Netherlands. 4. University of Tromsø, Department of Community Medicine, Tromsø, Norway 5. Chinese University of Hong Kong, Hong Kong, China. 6. Universeit Zurich, Horten Centre for Patient Oriented Research and Knowledge Transfer, Zurich, Zwitserland. 7. Odense University Hospital, Department of Infectious Diseases, Odense, Denemarken 8. University of California, San Francisco, United States of America 9. Departement of General Practice, CAPHRI School for Public Health and Primary Care, Maastricht University Medical Centre, Maastricht, The Netherlands.

Referenties Heckerling PS, Tape TG, Wigton RS, Hissong KK, Leikin JB, et al. (1990) Clinical prediction rule for pulmonary infiltrates. Ann Intern Med 113: 664–670. Mortensen EM, Coley CM, Singer DE, Marrie TJ, Obrosky DS, et al. (2002) Causes of death for patients with community-acquired pneumonia: results from the Pneumonia Patient Outcomes Research Team cohort study. Arch Intern Med 162: 1059–1064. Van Vugt SF, Broekhuizen BDL, Lammens C, Zuithoff NPA, de Jong PA, et al. (2013) Use of serum C reactive protein and procalcitonin concentrations in addition to symptoms and signs to predict pneumonia in patients presenting to primary care with acute cough: diagnostic study. BMJ 346: f2450–f2450. Niederman MS, Mandell LA, Anzueto A, Bass JB, Broughton WA, et al. (2001) Guidelines for the management of adults with community-acquired pneumonia. Diagnosis, assessment of severity, antimicrobial therapy, and prevention. Am J Respir Crit Care Med 163: 1730–1754. Woodhead M, Blasi F, Ewig S, Garau J, Huchon G, et al. (2011) Guidelines for the management of adult lower respiratory tract infections - Full version. Clin Microbiol Infect 17: E1–E59. Smucny J, Fahey T, Becker L, Glazier R (2004) Antibiotics for acute bronchitis. Cochrane Database Syst Rev: CD000245. Hopstaken RM, Muris JW, Knottnerus JA, Kester AD, Rinkens PE, et al. (2003) Contributions of symptoms, signs, erythrocyte sedimentation rate, and C-reactive protein to a diagnosis of pneumonia in acute lower respiratory tract infection. Br J Gen Pr 53: 358–364. Bradley JS, Guidos R, Baragona S, Bartlett JG, Rubinstein E, et al. (2007) Anti-infective research and development--problems, challenges, and solutions. Lancet Infect Dis 7: 68–78. Tacconelli E, De Angelis G (2010) Fighting antibiotic resistance all over Europe. Expert Rev Anti Infect Ther 8: 761–763. Melbye H, Straume B, Aasebø U, Dale K (1992) Diagnosis of pneumonia in adults in general practice. Relative importance of typical symptoms and abnormal chest signs evaluated against a radiographic reference standard. Scand J Prim Health Care 10: 226–233 Cals JWL, de Bock L, Beckers P-JHW, Francis NA, Hopstaken RM, et al. (n.d.) Enhanced communication skills and C-reactive protein point-of-care testing for respiratory tract infection: 3.5-year follow-up of a cluster randomized trial. Ann Fam Med 11: 157–164. Singal BM, Hedges JR, Radack KL (1989) Decision rules and clinical prediction of pneumonia: evaluation of low-yield criteria. Ann Emerg Med 18: 13–20. Cals JWL, Butler CC, Hopstaken RM, Hood K, Dinant G-J (2009) Effect of point of care testing for C reactive protein and training in communication skills on antibiotic use in lower respiratory tract infections: cluster randomised trial. BMJ 338: b1374. Rainer TH, Chan CP, Leung MF, Leung W, Ip M, et al. (2009) Diagnostic utility of CRP to neopterin ratio in patients with acute respiratory tract infections. J Infect 58: 123–130. Steyerberg EW, Moons KGM, van der Windt DA, Hayden JA, Perel P, et al. (2013) Prognosis Research Strategy (PROGRESS) 3: prognostic model research. PLoS Med 10: e1001381. Steurer J, Held U, Spaar A, Bausch B, Zoller M, et al. (2011) A decision aid to rule out pneumonia and reduce unnecessary prescriptions of antibiotics in primary care patients with cough and fever. BMC Med 9: 56. doi:10.1186/1741-7015-9-56. Altman DG, Royston P (2000) What do we mean by validating a prognostic model? Stat Med 19: 453–473. Holm A, Nexoe J, Bistrup LA, Pedersen SS, Obel N, et al. (2007) Aetiology and prediction of pneumonia in lower respiratory tract infection in primary care. Br J Gen Pract 57: 547–554. Collins GS, de Groot JA, Dutton S, Omar O, Shanyinde M, et al. (2014) External validation of multivariable prediction models: a systematic review of methodological conduct and reporting. BMC Med Res Methodol 14: 40. Flanders SA, Stein J, Shochat G, Sellers K, Holland M, et al. (2004) Performance of a bedside C-reactive protein test in the diagnosis of community-acquired pneumonia in adults with acute cough. Am J Med 116: 529–535. Bleeker SE, Moll HA, Steyerberg EW, Donders ART, Derksen-Lubsen G, et al. (2003) External validation is necessary in prediction research:: A clinical example. J Clin Epidemiol 56: 826–832. De Groot JAH, Dendukuri N, Janssen KJM, Reitsma JB, Bossuyt PMM, et al. (2011) Adjusting for Differential-verification Bias in Diagnostic-accuracy Studies: A Bayesian Approach. Epidemiol March 2011 22: 234–241. Graffelman AW, le Cessie S, Neven AK, Willemssen FEJA, Zonderland HM, et al. (2007) Can history and exam alone reliably predict pneumonia? J Fam Pract 56: 465–470.