Methodologische beoordeling van observationeel onderzoek Nicole Vogelzangs Afdeling psychiatrie & EMGO+ instituut

Inhoud Vormen van observationeel onderzoek Methodologische beoordeling: Bronnen van vertekening Belangrijke aspecten bij beoordeling Verwerken van methodologische beoordeling in review Causaliteit Observationeel I-1

Soorten onderzoek Etiologie Diagnose Prognose Ontstaan van een klacht of aandoening Risicofactoren Diagnose Vaststellen (ernst) klacht of aandoening Prognose Beloop van een klacht of aandoening Prognostische factoren (inclusief behandeling!) Observationeel I-2

Redenen voor observationeel onderzoek Bestuderen van natuurlijk beloop Volgen van grote groepen mensen Lange follow-up duur noodzakelijk Randomisatie niet ethisch Randomisatie niet mogelijk bv beroepsmatige blootstelling Praktische problemen (efficiënter, goedkoper) Zeldzame aandoeningen of gebeurtenissen bv bijwerkingen Black N. BMJ 1996; 312: 1215-8 Observationeel I-3

Verstorende variabelen Design (algemeen) Determinant Uitkomst Verstorende variabelen (confounders) Voorbeelden: Geeft gebruik van Cox-2 remmers een verhoogd risico op myocard infarct in vergelijking met niet-selectieve NSAIDs? Is er een associatie tussen stressvolle gebeurtenissen tijdens de kindertijd en het ontstaan van chronische pijn? Wordt de kans op een chronisch beloop van depressie verhoogd door de aanwezigheid van lichamelijke aandoeningen? Observationeel I-4

Cross-sectioneel onderzoek Alle determinanten en de uitkomst worden op hetzelfde moment gemeten Determinant Uitkomst Voorbeelden: Patiënten met gewrichtsklachten in 50 huisartspraktijken die in de afgelopen 5 jaar Cox-2 remmers of NSAIDs hebben gebruikt? Dossieronderzoek: wel of geen infarct? Meten van stressvolle gebeurtenissen in het verleden en chronische pijnklachten Meten van depressieve klachten in de afgelopen 2 jaar en de aanwezigheid van lichamelijke aandoeningen Observationeel I-5

Cohort onderzoek Stel cohort samen Meet blootstelling aan de determinant Volg cohort in de tijd Identificeer ziektegevallen Determinant Uitkomst Voorbeeld I: Patiënten met gewrichtklachten in 50 HA praktijken, starters medicatie (Periodiek) vaststellen type pijnstiller Registreren gevallen myocard infarct gedurende 5 jaar Vergelijking incidentie infarct bij Cox-2 remmers vs. NSAIDs Observationeel I-6

Patiënt - controle onderzoek Selecteer ziektegevallen Kies een (gezonde) controle groep Meet blootstelling aan de determinant (in het verleden) Determinant Uitkomst Voorbeeld I: - Alle (nieuwe) infarcten gedurende 1 jaar in 10 centra - Selectie controlepersonen (bv. via huisartsinformatiesysteem) - Vergelijking type NSAID tussen patiënten en controles (OR) Observationeel I-7

Inhoud Vormen van observationeel onderzoek Methodologische beoordeling: Bronnen van vertekening Belangrijke aspecten bij beoordeling Verwerken van methodologische beoordeling in review Causaliteit Observationeel I-8

Methodologische beoordeling Diversiteit in design: geen standaard checklist Bestaande checklisten verschillend samengesteld Aanpassen aan onderwerp van review Inschatten aanwezigheid en omvang van mogelijke bronnen van vertekening Selectiebias Informatiebias Confounding Observationeel I-9

Bronnen van vertekening - Selectiebias Inadequate selectie van onderzoeksdeelnemers De kans op selectie is afhankelijk van de uitkomst (voorbeeld: autogordels) Associatie tussen determinant en uitkomst is anders in de onderzoekspopulatie dan in de (theoretische) bronpopulatie Observationeel I-10

Beoordeling risico op selectiebias Is de onderzoekspopulatie een goede afspiegeling van de bronpopulatie? Goede beschrijving setting, selectieprocedure, selectiecriteria PC: Controles afkomstig uit dezelfde bronpopulatie als patiënten? Hoge respons Cohort onderzoek: worden mensen ‘at risk’ geselecteerd? Observationeel I-11

Bronnen van vertekening - Informatiebias Onvergelijkbaarheid van informatie: over de determinant bij patiënten vs controles over de ziekte in verschillende blootstellingcategorieën Metingen worden niet op zelfde wijze uitgevoerd Metingen zijn beïnvloed door kennis over determinant en/of ziekte (bv jeugdgebeurtenissen in mensen met chronisch pijn) Observationeel I-12

Beoordeling risico op informatiebias Zijn determinant en ziekte op gestandaardiseerde wijze gemeten? Dezelfde methode bij alle deelnemers? Definitie van afkappunten en diagnostische criteria? Zijn goede (=valide & betrouwbare) meetinstrumenten gebruikt? Zijn determinant en ziekte onafhankelijk gemeten? Blindering Onafhankelijke beoordeling Observationeel I-13

Bronnen van vertekening - Confounding De associatie tussen determinant en ziekte wordt (deels) door andere (niet-mediërende) determinanten verklaard => confounders Confounder is geassocieerd met determinant en met de uitkomst (en ligt niet in het causale pad) Determinant Uitkomst Confounder Observationeel I-14

Beoordeling risico op confounding Zijn potentiële confounders gemeten? Is er in het design rekening gehouden met confounding (bv restriction, matching) Is de statistische analyse goed uitgevoerd? Gestratificeerde analyse Multivariabele analyse (is model beschreven?) Observationeel I-15

Follow-up (bij cohort onderzoek) Uitval van deelnemers kan leiden tot vertekening van resultaten Is uitval tijdens follow-up beperkt gebleven? Is uitval selectief (meer uitval in bepaalde blootstellingcategorieën)? Is de follow-up duur voldoende? Observationeel I-16

Samenvatting checklist Adequate selectieprocedure? Hoge respons? PC: patiënten en controles uit dezelfde bronpopulatie? Determinant en uitkomst bij alle personen op dezelfde wijze gemeten? Onafhankelijke meting van determinant en uitkomst? Beperkte uitval tijdens follow-up? Voldoende duur van follow-up? Design houdt rekening met confounding? In analyses gecorrigeerd voor confounding? Observationeel I-17

Voorbeelden van checklists Etiologie: Horwitz & Feinstein. Am J Med 1979; 66: 556-4 Friedenreich et al. Epidemiology 1994; 5: 66-79 Greenhalgh. Evidence based health care work book, 2000 Van der Windt et al. Occup Environ Med 2000; 57: 433-42 Prognose: Kernan et al. Stroke 1991; 22: 1108-16 Laupacis et al. JAMA 1994: 272: 234-7 Hudak et al. Arch Phys Med Rehabil 1996; 77: 586-93 Kuijpers et al. Pain 2004; 109: 420-31 Hayden et al. Ann Int Med 2006; 144: 427-37 én: www.cochrane.nl Observationeel I-18

Beoordelen van prognostisch onderzoek Grotendeels vergelijkbaar met etiologisch onderzoek, verder: Inceptie cohort? Behandeling gestandaardiseerd? Beoordeling analyse Causaliteit (één specifieke prognostische factor): conform etiologisch onderzoek (controle confounding) Predictie: combinatie van factoren met hoogste voorspellende waarde Altman D. BMJ 2001;323:224-8. Observationeel I-19

Verwerken beoordeling in meta-analyse Gebruik van totaalscore checklist: Totaalscore als wegingsfactor (bij pooling) RR ongewogen: 1.38 [1.01-1.87] RR gewogen voor kwaliteit: 1.46 [1.29-1.64] Gestratificeerde analyse (bij pooling) RR studies lage kwaliteit: 1.07 [0.89-1.29] RR studies hoge kwaliteit: 1.91 [1.56-2.35] Chlorination of drinking water and cancer Morris et al. Am J Publ Health 1992;82:955-63 Observationeel I-20

Verwerken beoordeling in meta-analyse Bestuderen van invloed van specifieke aspecten Gestratificeerde analyse (subgroep analyse) Meta-regressie analyse (meerdere aspecten tegelijk meenemen) Aspecten van methodologische beoordeling, bv Studies met hoge vs lage respons Cohort onderzoek vs patiënt-controle onderzoek Studies met vs zonder blindering Invloed van andere studiekenmerken Observationeel I-21

Subgroep analyse Saturated fat intake and breast cancer 1.0 0.8 1.2 1.4 1.6 RR 12 case-control studies 6 cohort studies Intermittent sunlight and melanoma 1.0 0.5 1.5 2.0 2.5 OR 7 studies with blinding 9 studies no blinding Egger et al. BMJ 1998;316:140-4 Observationeel I-22

Inhoud Vormen van observationeel onderzoek Methodologische beoordeling: Bronnen van vertekening Belangrijke aspecten bij beoordeling Verwerken van methodologische beoordeling in review Causaliteit Observationeel I-23

Samenhang of causaal verband? Sterke associatie hoeft geen causaal verband te betekenen Noodzakelijke en voldoende oorzaken I. factor F  Ziekte II. factor X  factor F  Ziekte factor Y  III. factor P  factor Q  Ziekte factor R  Observationeel I-24

Criteria voor causaliteit (afgeleid van Hill) Tijdsrelatie: temporeel verband determinant - uitkomst 1 prospectief cohort onderzoek 2 patiënt-controle onderzoek 3 cross-sectioneel onderzoek Sterkte van de associatie / dosis-respons relatie Consistentie van onderzoeksresultaten Validiteit (methodologische beoordeling) Voldoende aandacht voor potentiële confounding Plausibele verklaring voor associatie Observationeel I-25

Levels of evidence (voorbeeld) Strong: consistent associations found in ≥ 2 high quality cohorts Moderate: consistent associations found in ≥ 1 high quality cohort and ≥ 1 low quality cohort Weak: consistent associations found in ≥ 1 high quality cohort or in ≥ 3 low quality cohorts Inconclusive: association found in < 3 low quality cohorts Inconsistent: inconsistent findings irrespective of study quality Observationeel I-26

Let op … Associaties zijn vaak zwak (RR 0.5-2.0): precise, but spurious … Besteed aandacht aan heterogeniteit van onderzoek en resultaten In observationeel onderzoek is het onmogelijk om bias en confounding volledig uit te sluiten Mogelijk grotere kans op publicatiebias Observationeel I-27

Spurious results …

MOOSE Meta-analysis Of Observational Studies in Epidemiology Richtlijn voor rapporteren van systematische reviews van observationeel onderzoek Vgl. CONSORT (RCTs) en QUORUM (Sys reviews) Checklist voor editors en auteurs Vraagstelling Zoekstrategie Beoordeling methodologie Analyse Discussie en conclusies Stroup et al. JAMA 2000; 283: 2008-12 Observationeel I-29

Samenvatting Prospectief cohort onderzoek heeft (in principe) de voorkeur bij bestudering van causale relaties Observationeel onderzoek is gevoelig voor bias Voorzichtigheid bij conclusies betreffende aanwezigheid of sterkte van causale relatie Methodologische beoordeling is grotendeels ‘maatwerk’ Observationeel I-1

EINDE Methodologische beoordeling van observationeel onderzoek Observationeel I-1