Meta-analyse van observationeel onderzoek Nicole Vogelzangs Afdeling psychiatrie & EMGO + instituut

Inhoud RCTs vs observationeel onderzoek Data extractie Meta-analyse –Combineren van resultaten (statistische pooling) –Bestuderen van bronnen van heterogeniteit (subgroep analyse en meta-regressie analyse) Observationeel II-1

RCT vs observationeel onderzoek vraagstelling therapieetiologie, diagnose, prognose methodologie eenduidigdivers, verschillende designs validiteit design hooggevarieerd risico confounding laaghoog analyse eenduidigcorrectie voor confounding univariabelmultivariabel RCTObservationeel onderzoek Observationeel II-2

Heterogeniteit In observationeel onderzoek is meer heterogeniteit te verwachten dan in RCTs: –Design –Populatie (minder strikte selectiecriteria) –Variatie in wijze van meting expositie en ziekte –Correctie voor confounding Onderzoek naar invloed van bronnen van heterogeniteit is een belangrijk doel van analyse in reviews van observationeel onderzoek Observationeel II-3

Voorbeeld Depression as a risk factor for the onset of type 2 diabetes mellitus - Knol, Twisk et al. Diabetologica 2006 Selectiecriteria –Longitudinaal onderzoek naar depressie en ontstaan van DM2 –Exclusie: studies die prevalente DM2 patiënten includeerden (alleen personen ‘at risk’) –Onvoldoende data om RR, OR of HR te berekenen Observationeel II-4

Publicatiebias? Onderzoeken met grote SE (kleine omvang) en minder sterke associatie lijken te missen Observationeel II-5

Inhoud RCTs vs observationeel onderzoek Data extractie Meta-analyse –Combineren van resultaten (statistische pooling) –Bestuderen van bronnen van heterogeniteit (subgroep analyse en meta-regressie analyse) Observationeel II-6

Data extractie Voor elk onderzoek: 1.Effectschatting (associatie determinant – uitkomst) Neem de voor confounding gecorrigeerde effectmaat! 2.Variantie of standaardfout (SE) van de effectschatting (=> gewicht in meta-analyse) 3.Informatie over potentiële bronnen van heterogeniteit Observationeel II-7

1. Effectschatting Effectschatting op basis van multivariabele analyse, gecorrigeerd voor alle mogelijke confounders (leeftijd, geslacht, BMI, bloeddruk, etc.) Cohort onderzoek: –Logistische regressie: OR –Cox regressie: hazard ratio (HR ≈ RR) –Gestratificeerde analyse (RR / OR / RV) Patiënt-controle onderzoek –Logistische regressie: OR Observationeel II-8

Is OR uitwisselbaar met RR/HR? Alleen bij klein risico op de uitkomst! Ter herinnering…: odds = p / 1-p Grote kans, bv p=0.30: odds = 0.30 / 0.70 = 0.43 Kleine kans, bv p=0.01: odds = 0.01 / 0.99 ≈ 0.01 => bij hoge risico’s overschat odds (OR) kans (RR) alcoholconsumptie - blaaskanker: OR is OK beeldschermwerk - nek/schouderklachten: OR niet OK Observationeel II-9

2. Standaardfout van de effectschatting SE vaak niet gerapporteerd Berekenen vanuit –betrouwbaarheidsinterval –p-waarde (voldoende decimalen nodig; p <.05 is onvoldoende) Observationeel II-10

3. Bronnen van heterogeniteit Samenstelling van de onderzoekspopulatie Wijze waarop blootstelling aan risicofactor / prognostische factor is gemeten Wijze waarop de uitkomst of ziekte is gemeten Aspecten van design Analyse Observationeel II-11

Bronnen van heterogeniteit - voorbeeld Populatie: verschillen in leeftijd, geslacht, potentiële confounders Blootstellingmeting: methode voor vaststellen depressie (vragenlijst, interview, diagnose care provider) Uitkomst: methode voor vaststellen diabetes (screening of zelfrapportage) Observationeel II-12

Bronnen van heterogeniteit - voorbeeld Aspecten van design: cohort onderzoek –Duur van follow-up vergelijkbaar? –Respons voldoende / uitval beperkt? –Welke confounders zijn gemeten? –Welke methoden voor exclusie diabeten op baseline? Analyse –Hoe is blootstelling in analyse geoperationaliseerd? (score depressieschaal of dichotoom [afkappunt]) –Welke confounders zijn meegenomen? Observationeel II-13

Verminderen heterogeniteit Door omrekenen van gepubliceerde gegevens kunnen soms verschillen tussen studies worden weggewerkt: –Operationalisatie blootstelling (bv meerdere depressie categorieën samenvoegen tot wel/geen depressie) –Mate van correctie voor confounding => mogelijkheden sterk afhankelijk van rapportage Observationeel II-14

Inhoud RCTs vs observationeel onderzoek Data extractie Meta-analyse –Combineren van resultaten (statistische pooling) –Bestuderen van bronnen van heterogeniteit (subgroep analyse en meta-regressie analyse) Observationeel II-15

Meta-analyse Combineren van resultaten (statistische pooling) Voor elk onderzoek invoeren: –effectschatting –gewicht (1 / SE 2 ) Fixed effects model (meestal niet realistisch) Random effects model (logisch) Bestuderen invloed van bronnen van heterogeniteit –Subgroep analyse –Meta-regressie analyse Observationeel II-16

Meta-analyse - voorbeeld RR (REM): 1.37 ( ) Q-test: p = 0.02 Observationeel II-17

Bestuderen heterogeniteit: subgroep analyse 1 kenmerk tegelijk (bv duur van follow-up) Kies niet teveel categorieën (bv > of < 5 jaar) Stratificeer voor de categorieën Pool effectschattingen binnen de categorieën Observationeel II-18

Subgroep analyse - voorbeeld RR Wel (n = 3)Niet (n = 6) Controle voor aanwezigheid diabetes bij baseline Observationeel II-19

Bestuderen heterogeniteit: meta-regressie Meerdere kenmerken kunnen tegelijk bestudeerd worden (bv follow-up duur, soort design, leeftijd populatie) Efficiënt en meer power (onderscheidingsvermogen) Ook geschikt voor kenmerken ordinale of continue schaal Observationeel II-20

Meta-regressie Wat is meta-regressie? Gewogen lineaire regressie Onderzoeken zijn de eenheid van analyse Afhankelijke variabele (Y) = effectschatting van studie Gewicht = 1 / SE 2 Onafhankelijke variabelen (X) = bronnen van heterogeniteit (effect modificatoren) Y = b 0 + b 1 X + onverklaarde variantie Observationeel II-21

Afhankelijke variabele (uitkomst) Voor lineaire regressie: afhankelijke variabele (Y) dient +/- normaal verdeeld te zijn OR en RR: meestal scheve verdeling Log-transformatie:ln (OR) = b 0 + b 1 X ln (RR) = b 0 + b 1 X Observationeel II-22

Meta-regressie: slaaphouding en wiegendood Jaar van onderzoek 0 0,5 1,0 1,5 2,0 2,5 3, ln(OR) Buik vs rug Observationeel II-23

Meta-regressie: depressie en incidentie diabetes Geen associatie tussen duur van follow-up en effectschatting Observationeel II-24

Meta-regressie (fictieve gegevens) Associatie depressie en incidentie diabetes 6 (fictieve) cohort onderzoeken 3 onderzoeken waarbij gecorrigeerd is voor overgewicht (BMI > 25), 3 zonder correctie BMI Invoeren voor elke studie: –ln (RR) –weegfactor: 1 / SE 2 –correctie confounder (wel = 1, niet = 0) Observationeel II-25

Meta-regressie - voorbeeld Regressievergelijking: ln(RR) = b 0 + b 1 * corrconf Resultaten regressie analyse (output) b 0 = 0.750, b 1 = Gepoolde ln(RR) voor onderzoeken zonder correctie voor overgewicht (corrconf = 0) ln(RR) = (-0.250*0) = => RR = e = 2.11 Gepoolde ln(RR) voor onderzoeken met correctie voor overgewicht (corrconf = 1) ln(RR) = (-0.250*1) = => RR = e = 1.65 Observationeel II-26

Software voor meta-regressie analyse SPSS: weighted linear regression: alleen fixed effects model! SAS: commando ‘proc mixed’ (Van Houwelingen et al. Stat Med 2002;21: ) STATA: commando’s ‘meta’ en ‘metareg’ (Sterne et al. In: Systematic reviews in health care; Eds: Egger et al. London: BMJ books, 2000: ) Specifieke software / zelf programmeren Observationeel II-27

Knelpunten meta-regressie I Beperkt aantal variabelen tegelijk te bestuderen: aantal onderzoeken (=waarnemingen) is doorgaans niet groot Noodzakelijke gegevens lang niet altijd beschikbaar Ecological fallacy (aggregatiebias): Associaties worden op geaggregeerd niveau geanalyseerd: geven mogelijk niet de werkelijk associatie binnen onderzoeken weer Observationeel II-28

Ecological fallacy Wel effect van leeftijd binnen onderzoeken, níet bij analyse op geaggregeerd niveau Zie: Thompson SG & Higgins JPT. Stat Med 2002;21: Geen effect van leeftijd binnen onderzoeken, wél bij analyse op geaggregeerd niveau Observationeel II-29

Knelpunten meta-regressie II Pas op bij subgroep analyses en meta-regressie: hoe meer variabelen je onderzoekt, hoe meer kans op een type I fout (fout-positieve resultaten) Beperk het aantal subgroepen / variabelen bij een meta-regressie: –Hypothesetoetsend: a priori analyses: beschrijven in methode –Hypothesegenererend: post hoc analyses: bespreek in discussie Observationeel II-30

Plausible, but spurious findings Gebruik orale anticonceptiva verhoogt kans op HIV infectie (Plummer et al. 1999) –Plausibel: OAC hebben ongunstig effect op slijmvlies genitalia Gebruik orale anticonceptiva beschermt tegen HIV infectie (Lazzarin et al. 1991) –Plausibel: progesteron zorgt voor versteviging slijmvlies cervix => Bias en confounding zijn moeilijk uit te sluiten Observationeel II-31

Individual patient data (IPD) meta-analysis De mooiste oplossing? –Vraag alle oorspronkelijke ruwe data op –Schoon bestanden en hercodeer zonodig –Meta-analyse en subgroep analyse / meta-regressie –Zeer krachtig –Goedkoper dan nieuwe trials Maar: –Uiterst arbeidsintensief –Gegevens soms (vaak?) niet meer beschikbaar Observationeel II-32

Samenvatting Meta-analyse van observationeel onderzoek –Veel heterogeniteit –Voorwerk nodig Statistische analyse –‘gewoon’ FEM / REM –Analyse van bronnen van heterogeniteit (subgroep analyse, meta-regressie) –IPD meta-analyse Pas op met subgroep analyse / meta-regressie! Observationeel II-33

Meta-analyse van observationeel onderzoek EINDE Observationeel II-34