Bayes, Bias en Boerenbedrog

Diagnostiek Diagnostiek Trial-interpretatie Trial-interpretatie

Ziekte aanwezig Ziekte afwezig Pos testaba+b Neg testcdc+d a+cb+dn Sensitiviteit Specificiteit PPV NPV

Ziekte aanwezig Ziekte afwezig Pos testaba+b Neg testcdc+d a+cb+dn (a+b+c+d) Sensitiviteit = a/a+c Specificiteit = d/b+d PPV = a/a+b NPV = d/c+d Prevalentie = (a+c) /(a+b+c+d)

Ziekte aanwezig Ziekte afwezig Pos testaba+b Neg testcdc+d a+cb+dn (a+b+c+d) Sensitiviteit = a/a+c Specificiteit = d/b+d PPV = a/a+b NPV = d/c+d Prevalentie = (a+c) /(a+b+c+d) Sens/spec: populatie-onafhankelijk PPV, NPV: populatie-afhankelijk

Sensitiviteit Specificiteit LR(+): (kans op pos test|ziekte) / (kans op pos test|geen ziekte) = sensitiviteit/(1-specificiteit) LR(-):(kan op neg test|ziekte) / (kans op neg test | geen ziekte) = (1-sensitiviteit) / specificiteit) Kans op ziekte na test ≈ voorafkans x LR

Odds = p/(1-p)

Post-test odds = pre-test odds x LR

Sensitivity and specificity  x (0.95/0.2) = 0.5  P-pneumonie=33% 0.01 To diagnose pneumonia: sensitivity: 0.95 / specificity 0.80 x (0.95/0.2) = 9.5  P-pneumonie=90%  x (0.95/0.2) = 9.5  P-pneumonie=90% 2 Bayes Criterion: Odds prior to test x test characteristics pos./neg. test = Odds for disease áfter test

Post-test odds = pre-test odds x LR toepassingen…

Pre-test odds Voorafgaand baysiaanisme? Voorafgaand baysiaanisme? GLOBALE klinische inschatting GLOBALE klinische inschatting

Opgezette buik Zien, vragen, onderzoeken: allemaal testen Zien, vragen, onderzoeken: allemaal testen

Wat doen wij ‘ziek’  hoesten  koorts  verscherpt AG ‘ziek’  hoesten  koorts  verscherpt AG 1  2  3  4 via Bayes’ criterion? 1  2  3  4 via Bayes’ criterion? Sens/spec van koorts, AG onafhankelijk van ‘ziek’, hoesten…nee Sens/spec van koorts, AG onafhankelijk van ‘ziek’, hoesten…nee Sens/spec van ‘ziek’, hoesten onafhankelijk van koorts, AG…nee Sens/spec van ‘ziek’, hoesten onafhankelijk van koorts, AG…nee

Meerdegraads functie Y = a + b.1 + c.2 + d.3 + e.4 Y = a + b.1 + c.2 + d.3 + e.4

Post-test odds = pre-test odds x LR probleem: pre-test odds is pseudo-exact LR; sensitiviteit, specificiteit

ANF voor SLE: ‘sens 0.95, spec 0.60’

Legionelle-sneltest: Gevoeliger naarmate patient zieker Legionelle-sneltest: Gevoeliger naarmate patient zieker D-dimeer: gevoelig voor DVT en segmentale LE D-dimeer: gevoelig voor DVT en segmentale LE

Post-test odds = pre-test odds x LR problemen: pre-test odds is pseudo-exact sensitiviteit en specificiteit zijn niet onafhankelijk van prior-odds, maar zijn contextafhankelijk!

Post-test odds = pre-test odds x LR - nut van aanvullende test kwantificeren, onder aannames van prior-odds, sens, spec - niet: diagnostische waarschijnlijkheid berekenen

core of Bayes’ heritage Chance of something being ‘true’ depends on Outcome of ‘objective’ test ánd context of probability / plausibility

Trial Evidence

Is evidence evidence? RCT A versus B: 60% versus 40% succes rate  ‘A is better’ ‘truth exposed’ ‘truth exposed’ ‘A helps more óften’  probabilistic result ‘A helps more óften’  probabilistic result Evidence = evidence for a probability Evidence = evidence for a probability

Force of probabilistic evidence Statistical significance + confidence interval Does not account for: bias bias Research question Research question Participant selection Participant selection Choice of research design Choice of research design Selection of analytical methods Selection of analytical methods Selection of what to report, and what not Selection of what to report, and what not Publication bias Publication bias plausibility plausibility

Sand and some rock

Equally sound research Implausible result  ‘hmm…’ Implausible result  ‘hmm…’ Highly plausible result  true…! Highly plausible result  true…!

Type of study + accopanying bias Plausibility of hypothesis Chance that significant result is true Large randomised clinical trial (RCT) High85% Meta-analysis of large, unequivocal RCTs Very high85% Meta-analysis of smaller, contradictory trials Average41% Small, but well-designed RCT Average23% Small epidemiological ‘explorative’ study low12% Ioannidis, PLoS Medicine 2005; 2:

Frequentists vs Bayesians Freq: probability of data conditional on hypothesis Freq: probability of data conditional on hypothesis Baysian: probability of hypothesis conditional on data Baysian: probability of hypothesis conditional on data A study is just like a test! Variant of Bayes’s criterion: ‘truth’ of study outcome = outcome x plausibility

GREAT-trial Tr-lyse thuis vs in-hospital: 49% risicoreductie Meta-analyse van tr-lyse in ziekenhuis: 25% risicoreductie  ? Voordeel Baysian: -Geen last van nulhypothese -Geen problemen met multipliciteit (meerdere eindpunten, subgroepen, interim-analyses)

Voordeel Baysian: -Geen last van nulhypothese -Geen problemen met multipliciteit (meerdere eindpunten, subgroepen, interim-analyses) Problemen Baysian: -Subjectiviteit -Discussie over prior -Wiskundig complex

Take home Sensitiviteit en specificiteit zijn contextafhankelijk Sensitiviteit en specificiteit zijn contextafhankelijk LR’s zijn dat dus ook LR’s zijn dat dus ook Clinicians are NOT natural bayesians! Clinicians are NOT natural bayesians! Bayes criterion nuttig voor schatting effect test Bayes criterion nuttig voor schatting effect test RCT is ook test RCT is ook test Meeste van wat je leest is niet waar Meeste van wat je leest is niet waar Baysiaanse triasinterpretatie wint terrein Baysiaanse triasinterpretatie wint terrein

Boerenbedrog

Reporting and publication bias

Wanhoop niet Wantrouw wel

Hoofdstuk 1 Hoofdstuk 3