Bayes, Bias en Boerenbedrog. Diagnostiek Diagnostiek Trial-interpretatie Trial-interpretatie.

Presentatie over: "Bayes, Bias en Boerenbedrog. Diagnostiek Diagnostiek Trial-interpretatie Trial-interpretatie."— Transcript van de presentatie:

1 Bayes, Bias en Boerenbedrog

2

3 Diagnostiek Diagnostiek Trial-interpretatie Trial-interpretatie

4 Ziekte aanwezig Ziekte afwezig Pos testaba+b Neg testcdc+d a+cb+dn Sensitiviteit Specificiteit PPV NPV

5 Ziekte aanwezig Ziekte afwezig Pos testaba+b Neg testcdc+d a+cb+dn (a+b+c+d) Sensitiviteit = a/a+c Specificiteit = d/b+d PPV = a/a+b NPV = d/c+d Prevalentie = (a+c) /(a+b+c+d)

6 Ziekte aanwezig Ziekte afwezig Pos testaba+b Neg testcdc+d a+cb+dn (a+b+c+d) Sensitiviteit = a/a+c Specificiteit = d/b+d PPV = a/a+b NPV = d/c+d Prevalentie = (a+c) /(a+b+c+d) Sens/spec: populatie-onafhankelijk PPV, NPV: populatie-afhankelijk

7 Sensitiviteit Specificiteit LR(+): (kans op pos test|ziekte) / (kans op pos test|geen ziekte) = sensitiviteit/(1-specificiteit) LR(-):(kan op neg test|ziekte) / (kans op neg test | geen ziekte) = (1-sensitiviteit) / specificiteit) Kans op ziekte na test ≈ voorafkans x LR

8 Odds = p/(1-p)

9 Post-test odds = pre-test odds x LR

10 Sensitivity and specificity  x (0.95/0.2) = 0.5  P-pneumonie=33% 0.01 To diagnose pneumonia: sensitivity: 0.95 / specificity 0.80 x (0.95/0.2) = 9.5  P-pneumonie=90%  x (0.95/0.2) = 9.5  P-pneumonie=90% 2 Bayes Criterion: Odds prior to test x test characteristics pos./neg. test = Odds for disease áfter test

11

12 Post-test odds = pre-test odds x LR toepassingen…

13 Pre-test odds Voorafgaand baysiaanisme? Voorafgaand baysiaanisme? GLOBALE klinische inschatting GLOBALE klinische inschatting

14 Opgezette buik Zien, vragen, onderzoeken: allemaal testen Zien, vragen, onderzoeken: allemaal testen

15 Wat doen wij ‘ziek’  hoesten  koorts  verscherpt AG ‘ziek’  hoesten  koorts  verscherpt AG 1  2  3  4 via Bayes’ criterion? 1  2  3  4 via Bayes’ criterion? Sens/spec van koorts, AG onafhankelijk van ‘ziek’, hoesten…nee Sens/spec van koorts, AG onafhankelijk van ‘ziek’, hoesten…nee Sens/spec van ‘ziek’, hoesten onafhankelijk van koorts, AG…nee Sens/spec van ‘ziek’, hoesten onafhankelijk van koorts, AG…nee

16 Meerdegraads functie Y = a + b.1 + c.2 + d.3 + e.4 Y = a + b.1 + c.2 + d.3 + e.4

17 Post-test odds = pre-test odds x LR probleem: pre-test odds is pseudo-exact LR; sensitiviteit, specificiteit

18 ANF voor SLE: ‘sens 0.95, spec 0.60’

19 Legionelle-sneltest: Gevoeliger naarmate patient zieker Legionelle-sneltest: Gevoeliger naarmate patient zieker D-dimeer: gevoelig voor DVT en segmentale LE D-dimeer: gevoelig voor DVT en segmentale LE

20 Post-test odds = pre-test odds x LR problemen: pre-test odds is pseudo-exact sensitiviteit en specificiteit zijn niet onafhankelijk van prior-odds, maar zijn contextafhankelijk!

21 Post-test odds = pre-test odds x LR - nut van aanvullende test kwantificeren, onder aannames van prior-odds, sens, spec - niet: diagnostische waarschijnlijkheid berekenen

22

23 core of Bayes’ heritage Chance of something being ‘true’ depends on Outcome of ‘objective’ test ánd context of probability / plausibility

24 Trial Evidence

25 Is evidence evidence? RCT A versus B: 60% versus 40% succes rate  ‘A is better’ ‘truth exposed’ ‘truth exposed’ ‘A helps more óften’  probabilistic result ‘A helps more óften’  probabilistic result Evidence = evidence for a probability Evidence = evidence for a probability

26 Force of probabilistic evidence Statistical significance + confidence interval Does not account for: bias bias Research question Research question Participant selection Participant selection Choice of research design Choice of research design Selection of analytical methods Selection of analytical methods Selection of what to report, and what not Selection of what to report, and what not Publication bias Publication bias plausibility plausibility

27 Sand and some rock

28

29 Equally sound research Implausible result  ‘hmm…’ Implausible result  ‘hmm…’ Highly plausible result  true…! Highly plausible result  true…!

30 Type of study + accopanying bias Plausibility of hypothesis Chance that significant result is true Large randomised clinical trial (RCT) High85% Meta-analysis of large, unequivocal RCTs Very high85% Meta-analysis of smaller, contradictory trials Average41% Small, but well-designed RCT Average23% Small epidemiological ‘explorative’ study low12% Ioannidis, PLoS Medicine 2005; 2: 696-701

31 Frequentists vs Bayesians Freq: probability of data conditional on hypothesis Freq: probability of data conditional on hypothesis Baysian: probability of hypothesis conditional on data Baysian: probability of hypothesis conditional on data A study is just like a test! Variant of Bayes’s criterion: ‘truth’ of study outcome = outcome x plausibility

32 GREAT-trial Tr-lyse thuis vs in-hospital: 49% risicoreductie Meta-analyse van tr-lyse in ziekenhuis: 25% risicoreductie  ? Voordeel Baysian: -Geen last van nulhypothese -Geen problemen met multipliciteit (meerdere eindpunten, subgroepen, interim-analyses)

33 Voordeel Baysian: -Geen last van nulhypothese -Geen problemen met multipliciteit (meerdere eindpunten, subgroepen, interim-analyses) Problemen Baysian: -Subjectiviteit -Discussie over prior -Wiskundig complex

34

35 Take home Sensitiviteit en specificiteit zijn contextafhankelijk Sensitiviteit en specificiteit zijn contextafhankelijk LR’s zijn dat dus ook LR’s zijn dat dus ook Clinicians are NOT natural bayesians! Clinicians are NOT natural bayesians! Bayes criterion nuttig voor schatting effect test Bayes criterion nuttig voor schatting effect test RCT is ook test RCT is ook test Meeste van wat je leest is niet waar Meeste van wat je leest is niet waar Baysiaanse triasinterpretatie wint terrein Baysiaanse triasinterpretatie wint terrein

36 Boerenbedrog

37 Reporting and publication bias

38

39

40

41

42

43

44

45

46

47

48 Wanhoop niet Wantrouw wel

49 Hoofdstuk 1 Hoofdstuk 3