Evidence Based Laboratory Medicine

Presentatie over: "Evidence Based Laboratory Medicine"— Transcript van de presentatie:

1 Evidence Based Laboratory Medicine
Hoe Diagnostische Performantie van (Laboratorium) Tests Beoordelen

2 Cfr. www.uzleuven.be/lag/ onder ‘Opleiding’

3 Klinische Biologie = ? ‘laboratoriumgeneeskunde’, ‘in vitro diagnostiek’ ‘laboratory medicine’, ‘clinical pathology’, ‘medical biopathology’ Medisch Specialisme: opleidingsduur = 5 j. truncus communis =2 j., hogere opleiding =3 j. omvat hematologie, chemie, microbiologie

4 Klinische Biologie = ? volgens Belgisch Staatsblad dd. 7-9-1984:
het geheel van de kennis van laboratorium technieken die ter beschikking van de geneesheer staan, zowel op het gebied van de profylaxe, als op dat van de pathologie, om de diagnose te stellen, een balans op te maken van de werking van een orgaan of de uitslag van een behandeling te beoordelen

5 Ontwikkeling van Laboratoriumgeneeskunde
Positief, nl. onmisbaar in medische praktijk voor: ziekte (predispositie) opsporing voor diagnose, differentiele diagnose voor patient opvolging Negatief: neiging voorbijgaan aan klinisch onderzoek, reeds bestaande gegevens onoordeelkundig gebruik leidt tot irrelevante test aanvragen, onnodig verhoogde kosten, data overload, nutteloze en zelfs mogelijks schadelijke bijkomende onderzoeken en verontrusten van de patient

6 RATIONEEL GEBRUIK, KOSTENBEHEERSING BERUSTEN PRIMAIR OP AANVRAGERS VAN LABTESTS

7 Evidence-Based Medicine
Vereist KWANTITATIEVE gegevens omtrent: Ziekte frequentie (ziekte prevalentie) Diagnostische (on)zekerheid (pre-test en post-test probabiliteit of odds) Performantie van diagnostische tests (LR, gevoeligheid, specificiteit, voorspellende waarde, ROC) Effect van behandeling Effect op patient ‘outcome’

8 LEER DOELEN Diagnose = ? onzekerheid uitgedrukt in probabiliteit of odds pre-test probabiliteit, odds -> post-test probabiliteit, odds diagnostische test performantie Test resultaten vertonen spreiding: frequentieverdeling curven cfr. analytische bron van spreiding cfr. biologische bron van spreiding Het concept referentiewaarden (‘normale waarden) voor test resultaten Het concept Likelihood Ratio Diagnostische gevoeligheid en specificiteit; ROC curven Het concept predictieve waarde Gewenste test eigenschappen voor opsporing, voor confirmatie

9 Diagnose = verminderen van onzekerheid
pre-test p post-test p patient, na anamnese, KO individu gericht screening bijkomende onderzoeken lab andere revisie van p test resultaten

10 Hoe onzekerheid kwantitatief weergeven?
probabiliteit (kans, waarschijnlijkheid) uitgedrukt als fractie van totaal aantal mogelijkheden: “de kansen voor een bepaalde uitkomst gedeeld door het totaal aantal kansen” odds: uitgedrukt als verhouding van 1 welbepaald type over alle andere, resterende mogelijkheden

11 Hoe onzekerheid kwantitatief weergeven?
1 9 probabiliteit (p): 1/10 = 0,1 odds: 1/9 odds = p/(1-p) p = odds/(1+odds)

12 Diagnose van wat? ‘normaal’ versus ‘ziek’?
differentieel diagnose: WELKE ziekte? EBM terminologie: ‘TARGET CONDITION’: a particular disease, a disease stage, a health status, any other identifiable condition within a patient, such as staging a disease already known to be present, a health condition that should prompt clinical action such as the initiation, modification or termination of treatment.

13 Diagnose in EBM terminologie
= Onderscheid maken tussen AAN-wezigheid van target conditie (T+) versus AF-wezigheid van target conditie (T-) = Revisie, op basis van test resultaat, van pre-test p(T+) tot post-test p(T+)

14 Diagnostische performantie van een (lab) test
test resultaat pre-test p post-test p revisie mate waarin test resultaat toelaat probabiliteit/odds voor target conditie te wijzigen

15 Hoe op basis van test resultaat de pre-test probabiliteit/odds wijzigen? (1)
Basis: test resultaat gevonden ingeval van T+ verschilt van test resultaat gevonden ingeval van T- aantal T+ personen test resultaat aantal T- personen

16 Spreiding in de test resultaten bij zowel T+ als T- personen!! (1)
test resultaat aantal T+ personen aantal T- personen frequentieverdeling curven! spreiding

17 Spreiding in de test resultaten bij zowel T+ als T- personen!! (2)
test resultaat aantal T+ personen aantal T- personen Overlap!!

18 Hoe op basis van test resultaat de pre-test probabiliteit/odds wijzigen? (2)
test resultaat gevonden ingeval van T+ verschilt van test resultaat gevonden ingeval van T- Basis: frequentie waarmede een welbepaald test resultaat gevonden wordt ingeval van T+ verschilt van frequentie waarmede ditzelfde test resultaat gevonden wordt ingeval van T-

19 Test resultaten vertonen spreiding: frequentieverdeling curven
LEER DOELEN Diagnose = ? onzekerheid reduceren diagnostische test performantie Test resultaten vertonen spreiding: frequentieverdeling curven cfr. analytische bron van spreiding cfr. biologische bron van spreiding

20 Bronnen van SPREIDING in de test resultaten
Meerdere metingen op EENZELFDE monster leveren verschillende resultaten op: ANALYTISCHE bron van spreiding Cfr. Belang van meetmethode standardizatie! Cfr. Begrippen analytische juistheid en imprecisie

21 Analytische bronnen van spreiding
Precisie: mate van reproduceerbaarheid van meetresultaat ingeval van herhaalde metingen op eenzelfde monster Juistheid: mate waarin het gemiddelde van herhaalde metingen de juiste waarde benadert Nauwkeurigheid: mate waarin het resultaat van een enkelvoudige meting de juiste waarde benadert

22 Analytische variatie niet juist wel meer precies
niet precies wel juist(er)

23 Bronnen van spreiding in de test resultaten
Analytische spreiding Biologische spreidingsbronnen INTRA-individuele spreiding: = spreiding in test resultaten bekomen bij enkelvoudige meting op meerdere individuele monsters van eenzelfde persoon INTER-individuele spreiding: = spreiding in test resultaten bekomen bij enkelvoudige meting op individuele monsters van verschillende personen Biologische spreiding aanwezig zowel bij gezonden als bij zieken Biologische spreiding includeert de analytische spreiding Naarmate de biologische spreiding kleiner is moet ook de analytische spreiding kleiner gehouden worden!

24 Biologische spreiding (1)
Oorzaken van intra-individuele spreiding Dag/nacht ritme Seizoen variaties Menstruele cyclus, zwangerschap Groei, ontwikkeling, veroudering Effecten van voeding Effecten van houding, immobilisatie, inspanning Belang van pre-analytische standardizatie, keuze gepaste referentiewaarden

25 Intra-individuele biologische, fysiologische spreiding (CVi) voor frequent gebruikte labtests
1SD as % of mean ALT 28 osmo 1,3 AST 13 totaal eiwit 3 CK 20 totaal cholesterol 6 ALP 7,5 HDL cholesterol 8,5 AMY 7,9 Triglyceriden 21,3 GGT 15 urinezuur 8,2 Albumine 3,2 ureum 12,7 Totaal Ca 2 fosfaat K 4,3 Totaal bilirubine Na 0,8 glucose 7,6 Cl Fe 23

26 Intra-individuele biologische, fysiologische spreiding voor totaal cholesterol
CVi= 6,7% d.w.z. 1SD = 6,7 mg/dL ingeval mean = 100 mg/dL Homeostatisch setpoint (mean), mg/dL 95% confidentie interval (mean -/+2SD) 140 160 180 200 220 240 260 280 300

27 Biologische spreiding (2)
Oorzaken van inter-individuele spreiding geslacht leeftijd bloedgroep ras lichaamsgrootte, spiermassa Belang van keuze gepaste referentiegroep voor referentiewaarden

28 Testresultaat verdeling curve t. g. v
Testresultaat verdeling curve t.g.v. biologische en analytische variatie bij fysiologische homeostasis

29 LEER DOELEN Diagnose = ? onzekerheid reduceren
diagnostische test performantie Test resultaten vertonen spreiding: frequentieverdeling curven Cfr. analytische en biologische bronnen Het concept referentiewaarden

30 Berekening van referentie waarden
1. Bepaling d.m.v. parametrische statistiek ‘Parametrisch’: berust op veronderstelling dat de frequentieverdeling curve een welbepaalde vorm heeft, bv. een standaardnormale, zgn ‘Gaussiaanse’ vorm (al of niet na transformatie van de test resultaten Referentiewaarden berekend als 95% confidentie interval, begrensd door gemiddelde minus 2SD (genoemd LLN, lower Limit of Normal) en gemiddelde plus 2SD (genoemd ULN, Upper Limit of Normal). De gegevens voor de berekening worden bekomen door een steekproef uit de referentie populatie 5% van de personen in de referentie groep hebben test resultaten buiten het referentie interval!! 2,5%<LLN 2,5%>ULN

31 Testresultaat verdeling curve bij fysiologische homeostasis: REFERENTIEWAARDEN concept

32 Berekening van referentie waarden
2. Bepaling d.m.v. niet-parametrische statistiek, bv percentiel waarden ‘Niet-parametrisch’: er wordt GEEN veronderstelling gemaakt over de vorm van de frequentieverdeling curve Rangschik in stijgende volgorde de test resultaten bekomen in steekproef uit ‘normale’ populatie (referentiegroep) Bereken voor elke testwaarde het % individuen met testwaarden <of = de testwaarde Voor elke testwaarde, uitgezet in de X-as, wordt het corresponderende % uitgezet in de Y-as: zo bekomt men een cumulatieve frequentiecurve

33 Percentiel methode voor bepaling van referentiewaarden

34 Referentiewaarden: samenvatting
Er is spreiding in test resultaten, t.g.v. analytische en biologische bronnen, bij gezonde personen en zeker ook bij patienten -> frequentieverdeling curven Referentiewaarden (‘normale’ waarden) operationeel gedefinieerd als 95% referentie interval Meestal berekend met parametrische methode als 95% CI Misleiding door ‘abnormale’ waarden ‘normale waarden’ sluiten per definitie 5% gezonden uit bij tegelijk uitvoeren van meerdere (n) onafhankelijke tests stijgt aantal ‘abnormale’ resultaten: kans = 1.0 – 0.95n Bij n=4, dan 19% kans op ‘abnormaal’ resultaat Bij n=8, dan 34% kans op ‘abnormaal’ resultaat Bij n=12, dan 46% kans op ‘abnormaal’ resultaat

35 Het concept Likelihood Ratio
LEER DOELEN Diagnose = ? onzekerheid reduceren diagnostische test performantie Test resultaten vertonen spreiding: frequentieverdeling curven Cfr. analytische en biologische bronnen Het concept referentiewaarden Het concept Likelihood Ratio

36 Hoe op basis van test resultaat de pre-test probabiliteit/odds wijzigen?
test resultaat gevonden ingeval van T+ verschilt van test resultaat gevonden ingeval van T- Basis: frequentie waarmede een welbepaald test resultaat gevonden wordt ingeval van T+ verschilt van frequentie waarmede ditzelfde test resultaat gevonden wordt ingeval van T-

37 Likelihood Ratio (LR) Is een directe maatstaf van de diagnostische test performantie Toont voor elke meetwaarde, of groep van meetwaarden, volgende verhouding: frequentie van T+ personen/frequentie van T- personen Belangrijke voorwaarde: geteste populatie bevat evenveel T+ als T- m.a.w. p(T+)=p(T-)=0,5 of odds = 1

38 Likelihood Ratio: LR (1) voor welbepaald testresultaat
LR = (gaussiaanse) hoogte target+ / (gaussiaanse) ` hoogte target- Let erop dat beide (gaussiaanse) verdelingscurven even groot moeten zijn, m.a.w. pre-test odds = 1/1 !!

39 Likelihood Ratio: LR voor een welbepaald testresultaat

40 Likelihood Ratio: LR (2) voor een welbepaald interval

41 Likelihood Ratio: LR (3) voor meerdere intervallen

42 LR curve ingeval van meerdere testresultaat intervallen

43 Dichotome test resultaten
In sommige gevallen wordt de test ‘dichotoom’ gerapporteerd: het resultaat is ‘positief’ of ‘negatief’ Test resultaten gerapporteerd als continue variabele worden dikwijls ‘dichotoom’ geinterpreteerd: nl. transformatie naar ‘positief’ of ‘negatief’ d.m.v. een afkap-waarde

44 Transformatie naar dichotome test resultaten
FN TP TN FP

45 Samenvatting van dichotome test resultaten in ‘2x2 tabel’

46 LR voor dichotome test resultaten
LR+ = TP rate/FP rate (steeds >= 1) beter naarmate dichter bij oneindig!

47 Likelihood Ratios: LR+

48 LR voor dichotome test resultaten
LR- = FN rate / TN rate (steeds <= 1) beter naarmate dichter bij zero!

49 Likelihood Ratios: LR-

50 The easy way: bereken LRs uit kolom percenten!

51 LEER DOELEN Diagnostische gevoeligheid en specificiteit; ROC curven
Diagnose = ? onzekerheid reduceren diagnostische test performantie Test resultaten vertonen spreiding: frequentieverdeling curven Cfr. analytische en biologische bronnen Het concept referentiewaarden Het concept Likelihood Ratio Diagnostische gevoeligheid en specificiteit; ROC curven

52 Diagnostische (klinische) Gevoeligheid/Sensitiviteit (Sn)
Sensitiviteit = TP rate = TP/(TP + FN)

53 Diagnostische (klinische) Specificiteit (Sp)
Specificiteit = TN rate = TN/(TN + FP)

54 Inverse relatie tussen Sensitiviteit en Specificiteit

55 Receiver Operating Characteristic: ROC curve (1)

56 ROC curve (2)

57 ROC curve voor verschillende tests

58 Hoe van pre-test probabiliteit naar post-test probabiliteit d.m.v. LR?

59 Van pre-test naar post-test probabiliteit, via odds en LR (1)

60 Van pre-test naar post-test probabiliteit, via odds en LR (2)

61 Post-test odds = pre-test odds x LR bij testresultaat dichotomie
Post-test odds = c/d = 1/5 x LR = pre-test odds x LR+

62 Post-test odds = pre-test odds x LR bij testresultaat dichotomie
Post-test odds = c/d = 1/5 x LR = pre-test odds x LR-

63 Odds: ‘too odd’ voor de praktijk!!?? Hoe van pre-test p naar post-test p?
Hoe van pre-test p naar pre-test odds? odds = p/(1-p) Hoe van post-test odds naar post-test p? p = odds/(1+odds) Ter hulp: het Fagan nomogram

64 Interpretatie Likelihood Ratios
LR=1 wijst op afwezigheid diagnostische kracht LR+ >10 beschouwd als test resultaat met ‘sterke’ diagnostische kracht voor aantonen van AAN-wezigheid van T+ conditie LR- <0.1 beschouwd als test resultaat met ‘sterke’ diagnostische kracht voor aantonen van AF-wezigheid van T+ conditie

65 50% 92% LR+ = 10 10% 55%

66 Paired forest plots of likelihood ratios: tests of pulmonary embolism
Ruling out Ruling in Tachycardia D-Dimer assay Helical CT 0.05 0.1 0.5 1 2 3 10 20 LR of a negative result LR of a positive test

67 LEER DOELEN Het concept predictieve waarde
Diagnose = ? onzekerheid reduceren diagnostische test performantie Test resultaten vertonen spreiding: frequentieverdeling curven Cfr. analytische en biologische bronnen Het concept referentiewaarden Het concept Likelihood Ratio Diagnostische gevoeligheid en specificiteit; ROC curven Het concept predictieve waarde Gewenste test eigenschappen voor opsporing, voor confirmatie

68 ‘Predictive value’ (PV) concept bij testresultaat dichotomie
PPV = TP/(TP+FP)

69 ‘Predictive value’ (PV) concept bij testresultaat dichotomie
NPV = TN/(TN+FN)

70 En nog meer termen …. Diagnostic Odds Ratio (DOR) = LR+/LR- = (TPxTN)/(FPxFN) Number Needed To Diagnose = 1/{sensitivity – (1- specificity)} = 1/{TP rate – FP rate)}

71 Diagnostic performance measures: practical applications (BMJ, vol 329, 17 July 2004, p. 168-9)
For discussion about tests, threshold decisions: sensitivity, specificity Screening: hoge sensitiviteit vereist Confirmatie: hoge specificiteit vereist For interpretation of specific result: LR and PPV, NPV As summary measure: DOR, ROCAUC

72

73

74 http://www. ncbi. nlm. nih. gov/books/bv. fcgi. rid=hstat1b. section