De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Evidence Based Laboratory Medicine Hoe Diagnostische Performantie van (Laboratorium) Tests Beoordelen.

Verwante presentaties


Presentatie over: "Evidence Based Laboratory Medicine Hoe Diagnostische Performantie van (Laboratorium) Tests Beoordelen."— Transcript van de presentatie:

1 Evidence Based Laboratory Medicine Hoe Diagnostische Performantie van (Laboratorium) Tests Beoordelen

2 Cfr. onder ‘Opleiding’

3 Klinische Biologie = ? ‘laboratoriumgeneeskunde’, ‘in vitro diagnostiek’ ‘laboratoriumgeneeskunde’, ‘in vitro diagnostiek’ ‘laboratory medicine’, ‘clinical pathology’, ‘medical biopathology’ ‘laboratory medicine’, ‘clinical pathology’, ‘medical biopathology’ Medisch Specialisme: Medisch Specialisme: –opleidingsduur = 5 j. –truncus communis =2 j., hogere opleiding =3 j. –omvat hematologie, chemie, microbiologie

4 Klinische Biologie = ? volgens Belgisch Staatsblad dd : volgens Belgisch Staatsblad dd : –het geheel van de kennis van laboratorium technieken die ter beschikking van de geneesheer staan, –zowel op het gebied van de profylaxe, als op dat van de pathologie, om de diagnose te stellen, de diagnose te stellen, een balans op te maken van de werking van een orgaan een balans op te maken van de werking van een orgaan of de uitslag van een behandeling te beoordelen of de uitslag van een behandeling te beoordelen

5 Ontwikkeling van Laboratoriumgeneeskunde Positief, nl. onmisbaar in medische praktijk voor: Positief, nl. onmisbaar in medische praktijk voor: –ziekte (predispositie) opsporing –voor diagnose, differentiele diagnose –voor patient opvolging Negatief: Negatief: –neiging voorbijgaan aan klinisch onderzoek, reeds bestaande gegevens –onoordeelkundig gebruik leidt tot irrelevante test aanvragen, onnodig verhoogde kosten, data overload, nutteloze en zelfs mogelijks schadelijke bijkomende onderzoeken en verontrusten van de patient

6 RATIONEEL GEBRUIK, KOSTENBEHEERSING BERUSTEN PRIMAIR OP AANVRAGERS VAN LABTESTS

7 Evidence-Based Medicine Vereist KWANTITATIEVE gegevens omtrent: 1.Ziekte frequentie (ziekte prevalentie) 2.Diagnostische (on)zekerheid (pre-test en post-test probabiliteit of odds) 3.Performantie van diagnostische tests (LR, gevoeligheid, specificiteit, voorspellende waarde, ROC) 4.Effect van behandeling 5.Effect op patient ‘outcome’

8 LEER DOELEN Diagnose = ? Diagnose = ? –onzekerheid uitgedrukt in probabiliteit of odds –pre-test probabiliteit, odds -> post-test probabiliteit, odds –diagnostische test performantie Test resultaten vertonen spreiding: frequentieverdeling curven Test resultaten vertonen spreiding: frequentieverdeling curven –cfr. analytische bron van spreiding –cfr. biologische bron van spreiding Het concept referentiewaarden (‘normale waarden) voor test resultaten Het concept referentiewaarden (‘normale waarden) voor test resultaten Het concept Likelihood Ratio Het concept Likelihood Ratio Diagnostische gevoeligheid en specificiteit; ROC curven Diagnostische gevoeligheid en specificiteit; ROC curven Het concept predictieve waarde Het concept predictieve waarde Gewenste test eigenschappen voor opsporing, voor confirmatie Gewenste test eigenschappen voor opsporing, voor confirmatie

9 Diagnose = verminderen van onzekerheid patient, na anamnese, KO individu bijkomende onderzoeken labandere gerichtscreening test resultaten pre-test p post-test p revisie van p

10 Hoe onzekerheid kwantitatief weergeven? probabiliteit (kans, waarschijnlijkheid) uitgedrukt als fractie van totaal aantal mogelijkheden: “de kansen voor een bepaalde uitkomst gedeeld door het totaal aantal kansen” probabiliteit (kans, waarschijnlijkheid) uitgedrukt als fractie van totaal aantal mogelijkheden: “de kansen voor een bepaalde uitkomst gedeeld door het totaal aantal kansen” odds: uitgedrukt als verhouding van 1 welbepaald type over alle andere, resterende mogelijkheden odds: uitgedrukt als verhouding van 1 welbepaald type over alle andere, resterende mogelijkheden

11 Hoe onzekerheid kwantitatief weergeven? probabiliteit (p): 1/10 = 0,1 probabiliteit (p): 1/10 = 0,1 odds: 1/9 odds: 1/9 odds = p/(1-p) odds = p/(1-p) p = odds/(1+odds) p = odds/(1+odds) 1 9

12 Diagnose van wat? ‘normaal’ versus ‘ziek’? ‘normaal’ versus ‘ziek’? differentieel diagnose: WELKE ziekte? differentieel diagnose: WELKE ziekte? EBM terminologie: ‘TARGET CONDITION’: EBM terminologie: ‘TARGET CONDITION’: –a particular disease, –a disease stage, –a health status, –any other identifiable condition within a patient, such as staging a disease already known to be present, –a health condition that should prompt clinical action such as the initiation, modification or termination of treatment.

13 Diagnose in EBM terminologie = Onderscheid maken tussen = Onderscheid maken tussen – AAN-wezigheid van target conditie (T+) versus –AF-wezigheid van target conditie (T-) = Revisie, op basis van test resultaat, van pre-test p(T+) tot post-test p(T+) = Revisie, op basis van test resultaat, van pre-test p(T+) tot post-test p(T+)

14 Diagnostische performantie van een (lab) test test resultaat pre-test p post-test p revisie mate waarin test resultaat toelaat probabiliteit/odds voor target conditie te wijzigen

15 Hoe op basis van test resultaat de pre- test probabiliteit/odds wijzigen? (1) Basis: test resultaat gevonden ingeval van T+ verschilt van test resultaat gevonden ingeval van T- test resultaat aantal T+ personen aantal T- personen

16 Spreiding in de test resultaten bij zowel T+ als T- personen!! (1) test resultaat aantal T+ personen aantal T- personen frequentieverdeling curven! spreiding spreiding

17 Spreiding in de test resultaten bij zowel T+ als T- personen!! (2) test resultaat aantal T+ personen aantal T- personen Overlap!!

18 Hoe op basis van test resultaat de pre- test probabiliteit/odds wijzigen? (2) Basis: test resultaat gevonden ingeval van T+ verschilt van test resultaat gevonden ingeval van T- Basis: frequentie waarmede een welbepaald test resultaat gevonden wordt ingeval van T+ verschilt van frequentie waarmede ditzelfde test resultaat gevonden wordt ingeval van T-

19 LEER DOELEN Diagnose = ? Diagnose = ? –onzekerheid reduceren –diagnostische test performantie Test resultaten vertonen spreiding: frequentieverdeling curven Test resultaten vertonen spreiding: frequentieverdeling curven –cfr. analytische bron van spreiding –cfr. biologische bron van spreiding

20 Bronnen van SPREIDING in de test resultaten Meerdere metingen op EENZELFDE monster leveren verschillende resultaten op: ANALYTISCHE bron van spreiding Meerdere metingen op EENZELFDE monster leveren verschillende resultaten op: ANALYTISCHE bron van spreiding Cfr. Belang van meetmethode standardizatie! Cfr. Belang van meetmethode standardizatie! Cfr. Begrippen analytische juistheid en imprecisie Cfr. Begrippen analytische juistheid en imprecisie

21 Analytische bronnen van spreiding Precisie: mate van reproduceerbaarheid van meetresultaat ingeval van herhaalde metingen op eenzelfde monster Precisie: mate van reproduceerbaarheid van meetresultaat ingeval van herhaalde metingen op eenzelfde monster Juistheid: mate waarin het gemiddelde van herhaalde metingen de juiste waarde benadert Juistheid: mate waarin het gemiddelde van herhaalde metingen de juiste waarde benadert Nauwkeurigheid: mate waarin het resultaat van een enkelvoudige meting de juiste waarde benadert Nauwkeurigheid: mate waarin het resultaat van een enkelvoudige meting de juiste waarde benadert

22 Analytische variatie niet juist wel meer precies niet precies wel juist(er)

23 Bronnen van spreiding in de test resultaten Analytische spreiding Analytische spreiding Biologische spreidingsbronnen Biologische spreidingsbronnen –INTRA-individuele spreiding: = spreiding in test resultaten bekomen bij enkelvoudige meting op meerdere individuele monsters van eenzelfde persoon –INTER-individuele spreiding: = spreiding in test resultaten bekomen bij enkelvoudige meting op individuele monsters van verschillende personen Biologische spreiding aanwezig zowel bij gezonden als bij zieken Biologische spreiding aanwezig zowel bij gezonden als bij zieken Biologische spreiding includeert de analytische spreiding Biologische spreiding includeert de analytische spreiding Naarmate de biologische spreiding kleiner is moet ook de analytische spreiding kleiner gehouden worden! Naarmate de biologische spreiding kleiner is moet ook de analytische spreiding kleiner gehouden worden!

24 Biologische spreiding (1) Oorzaken van intra-individuele spreiding Oorzaken van intra-individuele spreiding –Dag/nacht ritme –Seizoen variaties –Menstruele cyclus, zwangerschap –Groei, ontwikkeling, veroudering –Effecten van voeding –Effecten van houding, immobilisatie, inspanning Belang van pre-analytische standardizatie, keuze gepaste referentiewaarden Belang van pre-analytische standardizatie, keuze gepaste referentiewaarden

25 Intra-individuele biologische, fysiologische spreiding (CVi) voor frequent gebruikte labtests Test 1SD as % of mean Test ALT28osmo1,3 AST13 totaal eiwit 3 CK20 totaal cholesterol 6 ALP7,5 HDL cholesterol 8,5 AMY7,9Triglyceriden21,3 GGT15urinezuur8,2 Albumine3,2ureum12,7 Totaal Ca 2fosfaat7,9 K4,3 Totaal bilirubine 20 Na0,8glucose7,6 Cl1,3Fe23

26 Intra-individuele biologische, fysiologische spreiding voor totaal cholesterol Homeostatisch setpoint (mean), mg/dL 95% confidentie interval (mean -/+2SD) CVi= 6,7% d.w.z. 1SD = 6,7 mg/dL ingeval mean = 100 mg/dL

27 Biologische spreiding (2) Oorzaken van inter-individuele spreiding Oorzaken van inter-individuele spreiding –geslacht –leeftijd –bloedgroep –ras –lichaamsgrootte, spiermassa Belang van keuze gepaste referentiegroep voor referentiewaarden Belang van keuze gepaste referentiegroep voor referentiewaarden

28 Testresultaat verdeling curve t.g.v. biologische en analytische variatie bij fysiologische homeostasis

29 LEER DOELEN Diagnose = ? Diagnose = ? –onzekerheid reduceren –diagnostische test performantie Test resultaten vertonen spreiding: frequentieverdeling curven Test resultaten vertonen spreiding: frequentieverdeling curven Cfr. analytische en biologische bronnen Het concept referentiewaarden Het concept referentiewaarden

30 Berekening van referentie waarden 1. Bepaling d.m.v. parametrische statistiek ‘Parametrisch’: berust op veronderstelling dat de frequentieverdeling curve een welbepaalde vorm heeft, bv. een standaardnormale, zgn ‘Gaussiaanse’ vorm (al of niet na transformatie van de test resultaten ‘Parametrisch’: berust op veronderstelling dat de frequentieverdeling curve een welbepaalde vorm heeft, bv. een standaardnormale, zgn ‘Gaussiaanse’ vorm (al of niet na transformatie van de test resultaten Referentiewaarden berekend als 95% confidentie interval, begrensd door gemiddelde minus 2SD (genoemd LLN, lower Limit of Normal) en gemiddelde plus 2SD (genoemd ULN, Upper Limit of Normal). De gegevens voor de berekening worden bekomen door een steekproef uit de referentie populatie Referentiewaarden berekend als 95% confidentie interval, begrensd door gemiddelde minus 2SD (genoemd LLN, lower Limit of Normal) en gemiddelde plus 2SD (genoemd ULN, Upper Limit of Normal). De gegevens voor de berekening worden bekomen door een steekproef uit de referentie populatie 5% van de personen in de referentie groep hebben test resultaten buiten het referentie interval!! 2,5% ULN 5% van de personen in de referentie groep hebben test resultaten buiten het referentie interval!! 2,5% ULN

31 Testresultaat verdeling curve bij fysiologische homeostasis: REFERENTIEWAARDEN concept

32 Berekening van referentie waarden 2. Bepaling d.m.v. niet-parametrische statistiek, bv percentiel waarden ‘Niet-parametrisch’: er wordt GEEN veronderstelling gemaakt over de vorm van de frequentieverdeling curve ‘Niet-parametrisch’: er wordt GEEN veronderstelling gemaakt over de vorm van de frequentieverdeling curve Rangschik in stijgende volgorde de test resultaten bekomen in steekproef uit ‘normale’ populatie (referentiegroep) Rangschik in stijgende volgorde de test resultaten bekomen in steekproef uit ‘normale’ populatie (referentiegroep) Bereken voor elke testwaarde het % individuen met testwaarden

33 Percentiel methode voor bepaling van referentiewaarden

34 Referentiewaarden: samenvatting Er is spreiding in test resultaten, t.g.v. analytische en biologische bronnen, bij gezonde personen en zeker ook bij patienten -> frequentieverdeling curven Er is spreiding in test resultaten, t.g.v. analytische en biologische bronnen, bij gezonde personen en zeker ook bij patienten -> frequentieverdeling curven Referentiewaarden (‘normale’ waarden) Referentiewaarden (‘normale’ waarden) –operationeel gedefinieerd als 95% referentie interval –Meestal berekend met parametrische methode als 95% CI Misleiding door ‘abnormale’ waarden Misleiding door ‘abnormale’ waarden –‘normale waarden’ sluiten per definitie 5% gezonden uit –bij tegelijk uitvoeren van meerdere (n) onafhankelijke tests stijgt aantal ‘abnormale’ resultaten: kans = 1.0 – 0.95 n Bij n=4, dan 19% kans op ‘abnormaal’ resultaat Bij n=4, dan 19% kans op ‘abnormaal’ resultaat Bij n=8, dan 34% kans op ‘abnormaal’ resultaat Bij n=8, dan 34% kans op ‘abnormaal’ resultaat Bij n=12, dan 46% kans op ‘abnormaal’ resultaat Bij n=12, dan 46% kans op ‘abnormaal’ resultaat

35 LEER DOELEN Diagnose = ? Diagnose = ? –onzekerheid reduceren –diagnostische test performantie Test resultaten vertonen spreiding: frequentieverdeling curven Test resultaten vertonen spreiding: frequentieverdeling curven Cfr. analytische en biologische bronnen Het concept referentiewaarden Het concept referentiewaarden Het concept Likelihood Ratio Het concept Likelihood Ratio

36 Hoe op basis van test resultaat de pre- test probabiliteit/odds wijzigen? Basis: test resultaat gevonden ingeval van T+ verschilt van test resultaat gevonden ingeval van T- Basis: frequentie waarmede een welbepaald test resultaat gevonden wordt ingeval van T+ verschilt van frequentie waarmede ditzelfde test resultaat gevonden wordt ingeval van T-

37 Likelihood Ratio (LR) Is een directe maatstaf van de diagnostische test performantie Is een directe maatstaf van de diagnostische test performantie Toont voor elke meetwaarde, of groep van meetwaarden, volgende verhouding: frequentie van T+ personen/frequentie van T- personen Toont voor elke meetwaarde, of groep van meetwaarden, volgende verhouding: frequentie van T+ personen/frequentie van T- personen Belangrijke voorwaarde: geteste populatie bevat evenveel T+ als T- m.a.w. p(T+)=p(T-)=0,5 of odds = 1 Belangrijke voorwaarde: geteste populatie bevat evenveel T+ als T- m.a.w. p(T+)=p(T-)=0,5 of odds = 1

38 Likelihood Ratio: LR (1) voor welbepaald testresultaat LR = (gaussiaanse) hoogte target+ / (gaussiaanse) ` hoogte target- LR = (gaussiaanse) hoogte target+ / (gaussiaanse) ` hoogte target- Let erop dat beide (gaussiaanse) verdelingscurven even groot moeten zijn, m.a.w. pre-test odds = 1/1 !! Let erop dat beide (gaussiaanse) verdelingscurven even groot moeten zijn, m.a.w. pre-test odds = 1/1 !!

39 Likelihood Ratio: LR voor een welbepaald testresultaat

40 Likelihood Ratio: LR (2) voor een welbepaald interval

41 Likelihood Ratio: LR (3) voor meerdere intervallen

42 LR curve ingeval van meerdere testresultaat intervallen

43 Dichotome test resultaten In sommige gevallen wordt de test ‘dichotoom’ gerapporteerd: het resultaat is ‘positief’ of ‘negatief’ In sommige gevallen wordt de test ‘dichotoom’ gerapporteerd: het resultaat is ‘positief’ of ‘negatief’ Test resultaten gerapporteerd als continue variabele worden dikwijls ‘dichotoom’ geinterpreteerd: nl. transformatie naar ‘positief’ of ‘negatief’ d.m.v. een afkap-waarde Test resultaten gerapporteerd als continue variabele worden dikwijls ‘dichotoom’ geinterpreteerd: nl. transformatie naar ‘positief’ of ‘negatief’ d.m.v. een afkap-waarde

44 Transformatie naar dichotome test resultaten FNTP FP TN

45 Samenvatting van dichotome test resultaten in ‘2x2 tabel’

46 LR voor dichotome test resultaten LR+ = TP rate/FP rate(steeds >= 1) beter naarmate dichter bij oneindig! LR+ = TP rate/FP rate(steeds >= 1) beter naarmate dichter bij oneindig!

47 Likelihood Ratios: LR+

48 LR voor dichotome test resultaten LR- = FN rate / TN rate(steeds <= 1) beter naarmate dichter bij zero! LR- = FN rate / TN rate(steeds <= 1) beter naarmate dichter bij zero!

49 Likelihood Ratios: LR-

50 The easy way: bereken LRs uit kolom percenten!

51 LEER DOELEN Diagnose = ? Diagnose = ? –onzekerheid reduceren –diagnostische test performantie Test resultaten vertonen spreiding: frequentieverdeling curven Test resultaten vertonen spreiding: frequentieverdeling curven Cfr. analytische en biologische bronnen Het concept referentiewaarden Het concept referentiewaarden Het concept Likelihood Ratio Het concept Likelihood Ratio Diagnostische gevoeligheid en specificiteit; ROC curven Diagnostische gevoeligheid en specificiteit; ROC curven

52 Diagnostische (klinische) Gevoeligheid/Sensitiviteit (Sn) Sensitiviteit = TP rate = TP/(TP + FN) Sensitiviteit = TP rate = TP/(TP + FN)

53 Diagnostische (klinische) Specificiteit (Sp) Specificiteit = TN rate = TN/(TN + FP) Specificiteit = TN rate = TN/(TN + FP)

54 Inverse relatie tussen Sensitiviteit en Specificiteit

55 Receiver Operating Characteristic: ROC curve (1)

56 ROC curve (2)

57 ROC curve voor verschillende tests

58 Hoe van pre-test probabiliteit naar post-test probabiliteit d.m.v. LR?

59 Van pre-test naar post-test probabiliteit, via odds en LR (1)

60 Van pre-test naar post-test probabiliteit, via odds en LR (2)

61 Post-test odds = pre-test odds x LR bij testresultaat dichotomie Post-test odds = c/d = 1/5 x LR+ = pre-test odds x LR+ Post-test odds = c/d = 1/5 x LR+ = pre-test odds x LR+

62 Post-test odds = pre-test odds x LR bij testresultaat dichotomie Post-test odds = c/d = 1/5 x LR- = pre-test odds x LR- Post-test odds = c/d = 1/5 x LR- = pre-test odds x LR-

63 Odds: ‘too odd’ voor de praktijk!!?? Hoe van pre-test p naar post-test p? Hoe van pre-test p naar pre-test odds? odds = p/(1-p) Hoe van pre-test p naar pre-test odds? odds = p/(1-p) Hoe van post-test odds naar post-test p? p = odds/(1+odds) Hoe van post-test odds naar post-test p? p = odds/(1+odds) Ter hulp: het Fagan nomogram Ter hulp: het Fagan nomogram

64 Interpretatie Likelihood Ratios LR=1 wijst op afwezigheid diagnostische kracht LR=1 wijst op afwezigheid diagnostische kracht LR+ >10 beschouwd als test resultaat met ‘sterke’ diagnostische kracht voor aantonen van AAN- wezigheid van T+ conditie LR+ >10 beschouwd als test resultaat met ‘sterke’ diagnostische kracht voor aantonen van AAN- wezigheid van T+ conditie LR- <0.1 beschouwd als test resultaat met ‘sterke’ diagnostische kracht voor aantonen van AF-wezigheid van T+ conditie LR- <0.1 beschouwd als test resultaat met ‘sterke’ diagnostische kracht voor aantonen van AF-wezigheid van T+ conditie

65 50% 92% LR+ = 10 10% 55%

66 D-Dimer assay Helical CT Tachycardia LR of a negative result Ruling outRuling in LR of a positive test Paired forest plots of likelihood ratios: tests of pulmonary embolism

67 LEER DOELEN Diagnose = ? Diagnose = ? –onzekerheid reduceren –diagnostische test performantie Test resultaten vertonen spreiding: frequentieverdeling curven Test resultaten vertonen spreiding: frequentieverdeling curven Cfr. analytische en biologische bronnen Het concept referentiewaarden Het concept referentiewaarden Het concept Likelihood Ratio Het concept Likelihood Ratio Diagnostische gevoeligheid en specificiteit; ROC curven Diagnostische gevoeligheid en specificiteit; ROC curven Het concept predictieve waarde Het concept predictieve waarde Gewenste test eigenschappen voor opsporing, voor confirmatie Gewenste test eigenschappen voor opsporing, voor confirmatie

68 ‘Predictive value’ (PV) concept bij testresultaat dichotomie PPV = TP/(TP+FP) PPV = TP/(TP+FP)

69 ‘Predictive value’ (PV) concept bij testresultaat dichotomie NPV = TN/(TN+FN) NPV = TN/(TN+FN)

70 En nog meer termen …. Diagnostic Odds Ratio (DOR) = LR+/LR- = (TPxTN)/(FPxFN) Diagnostic Odds Ratio (DOR) = LR+/LR- = (TPxTN)/(FPxFN) Number Needed To Diagnose = 1/{sensitivity – (1- specificity)} = 1/{TP rate – FP rate)} Number Needed To Diagnose = 1/{sensitivity – (1- specificity)} = 1/{TP rate – FP rate)}

71 Diagnostic performance measures: practical applications (BMJ, vol 329, 17 July 2004, p ) For discussion about tests, threshold decisions: sensitivity, specificity For discussion about tests, threshold decisions: sensitivity, specificity –Screening: hoge sensitiviteit vereist –Confirmatie: hoge specificiteit vereist For interpretation of specific result: LR and PPV, NPV For interpretation of specific result: LR and PPV, NPV As summary measure: DOR, ROC AUC As summary measure: DOR, ROC AUC

72

73

74 ection.65247


Download ppt "Evidence Based Laboratory Medicine Hoe Diagnostische Performantie van (Laboratorium) Tests Beoordelen."

Verwante presentaties


Ads door Google