Evidence Based Laboratory Medicine Hoe Diagnostische Performantie van (Laboratorium) Tests Beoordelen

Cfr. www.uzleuven.be/lag/ onder ‘Opleiding’

Klinische Biologie = ? ‘laboratoriumgeneeskunde’, ‘in vitro diagnostiek’ ‘laboratory medicine’, ‘clinical pathology’, ‘medical biopathology’ Medisch Specialisme: opleidingsduur = 5 j. truncus communis =2 j., hogere opleiding =3 j. omvat hematologie, chemie, microbiologie

Klinische Biologie = ? volgens Belgisch Staatsblad dd. 7-9-1984: het geheel van de kennis van laboratorium technieken die ter beschikking van de geneesheer staan, zowel op het gebied van de profylaxe, als op dat van de pathologie, om de diagnose te stellen, een balans op te maken van de werking van een orgaan of de uitslag van een behandeling te beoordelen

Ontwikkeling van Laboratoriumgeneeskunde Positief, nl. onmisbaar in medische praktijk voor: ziekte (predispositie) opsporing voor diagnose, differentiele diagnose voor patient opvolging Negatief: neiging voorbijgaan aan klinisch onderzoek, reeds bestaande gegevens onoordeelkundig gebruik leidt tot irrelevante test aanvragen, onnodig verhoogde kosten, data overload, nutteloze en zelfs mogelijks schadelijke bijkomende onderzoeken en verontrusten van de patient

RATIONEEL GEBRUIK, KOSTENBEHEERSING BERUSTEN PRIMAIR OP AANVRAGERS VAN LABTESTS

Evidence-Based Medicine Vereist KWANTITATIEVE gegevens omtrent: Ziekte frequentie (ziekte prevalentie) Diagnostische (on)zekerheid (pre-test en post-test probabiliteit of odds) Performantie van diagnostische tests (LR, gevoeligheid, specificiteit, voorspellende waarde, ROC) Effect van behandeling Effect op patient ‘outcome’

LEER DOELEN Diagnose = ? onzekerheid uitgedrukt in probabiliteit of odds pre-test probabiliteit, odds -> post-test probabiliteit, odds diagnostische test performantie Test resultaten vertonen spreiding: frequentieverdeling curven cfr. analytische bron van spreiding cfr. biologische bron van spreiding Het concept referentiewaarden (‘normale waarden) voor test resultaten Het concept Likelihood Ratio Diagnostische gevoeligheid en specificiteit; ROC curven Het concept predictieve waarde Gewenste test eigenschappen voor opsporing, voor confirmatie

Diagnose = verminderen van onzekerheid pre-test p post-test p patient, na anamnese, KO individu gericht screening bijkomende onderzoeken lab andere revisie van p test resultaten

Hoe onzekerheid kwantitatief weergeven? probabiliteit (kans, waarschijnlijkheid) uitgedrukt als fractie van totaal aantal mogelijkheden: “de kansen voor een bepaalde uitkomst gedeeld door het totaal aantal kansen” odds: uitgedrukt als verhouding van 1 welbepaald type over alle andere, resterende mogelijkheden

Hoe onzekerheid kwantitatief weergeven? 1 9 probabiliteit (p): 1/10 = 0,1 odds: 1/9 odds = p/(1-p) p = odds/(1+odds)

Diagnose van wat? ‘normaal’ versus ‘ziek’? differentieel diagnose: WELKE ziekte? EBM terminologie: ‘TARGET CONDITION’: a particular disease, a disease stage, a health status, any other identifiable condition within a patient, such as staging a disease already known to be present, a health condition that should prompt clinical action such as the initiation, modification or termination of treatment.

Diagnose in EBM terminologie = Onderscheid maken tussen AAN-wezigheid van target conditie (T+) versus AF-wezigheid van target conditie (T-) = Revisie, op basis van test resultaat, van pre-test p(T+) tot post-test p(T+)

Diagnostische performantie van een (lab) test test resultaat pre-test p post-test p revisie mate waarin test resultaat toelaat probabiliteit/odds voor target conditie te wijzigen

Hoe op basis van test resultaat de pre-test probabiliteit/odds wijzigen? (1) Basis: test resultaat gevonden ingeval van T+ verschilt van test resultaat gevonden ingeval van T- aantal T+ personen test resultaat aantal T- personen

Spreiding in de test resultaten bij zowel T+ als T- personen!! (1) test resultaat aantal T+ personen aantal T- personen frequentieverdeling curven! spreiding

Spreiding in de test resultaten bij zowel T+ als T- personen!! (2) test resultaat aantal T+ personen aantal T- personen Overlap!!

Hoe op basis van test resultaat de pre-test probabiliteit/odds wijzigen? (2) test resultaat gevonden ingeval van T+ verschilt van test resultaat gevonden ingeval van T- Basis: frequentie waarmede een welbepaald test resultaat gevonden wordt ingeval van T+ verschilt van frequentie waarmede ditzelfde test resultaat gevonden wordt ingeval van T-

Test resultaten vertonen spreiding: frequentieverdeling curven LEER DOELEN Diagnose = ? onzekerheid reduceren diagnostische test performantie Test resultaten vertonen spreiding: frequentieverdeling curven cfr. analytische bron van spreiding cfr. biologische bron van spreiding

Bronnen van SPREIDING in de test resultaten Meerdere metingen op EENZELFDE monster leveren verschillende resultaten op: ANALYTISCHE bron van spreiding Cfr. Belang van meetmethode standardizatie! Cfr. Begrippen analytische juistheid en imprecisie

Analytische bronnen van spreiding Precisie: mate van reproduceerbaarheid van meetresultaat ingeval van herhaalde metingen op eenzelfde monster Juistheid: mate waarin het gemiddelde van herhaalde metingen de juiste waarde benadert Nauwkeurigheid: mate waarin het resultaat van een enkelvoudige meting de juiste waarde benadert

Analytische variatie niet juist wel meer precies niet precies wel juist(er)

Bronnen van spreiding in de test resultaten Analytische spreiding Biologische spreidingsbronnen INTRA-individuele spreiding: = spreiding in test resultaten bekomen bij enkelvoudige meting op meerdere individuele monsters van eenzelfde persoon INTER-individuele spreiding: = spreiding in test resultaten bekomen bij enkelvoudige meting op individuele monsters van verschillende personen Biologische spreiding aanwezig zowel bij gezonden als bij zieken Biologische spreiding includeert de analytische spreiding Naarmate de biologische spreiding kleiner is moet ook de analytische spreiding kleiner gehouden worden!

Biologische spreiding (1) Oorzaken van intra-individuele spreiding Dag/nacht ritme Seizoen variaties Menstruele cyclus, zwangerschap Groei, ontwikkeling, veroudering Effecten van voeding Effecten van houding, immobilisatie, inspanning Belang van pre-analytische standardizatie, keuze gepaste referentiewaarden

Intra-individuele biologische, fysiologische spreiding (CVi) voor frequent gebruikte labtests 1SD as % of mean ALT 28 osmo 1,3 AST 13 totaal eiwit 3 CK 20 totaal cholesterol 6 ALP 7,5 HDL cholesterol 8,5 AMY 7,9 Triglyceriden 21,3 GGT 15 urinezuur 8,2 Albumine 3,2 ureum 12,7 Totaal Ca 2 fosfaat K 4,3 Totaal bilirubine Na 0,8 glucose 7,6 Cl Fe 23

Intra-individuele biologische, fysiologische spreiding voor totaal cholesterol CVi= 6,7% d.w.z. 1SD = 6,7 mg/dL ingeval mean = 100 mg/dL Homeostatisch setpoint (mean), mg/dL 95% confidentie interval (mean -/+2SD) 140 121 - 159 160 139 - 181 180 156 - 204 200 173 - 227 220 191 - 249 240 208 - 272 260 225 - 295 280 242 - 318 300 260 - 340

Biologische spreiding (2) Oorzaken van inter-individuele spreiding geslacht leeftijd bloedgroep ras lichaamsgrootte, spiermassa Belang van keuze gepaste referentiegroep voor referentiewaarden

Testresultaat verdeling curve t. g. v Testresultaat verdeling curve t.g.v. biologische en analytische variatie bij fysiologische homeostasis

LEER DOELEN Diagnose = ? onzekerheid reduceren diagnostische test performantie Test resultaten vertonen spreiding: frequentieverdeling curven Cfr. analytische en biologische bronnen Het concept referentiewaarden

Berekening van referentie waarden 1. Bepaling d.m.v. parametrische statistiek ‘Parametrisch’: berust op veronderstelling dat de frequentieverdeling curve een welbepaalde vorm heeft, bv. een standaardnormale, zgn ‘Gaussiaanse’ vorm (al of niet na transformatie van de test resultaten Referentiewaarden berekend als 95% confidentie interval, begrensd door gemiddelde minus 2SD (genoemd LLN, lower Limit of Normal) en gemiddelde plus 2SD (genoemd ULN, Upper Limit of Normal). De gegevens voor de berekening worden bekomen door een steekproef uit de referentie populatie 5% van de personen in de referentie groep hebben test resultaten buiten het referentie interval!! 2,5%<LLN 2,5%>ULN

Testresultaat verdeling curve bij fysiologische homeostasis: REFERENTIEWAARDEN concept

Berekening van referentie waarden 2. Bepaling d.m.v. niet-parametrische statistiek, bv percentiel waarden ‘Niet-parametrisch’: er wordt GEEN veronderstelling gemaakt over de vorm van de frequentieverdeling curve Rangschik in stijgende volgorde de test resultaten bekomen in steekproef uit ‘normale’ populatie (referentiegroep) Bereken voor elke testwaarde het % individuen met testwaarden <of = de testwaarde Voor elke testwaarde, uitgezet in de X-as, wordt het corresponderende % uitgezet in de Y-as: zo bekomt men een cumulatieve frequentiecurve

Percentiel methode voor bepaling van referentiewaarden

Referentiewaarden: samenvatting Er is spreiding in test resultaten, t.g.v. analytische en biologische bronnen, bij gezonde personen en zeker ook bij patienten -> frequentieverdeling curven Referentiewaarden (‘normale’ waarden) operationeel gedefinieerd als 95% referentie interval Meestal berekend met parametrische methode als 95% CI Misleiding door ‘abnormale’ waarden ‘normale waarden’ sluiten per definitie 5% gezonden uit bij tegelijk uitvoeren van meerdere (n) onafhankelijke tests stijgt aantal ‘abnormale’ resultaten: kans = 1.0 – 0.95n Bij n=4, dan 19% kans op ‘abnormaal’ resultaat Bij n=8, dan 34% kans op ‘abnormaal’ resultaat Bij n=12, dan 46% kans op ‘abnormaal’ resultaat

Het concept Likelihood Ratio LEER DOELEN Diagnose = ? onzekerheid reduceren diagnostische test performantie Test resultaten vertonen spreiding: frequentieverdeling curven Cfr. analytische en biologische bronnen Het concept referentiewaarden Het concept Likelihood Ratio

Hoe op basis van test resultaat de pre-test probabiliteit/odds wijzigen? test resultaat gevonden ingeval van T+ verschilt van test resultaat gevonden ingeval van T- Basis: frequentie waarmede een welbepaald test resultaat gevonden wordt ingeval van T+ verschilt van frequentie waarmede ditzelfde test resultaat gevonden wordt ingeval van T-

Likelihood Ratio (LR) Is een directe maatstaf van de diagnostische test performantie Toont voor elke meetwaarde, of groep van meetwaarden, volgende verhouding: frequentie van T+ personen/frequentie van T- personen Belangrijke voorwaarde: geteste populatie bevat evenveel T+ als T- m.a.w. p(T+)=p(T-)=0,5 of odds = 1

Likelihood Ratio: LR (1) voor welbepaald testresultaat LR = (gaussiaanse) hoogte target+ / (gaussiaanse) ` hoogte target- Let erop dat beide (gaussiaanse) verdelingscurven even groot moeten zijn, m.a.w. pre-test odds = 1/1 !!

Likelihood Ratio: LR voor een welbepaald testresultaat

Likelihood Ratio: LR (2) voor een welbepaald interval

Likelihood Ratio: LR (3) voor meerdere intervallen

LR curve ingeval van meerdere testresultaat intervallen

Dichotome test resultaten In sommige gevallen wordt de test ‘dichotoom’ gerapporteerd: het resultaat is ‘positief’ of ‘negatief’ Test resultaten gerapporteerd als continue variabele worden dikwijls ‘dichotoom’ geinterpreteerd: nl. transformatie naar ‘positief’ of ‘negatief’ d.m.v. een afkap-waarde

Transformatie naar dichotome test resultaten FN TP TN FP

Samenvatting van dichotome test resultaten in ‘2x2 tabel’

LR voor dichotome test resultaten LR+ = TP rate/FP rate (steeds >= 1) beter naarmate dichter bij oneindig!

Likelihood Ratios: LR+

LR voor dichotome test resultaten LR- = FN rate / TN rate (steeds <= 1) beter naarmate dichter bij zero!

Likelihood Ratios: LR-

The easy way: bereken LRs uit kolom percenten!

LEER DOELEN Diagnostische gevoeligheid en specificiteit; ROC curven Diagnose = ? onzekerheid reduceren diagnostische test performantie Test resultaten vertonen spreiding: frequentieverdeling curven Cfr. analytische en biologische bronnen Het concept referentiewaarden Het concept Likelihood Ratio Diagnostische gevoeligheid en specificiteit; ROC curven

Diagnostische (klinische) Gevoeligheid/Sensitiviteit (Sn) Sensitiviteit = TP rate = TP/(TP + FN)

Diagnostische (klinische) Specificiteit (Sp) Specificiteit = TN rate = TN/(TN + FP)

Inverse relatie tussen Sensitiviteit en Specificiteit

Receiver Operating Characteristic: ROC curve (1)

ROC curve (2)

ROC curve voor verschillende tests

Hoe van pre-test probabiliteit naar post-test probabiliteit d.m.v. LR?

Van pre-test naar post-test probabiliteit, via odds en LR (1)

Van pre-test naar post-test probabiliteit, via odds en LR (2)

Post-test odds = pre-test odds x LR bij testresultaat dichotomie Post-test odds = c/d = 1/5 x LR+ = pre-test odds x LR+

Post-test odds = pre-test odds x LR bij testresultaat dichotomie Post-test odds = c/d = 1/5 x LR- = pre-test odds x LR-

Odds: ‘too odd’ voor de praktijk!!?? Hoe van pre-test p naar post-test p? Hoe van pre-test p naar pre-test odds? odds = p/(1-p) Hoe van post-test odds naar post-test p? p = odds/(1+odds) Ter hulp: het Fagan nomogram

Interpretatie Likelihood Ratios LR=1 wijst op afwezigheid diagnostische kracht LR+ >10 beschouwd als test resultaat met ‘sterke’ diagnostische kracht voor aantonen van AAN-wezigheid van T+ conditie LR- <0.1 beschouwd als test resultaat met ‘sterke’ diagnostische kracht voor aantonen van AF-wezigheid van T+ conditie

50% 92% LR+ = 10 10% 55%

Paired forest plots of likelihood ratios: tests of pulmonary embolism Ruling out Ruling in Tachycardia D-Dimer assay Helical CT 0.05 0.1 0.5 1 2 3 10 20 LR of a negative result LR of a positive test

LEER DOELEN Het concept predictieve waarde Diagnose = ? onzekerheid reduceren diagnostische test performantie Test resultaten vertonen spreiding: frequentieverdeling curven Cfr. analytische en biologische bronnen Het concept referentiewaarden Het concept Likelihood Ratio Diagnostische gevoeligheid en specificiteit; ROC curven Het concept predictieve waarde Gewenste test eigenschappen voor opsporing, voor confirmatie

‘Predictive value’ (PV) concept bij testresultaat dichotomie PPV = TP/(TP+FP)

‘Predictive value’ (PV) concept bij testresultaat dichotomie NPV = TN/(TN+FN)

En nog meer termen …. Diagnostic Odds Ratio (DOR) = LR+/LR- = (TPxTN)/(FPxFN) Number Needed To Diagnose = 1/{sensitivity – (1- specificity)} = 1/{TP rate – FP rate)}

Diagnostic performance measures: practical applications (BMJ, vol 329, 17 July 2004, p. 168-9) For discussion about tests, threshold decisions: sensitivity, specificity Screening: hoge sensitiviteit vereist Confirmatie: hoge specificiteit vereist For interpretation of specific result: LR and PPV, NPV As summary measure: DOR, ROCAUC

http://www.clinchem.org/info_ar/info_authors.shtml#stard

http://www.cche.net/usersguides/diagnosis.asp

http://www. ncbi. nlm. nih. gov/books/bv. fcgi. rid=hstat1b. section http://www.ncbi.nlm.nih.gov/books/bv.fcgi?rid=hstat1b.section.65247