Diagnostisch onderzoek: interpretatie van resultaten EMGO Instituut & Afdeling Huisartsgeneeskunde Vumc Amsterdam Primary Care Musculoskeletal Reserch Centre Keele University Het voorkomen van chronische lage rugpijn was een centraal thema in mijn promotieonderzoek dat ik heb uitgevoerd bij de onderzoeksgroep Huisartsgeneeskunde van het EMGO Instituut, VU medisch centrum te Amsterdam. Daniëlle van der Windt en Henriëtte van der Horst waren hierbij betrokken als copromotor, Wim Stalman en Lex Bouter als promotor. Wim Willems Daniëlle van der Windt EMGO Instituut - Common Mental Disorders

Inhoud Diagnostiek: doel Diagnostisch onderzoek: belangrijke kenmerken Validiteit van diagnostische testen: interpretatie Voorbeeld: carpale tunnelsyndroom EMGO Instituut - Common Mental Disorders

Achtergrond Diagnostische informatie is belangrijk voor: Inschatten prognose Uitgangspunt therapie Informeren patiënt Optimaliseren resultaten van therapie Ik heb hier een aantal bronnen van variatie opgenoemd: Fluctuaties in het meetinstrument, foute uitslagen geheel toe te schrijven aan het instrument. Inter en intra beoordelaar. Verschillen tussen en binnen personen. Dit is vaker aan de hand als het subjectieve waarnemingen zjn, bijv. als de beoordelaar moet letten op de kleur of geluiden waarnemen. Vaak wordt in de geneeskunde een beroep gedaan op de zintuigen van de dokter, zien, voelen, horen, ruiken. Merk op dat dit in feite een deel van het meetinstrument is. Patienten zijn niet stabiel, dit kan te hebben met circadiane ritmes (fluctuaties binnen een dag) dag tot dag variaties (heleboel ziekten zijn de ene dag erger dan de andere, of episodische wisselingen. Reproduceerbaarheidsmetingen moeten met zo stabiel mogelijke patienten gedaan worden, maar als de patienten vanwege allerlei biologische variaties niet stabiel kunnen zijn wil je wel weten, hoe groot die biologische variatie is. Systematische fouten en toevalsfouten, de ene keer hoger, de andere keer lager. Bij interbeoordelaars zou je verwachten dat er tussen beoordelaars eerder systematische fouten optreden dan binnen beoordelaars. (Hoeft niet), EMGO Instituut - Common Mental Disorders

Diagnostische testen Patiëntkenmerken, anamese Resultaten van lichamelijk onderzoek Labtesten Beeldvormende diagnostiek Proefbehandelingen etc, etc. EMGO Instituut - Common Mental Disorders

Validiteit van diagnostische testen Vergelijking van de resultaten van een index test met die van een referentie test (gouden standaard) Cross-sectioneel onderzoek Patiënt-controle onderzoek Longitudinaal onderzoek

Onderzoeksvragen Kan index test een referentie test vervangen? - goedkoper - minder belastend Kan index test een andere index test vervangen? - beter voor uitsluiten van de ziekte - beter voor aantonen van de ziekte

Voorbeeld: fysische diagnostiek bij CTS Wat is de diagnostische waarde van onderdelen van lichamelijk onderzoek voor het vaststellen van een carpale tunnelsyndroom? Populatie: mensen met handklachten, waaronder tintelingen in vingers Ziekte (target condition): CTS Indextesten: flick sign & Tinel test Referentietest: electrofysiologie (EMG) geleidingssnelheid n. medianus

Bias in diagnostisch onderzoek Selectiebias (of spectrumvariatie): het onderzoek wordt uitgevoerd in een populatie die geen goede afspiegeling vormt van de doelpopulatie Ons voorbeeld: - flick sign & Tinel test worden vooral in 1e lijn uitgevoerd, maar onderzoek betreft een 2e lijns populatie of - er worden stricte selectiecriteria gehanteerd: bijvoorbeeld geen andere klachten BA, geen alarmsymptomen, leeftijd, ….

Bias in diagnostisch onderzoek Review bias: beoordelaar van index test of referentie test is niet ‘blind’ voor de uitslag van de andere test Ons voorbeeld: - onderzoeker is bekend met uitslagen EMG - fysioloog kent de resultaten van flick & Tinel

Bias in diagnostisch onderzoek Work-up bias (= verificatiebias): het al dan niet ondergaan van referentietest hangt af van positieve of negatieve test-uitslag Ons voorbeeld: - EMG onderzoek alleen bij positieve uitslag flick of Tinel (gebeurt vaak bij invasieve referentietesten) - analyse waarde van de diagnostische test op basis van select deel van de populatie

Diagnostische waarde van testen voor CTS sensitiviteit specificiteit Tinel 0.25-0.60 0.64-0.89 Phalen 0.10-0.91 0.33-0.86 Flick sign 0.93 0.96 Square wrist sign 0.47-0.69 0.73-0.83 Druk provocatie-test 0.28-0.63 0.33-0.74 Tourniquet test 0.21-0.51 0.36-0.87

Interpretatie Veel variatie in sensitiviteit en specificiteit Maar wat betekenen deze getallen en wat heb je eraan?

Resultaten index test versus referentietest EMG CTS Geen CTS a b a + b Test + (terecht positief) (fout positief) c d c + d Test - (fout negatief) (terecht negatief) a + c b + d N

Sensitiviteit & specificiteit de kans op een positief test-resultaat bij aanwezigheid van de ziekte Specificiteit: de kans op een negatief testresultaat bij afwezigheid van de ziekte Toelichting: Experiment (RCT) Voordelen: Experimenten zijn om methodologische redenen zeer gunstig. Ten eerste heb je alle voordelen van het cohort (prospectieve gegevensverzameling). Daarnaast zullen door de random toewijzing van de determinant allerlei verstorende factoren (op basis van toeval) gelijk verdeeld zijn over de groepen (leeftijd, ccomorbiditeit, etc.). Deze factoren kunnen de resultaten niet meer beïnvloeden. Tevens is de invloed van mogelijke voorkeuren van behandelaars of deelnemers beperkt doordat toewijzing van de determinant op basis van toeval gebeurt. Nadelen: randomiseren is vaak ethisch onaanvaardbaar, zeker wanneer het onderzoek naar risicofactoren betreft, of onderzoek naar mogelijke bijwerkingen van medicatie. Om allerlei redenen worden bij experimenten bovendien vaak stricte selectiecriteria gehanteerd. Hierdoor zijn de resultaten van een experiment lastiger te vertalen naar de praktijk. EMGO Instituut - Common Mental Disorders

Sensitiviteit & specificiteit EMG CTS geen CTS flick + a b a + b flick - c d c + d a + c b + d N Sensitiviteit: a/(a+c) Specificiteit: d/(b+d)

Sensitiviteit & specificiteit EMG CTS geen CTS flick + 35 40 75 flick - 5 80 85 40 120 160 Sensitiviteit: 35/40 = 0.88 Specificiteit: 80/120 = 0.67

Sensitiviteit & specificiteit EMG CTS geen CTS Tinel + 15 20 35 Tinel - 25 100 125 40 120 160 Sensitiviteit: 15/40 = 0.38 Specificiteit: 100/120 = 0.83

Voorspellende waarden Positief voorspellende waarde: de kans op ziekte bij een positief resultaat van de indextest Negatief voorspellende waarde: de kans dat de ziekte niet aanwezig is bij een negatief test resultaat van de indextest Toelichting: Experiment (RCT) Voordelen: Experimenten zijn om methodologische redenen zeer gunstig. Ten eerste heb je alle voordelen van het cohort (prospectieve gegevensverzameling). Daarnaast zullen door de random toewijzing van de determinant allerlei verstorende factoren (op basis van toeval) gelijk verdeeld zijn over de groepen (leeftijd, ccomorbiditeit, etc.). Deze factoren kunnen de resultaten niet meer beïnvloeden. Tevens is de invloed van mogelijke voorkeuren van behandelaars of deelnemers beperkt doordat toewijzing van de determinant op basis van toeval gebeurt. Nadelen: randomiseren is vaak ethisch onaanvaardbaar, zeker wanneer het onderzoek naar risicofactoren betreft, of onderzoek naar mogelijke bijwerkingen van medicatie. Om allerlei redenen worden bij experimenten bovendien vaak stricte selectiecriteria gehanteerd. Hierdoor zijn de resultaten van een experiment lastiger te vertalen naar de praktijk. EMGO Instituut - Common Mental Disorders

Voorspellende waarden EMG CTS geen CTS Test + a b a + b Test - c d c + d a + c b + d N VW + = a/(a+b) VW - = d/(c+d)

Voorspellende waarden EMG CTS geen CTS flick + 35 40 75 flick - 5 80 85 40 120 160 VW + = 35/75 = 0.46 VW - = 80/85 = 0.94

Voorspellende waarden EMG CTS geen CTS Tinel + 15 20 35 Tinel - 25 100 125 40 120 160 VW + = 15/35 = 0.43 VW - = 100/125 = 0.80

Sens & spec of voorspellende waarden? Kruistabel levert zowel gegevens over sensitiviteit & specificiteit als voorspellende waarden: welke maat geeft de beste informatie? Sensitiviteit & specificiteit zijn minder sterk afhankelijk van de prevalentie van de ziekte (priorkans) Voorspellende waarden zijn meer relevant voor dagelijkse praktijk

Aan welke test hebben we nu het meest? Flick tov Tinel: sensitiviteit hoger, specificiteit iets lager Flick tov Tinel: voorspellende waarden hoger, m.n. negatief VW Voorspellende waarden zijn meer relevant voor dagelijkse praktijk Sensitiviteit & specificiteit zijn minder sterk afhankelijk van de prevalentie van de ziekte (priorkans)

Beslisregels Hoe kunnen gegevens over sensitiviteit en specificiteit worden gebruikt bij beslissingen? SpP-in  Rule in - test heeft hoge specificiteit, dus weinig fout-positieven - indien positief: kans op ziekte is hoog - positief testresultaat: Rule in! (patiënt is ziek) SnN-out  Rule out (flick sign) - test heeft hoge sensitiviteit, dus weinig fout-negatieven - indien negatief: kans op ziekte is laag - negatief testresultaat: Rule out! (patiënt is niet ziek)

Index test versus referentietest Ziek Niet ziek a b a + b Test + (terecht positief) (fout positief) c d c + d Test - (fout negatief) (terecht negatief) a + c b + d N

Priorkans (prevalentie) & posteriorkans Priorkans: prevalentie van de ziekte in de populatie Posteriorkans: kans op ziekte na afname index test Hoe groter het verschil tussen prior en posteriorkans, hoe informatiever de test Test geeft doorgaans de meeste informatie bij priorkans tussen 40-60%

Priorkans (prevalentie) & posteriorkans: CTS Priorkans: prevalentie van CTS in voorbeeld: 25% Kans op CTS bij positief testresultaat: - flick: 46% - Tinel: 43% Kans op CTS bij negatief testresultaat - flick: 6% - Tinel: 20% Flick geeft meer diagnostische informatie, maar nog geen zekerheid …

Enkele test versus meerdere testen Resultaten van diagnostisch onderzoek betreft vaak een enkele test In de praktijk: interpretatie van meerdere testen tegelijk: volledige anamnese, onderzoek, … Diagnostische waarde van combinatie van testen is relevanter!

Diagnostische predictieregel voor CTS Predictieregel bestaat uit 5 testen, waaronder leeftijd, flick sign, ernst van klachten Resultaten (bij prevalentie = prior kans 34%): Afkappunt CTS sens spec kans op CTS 2 testen positief 98 14 44% 3 testen positief 98 54 52% 4 testen positief 77 83 70% Alle 5 testen positief 18 99 90% Wainner et al. Arch Phys Med Rehabil 2005;86:609-18.

Tot slot: hoe ‘goud’ is de gouden standaard? EMG: sensitiviteit = 60-82%, specificiteit = 95-100% Vrij veel fout-negatieven Ernst van de EMG-afwijkingen komt niet overeen met ernst van symptomen EMG-afwijkingen geen voorspeller van succes therapie EMG-afwijkingen hangen samen met leeftijd: hoe ouder, hoe slechter (ongeacht klachten) Weinig onderzoek naar EMG-afwijkingen in 1e lijn

Samenvatting Diagnostische informatie vooral relevant indien van belang voor beslissingen rond therapie Vaststellen CTS: veel variatie diagnostische waarde van testen. Combinatie testresultaten van belang Vaststellen CTS: geen goede referentietest … Voorspellende waarden voor praktijk van belang, maar sterk afhankelijk van prevalentie van de ziekte Waarde van een test blijkt vooral uit verschil tussen prior en posterior kans

Voorspellende waarden: hoge prevalentie CTS geen CTS flick + 35 40 75 flick - 5 80 85 40 120 160 Prevalentie CTS: 40 / 160 = 25% Positief voorspellende waarde flick: 35/ 75 = 46% Negatief voorspellende waarde flick: 80 / 85 = 94% Sensitiviteit: 35 / 40 = 88% Specificiteit: 80 / 120 = 67% Toelichting: Experiment (RCT) Voordelen: Experimenten zijn om methodologische redenen zeer gunstig. Ten eerste heb je alle voordelen van het cohort (prospectieve gegevensverzameling). Daarnaast zullen door de random toewijzing van de determinant allerlei verstorende factoren (op basis van toeval) gelijk verdeeld zijn over de groepen (leeftijd, ccomorbiditeit, etc.). Deze factoren kunnen de resultaten niet meer beïnvloeden. Tevens is de invloed van mogelijke voorkeuren van behandelaars of deelnemers beperkt doordat toewijzing van de determinant op basis van toeval gebeurt. Nadelen: randomiseren is vaak ethisch onaanvaardbaar, zeker wanneer het onderzoek naar risicofactoren betreft, of onderzoek naar mogelijke bijwerkingen van medicatie. Om allerlei redenen worden bij experimenten bovendien vaak stricte selectiecriteria gehanteerd. Hierdoor zijn de resultaten van een experiment lastiger te vertalen naar de praktijk. EMGO Instituut - Common Mental Disorders

Voorspellende waarden: lage prevalentie CTS geen CTS flick + 35 400 435 flick - 5 800 805 40 1200 1240 Prevalentie CTS: 40 / 1240 = 3% Positief voorspellende waarde flick: 35/ 435 = 8% Negatief voorspellende waarde flick: 800 / 805 = 99% Sensitiviteit: 35 / 40 = 88% Specificiteit: 800 / 1200 = 67% Toelichting: Experiment (RCT) Voordelen: Experimenten zijn om methodologische redenen zeer gunstig. Ten eerste heb je alle voordelen van het cohort (prospectieve gegevensverzameling). Daarnaast zullen door de random toewijzing van de determinant allerlei verstorende factoren (op basis van toeval) gelijk verdeeld zijn over de groepen (leeftijd, ccomorbiditeit, etc.). Deze factoren kunnen de resultaten niet meer beïnvloeden. Tevens is de invloed van mogelijke voorkeuren van behandelaars of deelnemers beperkt doordat toewijzing van de determinant op basis van toeval gebeurt. Nadelen: randomiseren is vaak ethisch onaanvaardbaar, zeker wanneer het onderzoek naar risicofactoren betreft, of onderzoek naar mogelijke bijwerkingen van medicatie. Om allerlei redenen worden bij experimenten bovendien vaak stricte selectiecriteria gehanteerd. Hierdoor zijn de resultaten van een experiment lastiger te vertalen naar de praktijk. EMGO Instituut - Common Mental Disorders