Help! Statistiek! Doorlopende serie laagdrempelige lezingen, voor iedereen vrij toegankelijk. Doel: Informeren over statistiek in klinisch onderzoek. Tijd: Derde woensdag in de maand, 12-13 uur 16 januari: Overeenstemming 20 februari: Hoe om te gaan met herhaalde metingen 19 maart: ROC curve en diagnostische nauwkeurigheid Sprekers: Vaclav Fidler, Hans Burgerhof, Wendy Post DG Epidemiologie

Overeenstemming Inter- en intrabeoordelaars overeenstemming (2 vaste observatoren) Nominale data Ordinale data Continue data Meerdere “observatoren” ICC Vragenlijsten: Cronbach’s alfa

Nominale data Twee radiologen classificeren (onafhankelijk) dezelfde 85 mammografieën in vier categorieën: normaal, benigne, verdenking van kanker, kanker Overeenstemming? Radioloog B Radioloog A Normaal Benigne Verden- king Kanker Totaal Verden- king 85

met toevalsovereenstemming Simpel idee: proportie overeenstemming: 54 / 85 = 0.64 Houdt geen rekening met toevalsovereenstemming Radioloog B Radioloog A Normaal Benigne Verden- king Kanker Totaal 21 12 33 4 17 1 22 Verden- king 3 9 15 2 29 28 38 16 85 Data uit Boyd e.a., 1982

Corrigeren voor toevals- overeenstemming Cohen’s kappa (interbeoordelaarsbetrouwbaarheid): De toevalsovereenstemming wordt berekend door in de hoofddiagonaal rijtotaal*kolomtotaal/85 per cel te berekenen en vervolgens te sommeren

Radioloog B Radioloog A Normaal Benigne Verden- king Kanker Totaal 21 16*29/85 = 5,46 38*22/85 = 9,84 3*1/85 = 0,04 Radioloog B Radioloog A Normaal Benigne Verden- king Kanker Totaal 21 12 33 4 17 1 22 Verden- king 3 9 15 2 29 28 38 16 85 28*33/85 = 10,87 (10,87 + 9,84 + 5,46 + 0,04)/85 = = 26,2/85 = 0,31

kappa Interpretatie van κ (volgens Altman) <0,2 slecht (κ kan negatief zijn) 0,2-<0,4 matig 0,4-<0,6 redelijk 0,6-<0,8 goed 0,8-<1 erg goed Er zijn formules voor sd en toets voor H0: κ = 0 (en voor H0: κ = c)

Enkele aspecten van kappa kappa hangt af van het aantal categorieën en de prevalenties daarvan - als je categorieën samenvoegt, wordt κ groter - het percentage overeenstemming kan hoog zijn, terwijl κ klein is bij scheve marginalen. ja nee totaal 84 6 90 4 10 100 Κ= 0,33

Steekproefgrootte H0: κ = 0,4 H1: κ = 0,6 (α = 0,05) Marginal Probabilities Power 1 2 3 4 5 80% 0.49 0.51 101 0.40 0.60 124 0.30 0.70 141 0.20 0.80 183 0.33 0.333 0.337 75 0.20 0.30 0.50 99 0.20 0.25 0.55 101 0.245 0.245 0.25 0.26 66 0.10 0.20 0.30 0.40 89 0.10 0.10 0.30 0.50 104 0.07 0.08 0.25 0.60 117 0.19 0.19 0.20 0.20 0.22 60 0.10 0.15 0.15 0.20 0.40 80 0.07 0.08 0.I0 0.15 0.60 105

Voorbeeld ordinale data Laag Gemiddeld Hoog Totaal 28 2 30 12 16 40 100

(verwachte waarden) Laag Gemiddeld Hoog Totaal 28 (12) 2 (9) 30 12 16 30 12 16 (16) 40 100 Κ houdt geen rekening met de grootte van de verschillen! Κ = (0,72 – 0,33)/(1 – 0,33) = 0,58 SE = 0,065

Gewogen kappa bij ordinale variabelen Lineaire gewichten Kwadratische gewichten

Concrete gewichten 1 0,5 Lineair: 1 0,75 Kwadratisch:

Gewogen kappa Laag Gemiddeld Hoog Totaal 28 (12) 2 (9) 30 12 16 (16) 30 12 16 (16) 40 100 Ongewogen κ = 0,58 (SE = 0,065) Gewogen Κ = 0,70 met lineaire gewichten (SE = 0,051) Gewogen Κ = 0,80 met kwadratische gewichten

Gewogen kappa (2) Laag Gemiddeld Hoog Totaal 28 (12) 2 (9) 30 12 16 30 12 16 (16) 40 100 2 28 32 Gewogen Κ = 0,70 met lineaire gewichten Gewogen Κ = 0,80 met kwadratische gewichten wordt 0,68, SE = 0,055 wordt 0,76

Intra-beoordelaarsbetrouwbaarheid In hoeverre is de beoordelaar het met zichzelf eens (test – hertest) Iriscopie (Knipschild, BMJ 1988) Foto’s van ogen van 39 patiënten met ontstoken galblaas 39 controles naar 5 gerenommeerde iriscopisten ziekte ja nee Observator ja nee totaal 39 39

Twee continue metingen De meeste meettechnieken zijn niet exact. Als een nieuwe methode (sneller / goedkoper) beschikbaar komt, willen we de resultaten vergelijken met de oude methode. Hoe vergelijken we twee continue metingen? (bloeddruk, vetpercentage, tumorvolume, …) Correlatiecoëfficiënt? Gepaarde toets? Pat X1 X2 68 64 56 59 ….. n 78 71 Waarom zijn deze methoden fout?

Voorbeeld Pat obs1 obs2 obs3 obs4 obs5 1 40 38 42 4,2 60 1 40 38 42 4,2 60 2 50 48 49 4,9 30 3 60 58 61 6,1 80 4 70 68 68 6,8 50 Pearson’s correlatiecoëfficiënt: - obs1, obs2: 1 - obs1, obs3: 0,99 - obs1, obs4: 0,99 - obs1, obs5: 0,12 Pearson’s correlatiecoëfficiënt meet de mate van lineaire samenhang

Gepaarde t-toets Pat obs1 obs5 Verschil 1 40 60 -20 2 50 30 20 3 60 80 1 40 60 2 50 30 3 60 80 4 70 50 Verschil -20 20

Bland-Altman (The Lancet, 1986) Zet het verschil van X1 en X2 af tegen het gemiddelde Sd verschil is 6.96 cm³, 95% referentie interval verschil [-14.2 , 13.7] als “limits of agreement” Gemiddelde Verschil: is -0.24 cm³

Lin’s Concordantie correlatie coëfficiënt Om aan de bezwaren tegen Pearson’s cc en de gepaarde t-toets tegemoet te komen wordt gekeken naar het verwachte kwadratische verschil t.o.v. de 45° lijn: Bias correctie t.o.v. de 45° lijn

Voorbeeld Pat obs1 obs2 obs3 obs4 obs5 1 40 38 42 4,2 60 1 40 38 42 4,2 60 2 50 48 49 4,9 30 3 60 58 61 6,1 80 4 70 68 68 6,8 50 Pearson’s correlatiecoëfficiënt: - obs1, obs2: 1 - obs1, obs3: 0,99 - obs1, obs4: 0,99 - obs1, obs5: 0,12 Lin’s CCC 0,9881 0,9941 0,0116 0,1125

Meerdere “observatoren” (1) 4 observatoren kijken naar MRI-beelden bij 15 patiënten (continue variabele) patiënt observator volume 1 1 48,96 1 2 42,06 1 3 42,80 1 4 45,92 2 1 44,40 2 2 38,73 2 3 42,59 2 4 46,05 3 …….. Patiënt Ob1 Ob2 Ob3 Ob4 48,96 42,06 42,80 45,92 44,40 38,73 42,59 46,05 ….

Meerdere “observatoren” (2) Kwaliteit van leven wordt gemeten met een vragenlijst met 36 items Pat item1 item2 …. Item36 1 3 2 …. 4 2 2 2 …. 3 …. Meerdere observatoren op een nominale of ordinale schaal: “multiple rater kappa”

de intraclass correlatie coëfficiënt (ICC) Verschillende versies van de ICC, afhankelijk van keuze observatoren (verschillend, fixed, random), consistentie / absolute overeenstemming en enkelvoudige / gemiddelde scores Voor de ICC wordt de spreiding tussen de respondenten vergeleken met de totale relevante spreiding Bij twee observatoren is de ICC vergelijkbaar met Lin’s coëfficiënt van concordantie Afhankelijk van het theoretisch model. Indien deze spreiding 0 is, is ICC = 1

ICC Pat obs1 obs2 obs3 obs4 obs5 1 40 38 42 4,2 60 2 50 48 49 4,9 30 1 40 38 42 4,2 60 2 50 48 49 4,9 30 3 60 58 61 6,1 80 4 70 68 68 6,8 50

ICC Pat obs1 obs2 obs3 obs4 obs5 1 40 38 42 4,2 60 2 50 48 49 4,9 30 1 40 38 42 4,2 60 2 50 48 49 4,9 30 3 60 58 61 6,1 80 4 70 68 68 6,8 50

Vragenlijsten In het geval van vragenlijsten berekent men vaak Cronbach’s alfa als maat voor betrouwbaarheid of interne consistentie. Dit is een speciaal geval van de ICC.

Voorbeeld vragenlijst bevolkingsonderzoek baarmoederhalskanker 1. helemaal mee eens 2. een beetje mee eens 3. niet eens, niet oneens 4. een beetje mee oneens 5. helemaal mee oneens … 36. Het is de verantwoordelijkheid van de vrouw om zich te laten onderzoeken op(voorstadia van) baarmoederhalskanker. 1 2 3 4 5 37. Het is goed dat het bevolkingsonderzoekbaarmoederhalskanker vrouwen er aan herinnert om zich te laten onderzoeken op (voorstadia van) baarmoederhalskanker. 38. Het is de verantwoordelijkheid van de overheid om vrouwen te behoeden voor het krijgen van baarmoederhalskanker. ….

Referenties McGraw en Wong: Forming inferences about some intraclass correlation coefficients, Psychological Methods, 1996, vol 1 Rae: the equivalence of multiple rater kappa statistics and intraclass correlation coefficients, Educational and Psychological Measurement, 1998, 48 Altman, Practical Statistics for Medical Research Knipschild: looking for gall bladder disease in the patient’s iris, BMJ, 1988 vol 297 Lin: A Concordance correlation coefficient to evaluate reproducibility, Biometrics,1989, 45 Lin: Assay validation using the concordance correlation coefficient, Biometrics, 1992, 48 Flack e.a., Sample size determinations for the two rater kappa statistic, Psychometrika, 1988, vol. 53, 3

Waarschuwing Zorg voor onafhankelijke observatoren! Respondent 16: B!

Help! Statistiek! Doorlopende serie laagdrempelige lezingen, voor iedereen vrij toegankelijk. Doel: Informeren over statistiek in klinisch onderzoek. Tijd: Derde woensdag in de maand, 12-13 uur 16 januari: Overeenstemming 20 februari: Hoe om te gaan met herhaalde metingen 19 maart: ROC curve en diagnostische nauwkeurigheid Sprekers: Vaclav Fidler, Hans Burgerhof, Wendy Post DG Epidemiologie