De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Help! Statistiek ! Doel : Informeren over statistiek in klinisch onderzoek. Tijd:Derde woensdag in de maand, 12-13 uur 16 januari:Overeenstemming 20 februari:Hoe.

Verwante presentaties


Presentatie over: "Help! Statistiek ! Doel : Informeren over statistiek in klinisch onderzoek. Tijd:Derde woensdag in de maand, 12-13 uur 16 januari:Overeenstemming 20 februari:Hoe."— Transcript van de presentatie:

1 Help! Statistiek ! Doel : Informeren over statistiek in klinisch onderzoek. Tijd:Derde woensdag in de maand, 12-13 uur 16 januari:Overeenstemming 20 februari:Hoe om te gaan met herhaalde metingen 19 maart:ROC curve en diagnostische nauwkeurigheid Sprekers: Vaclav Fidler, Hans Burgerhof, Wendy Post DG Epidemiologie Doorlopende serie laagdrempelige lezingen, voor iedereen vrij toegankelijk.

2 Overeenstemming Inter- en intrabeoordelaars overeenstemming (2 vaste observatoren) –Nominale data –Ordinale data –Continue data Meerdere “observatoren” –ICC –Vragenlijsten: Cronbach’s alfa

3 Nominale data Twee radiologen classificeren (onafhankelijk) dezelfde 85 mammografieën in vier categorieën: normaal, benigne, verdenking van kanker, kanker Overeenstemming? Radioloog B Radioloog ANormaalBenigneVerden- king KankerTotaal Normaal Benigne Verden- king Kanker Totaal85

4 Radioloog B Radioloog ANormaalBenigneVerden- king KankerTotaal Normaal 21120033 Benigne 4171022 Verden- king 3915229 Kanker 00011 Totaal 2838163 85 Simpel idee: proportie overeenstemming: 54 / 85 = 0.64 Data uit Boyd e.a., 1982 Houdt geen rekening met toevalsovereenstemming

5 Corrigeren voor toevals- overeenstemming Cohen’s kappa (interbeoordelaarsbetrouwbaarheid): De toevalsovereenstemming wordt berekend door in de hoofddiagonaal rijtotaal*kolomtotaal/85 per cel te berekenen en vervolgens te sommeren

6 Radioloog B Radioloog ANormaalBenigneVerden- king KankerTotaal Normaal 21120033 Benigne 4171022 Verden- king 3915229 Kanker 00011 Totaal 2838163 85 28*33/85 = 10,87 38*22/85 = 9,84 16*29/85 = 5,46 3*1/85 = 0,04 (10,87 + 9,84 + 5,46 + 0,04)/85 = = 26,2/85 = 0,31

7 kappa Interpretatie van κ (volgens Altman) <0,2slecht (κ kan negatief zijn) 0,2-<0,4matig 0,4-<0,6redelijk 0,6-<0,8goed 0,8-<1erg goed Er zijn formules voor sd en toets voor H 0 : κ = 0 (en voor H 0 : κ = c)

8 Enkele aspecten van kappa kappa hangt af van het aantal categorieën en de prevalenties daarvan - als je categorieën samenvoegt, wordt κ groter - het percentage overeenstemming kan hoog zijn, terwijl κ klein is bij scheve marginalen. janeetotaal ja84690 nee6410 totaal9010100 Κ= 0,33

9 Steekproefgrootte H 0 : κ = 0,4 H 1 : κ = 0,6 (α = 0,05) Marginal Probabilities Power 1 2 3 4 5 80% 0.49 0.51 101 0.40 0.60 124 0.30 0.70 141 0.20 0.80 183 0.33 0.333 0.337 75 0.20 0.30 0.50 99 0.20 0.25 0.55 101 0.245 0.245 0.25 0.26 66 0.10 0.20 0.30 0.40 89 0.10 0.10 0.30 0.50 104 0.07 0.08 0.25 0.60 117 0.19 0.19 0.20 0.20 0.22 60 0.10 0.15 0.15 0.20 0.40 80 0.07 0.08 0.I0 0.15 0.60 105

10 Voorbeeld ordinale data LaagGemiddeldHoogTotaal Laag 282030 Gemiddeld 1216230 Hoog 0122840 Totaal 4030 100

11 (verwachte waarden) LaagGemiddeldHoogTotaal Laag 28 (12) 2 (9) 0 (9) 30 Gemiddeld 12 (12) 16 (9) 2 (9) 30 Hoog 0 (16) 12 (12) 28 (12) 40 Totaal 4030 100 Κ = (0,72 – 0,33)/(1 – 0,33) = 0,58 SE = 0,065 Κ houdt geen rekening met de grootte van de verschillen!

12 Gewogen kappa bij ordinale variabelen Lineaire gewichten Kwadratische gewichten

13 Concrete gewichten 10,50 1 0 1 Lineair: 10,750 1 0 1 Kwadratisch:

14 Gewogen kappa LaagGemiddeldHoogTotaal Laag 28 (12) 2 (9) 0 (9) 30 Gemiddeld 12 (12) 16 (9) 2 (9) 30 Hoog 0 (16) 12 (12) 28 (12) 40 Totaal 4030 100 Ongewogen κ = 0,58 (SE = 0,065) Gewogen Κ = 0,70 met lineaire gewichten (SE = 0,051) Gewogen Κ = 0,80 met kwadratische gewichten

15 Gewogen kappa (2) LaagGemiddeldHoogTotaal Laag 28 (12) 2 (9) 0 (9) 30 Gemiddeld 12 (12) 16 (9) 2 (9) 30 Hoog 0 (16) 12 (12) 28 (12) 40 Totaal 4030 100 Gewogen Κ = 0,70 met lineaire gewichten Gewogen Κ = 0,80 met kwadratische gewichten 02 2832 wordt 0,68, SE = 0,055 wordt 0,76

16 Intra-beoordelaarsbetrouwbaarheid In hoeverre is de beoordelaar het met zichzelf eens (test – hertest) Iriscopie (Knipschild, BMJ 1988) Foto’s van ogen van 39 patiënten met ontstoken galblaas 39 controles naar 5 gerenommeerde iriscopisten ziekte janee Observator ja nee totaal3939

17 Twee continue metingen De meeste meettechnieken zijn niet exact. Als een nieuwe methode (sneller / goedkoper) beschikbaar komt, willen we de resultaten vergelijken met de oude methode. Hoe vergelijken we twee continue metingen? (bloeddruk, vetpercentage, tumorvolume, …) Correlatiecoëfficiënt? Gepaarde toets? Waarom zijn deze methoden fout? Pat X1 X2 168 64 256 59 ….. n 78 71

18 Voorbeeld Pat obs1 obs2 obs3 obs4 obs5 1 40 38 42 4,2 60 2 50 48 49 4,9 30 3 60 58 61 6,1 80 4 70 68 68 6,8 50 Pearson’s correlatiecoëfficiënt: - obs1, obs2: 1 - obs1, obs3: 0,99 - obs1, obs4: 0,99 - obs1, obs5: 0,12 Pearson’s correlatiecoëfficiënt meet de mate van lineaire samenhang

19 Gepaarde t-toets Pat obs1 obs5 1 40 60 2 50 30 3 60 80 4 70 50 Verschil -20 20 -20 20

20 Bland-Altman (The Lancet, 1986) Zet het verschil van X1 en X2 af tegen het gemiddelde Gemiddelde Verschil: is -0.24 cm³ Sd verschil is 6.96 cm³, 95% referentie interval verschil [-14.2, 13.7] als “limits of agreement”

21 Lin’s Concordantie correlatie coëfficiënt Om aan de bezwaren tegen Pearson’s cc en de gepaarde t-toets tegemoet te komen wordt gekeken naar het verwachte kwadratische verschil t.o.v. de 45° lijn: Bias correctie t.o.v. de 45° lijn

22 Voorbeeld Pat obs1 obs2 obs3 obs4 obs5 1 40 38 42 4,2 60 2 50 48 49 4,9 30 3 60 58 61 6,1 80 4 70 68 68 6,8 50 Pearson’s correlatiecoëfficiënt: - obs1, obs2: 1 - obs1, obs3: 0,99 - obs1, obs4: 0,99 - obs1, obs5: 0,12 Lin’s CCC 0,9881 0,9941 0,0116 0,1125

23 Meerdere “observatoren” (1) 4 observatoren kijken naar MRI-beelden bij 15 patiënten (continue variabele) patiëntobservatorvolume 1 1 48,96 1 2 42,06 1 3 42,80 1 4 45,92 2 1 44,40 2 2 38,73 2 3 42,59 2 4 46,05 3 …….. Patiënt Ob1 Ob2 Ob3 Ob4 1 48,96 42,06 42,80 45,92 2 44,40 38,73 42,59 46,05 3 ….

24 Meerdere “observatoren” (2) Kwaliteit van leven wordt gemeten met een vragenlijst met 36 items Patitem1 item2 …. Item36 13 2 …. 4 22 2 …. 3 …. Meerdere observatoren op een nominale of ordinale schaal: “multiple rater kappa”

25 de intraclass correlatie coëfficiënt (ICC) Verschillende versies van de ICC, afhankelijk van keuze observatoren (verschillend, fixed, random), consistentie / absolute overeenstemming en enkelvoudige / gemiddelde scores Voor de ICC wordt de spreiding tussen de respondenten vergeleken met de totale relevante spreiding Bij twee observatoren is de ICC vergelijkbaar met Lin’s coëfficiënt van concordantie Afhankelijk van het theoretisch model. Indien deze spreiding 0 is, is ICC = 1

26 ICC Pat obs1 obs2 obs3 obs4 obs5 1 40 38 42 4,2 60 2 50 48 49 4,9 30 3 60 58 61 6,1 80 4 70 68 68 6,8 50

27 ICC Pat obs1 obs2 obs3 obs4 obs5 1 40 38 42 4,2 60 2 50 48 49 4,9 30 3 60 58 61 6,1 80 4 70 68 68 6,8 50

28 Vragenlijsten In het geval van vragenlijsten berekent men vaak Cronbach’s alfa als maat voor betrouwbaarheid of interne consistentie. Dit is een speciaal geval van de ICC.

29 Voorbeeld vragenlijst bevolkingsonderzoek baarmoederhalskanker 1. helemaal mee eens 2. een beetje mee eens 3. niet eens, niet oneens 4. een beetje mee oneens 5. helemaal mee oneens … 36. Het is de verantwoordelijkheid van de vrouw om zich te laten onderzoeken op(voorstadia van) baarmoederhalskanker. 12345 37. Het is goed dat het bevolkingsonderzoekbaarmoederhalskanker vrouwen er aan herinnert om zich te laten onderzoeken op (voorstadia van) baarmoederhalskanker. 12345 38. Het is de verantwoordelijkheid van de overheid om vrouwen te behoeden voor het krijgen van baarmoederhalskanker. 12345 ….

30 Referenties McGraw en Wong: Forming inferences about some intraclass correlation coefficients, Psychological Methods, 1996, vol 1 Rae: the equivalence of multiple rater kappa statistics and intraclass correlation coefficients, Educational and Psychological Measurement, 1998, 48 Altman, Practical Statistics for Medical Research Knipschild: looking for gall bladder disease in the patient’s iris, BMJ, 1988 vol 297 Lin: A Concordance correlation coefficient to evaluate reproducibility, Biometrics,1989, 45 Lin: Assay validation using the concordance correlation coefficient, Biometrics, 1992, 48 Flack e.a., Sample size determinations for the two rater kappa statistic, Psychometrika, 1988, vol. 53, 3

31 Waarschuwing Zorg voor onafhankelijke observatoren! Respondent 16: B!

32 Help! Statistiek ! Doel : Informeren over statistiek in klinisch onderzoek. Tijd:Derde woensdag in de maand, 12-13 uur 16 januari:Overeenstemming 20 februari:Hoe om te gaan met herhaalde metingen 19 maart:ROC curve en diagnostische nauwkeurigheid Sprekers: Vaclav Fidler, Hans Burgerhof, Wendy Post DG Epidemiologie Doorlopende serie laagdrempelige lezingen, voor iedereen vrij toegankelijk.


Download ppt "Help! Statistiek ! Doel : Informeren over statistiek in klinisch onderzoek. Tijd:Derde woensdag in de maand, 12-13 uur 16 januari:Overeenstemming 20 februari:Hoe."

Verwante presentaties


Ads door Google