De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Help! Statistiek ! Doel : Informeren over statistiek in klinisch onderzoek. Tijd:Derde woensdag in de maand, 12-13 uur 16 januari:Overeenstemming 20 februari:Hoe.

Verwante presentaties


Presentatie over: "Help! Statistiek ! Doel : Informeren over statistiek in klinisch onderzoek. Tijd:Derde woensdag in de maand, 12-13 uur 16 januari:Overeenstemming 20 februari:Hoe."— Transcript van de presentatie:

1 Help! Statistiek ! Doel : Informeren over statistiek in klinisch onderzoek. Tijd:Derde woensdag in de maand, uur 16 januari:Overeenstemming 20 februari:Hoe om te gaan met herhaalde metingen 19 maart:ROC curve en diagnostische nauwkeurigheid Sprekers: Vaclav Fidler, Hans Burgerhof, Wendy Post DG Epidemiologie Doorlopende serie laagdrempelige lezingen, voor iedereen vrij toegankelijk.

2 Overeenstemming Inter- en intrabeoordelaars overeenstemming (2 vaste observatoren) –Nominale data –Ordinale data –Continue data Meerdere “observatoren” –ICC –Vragenlijsten: Cronbach’s alfa

3 Nominale data Twee radiologen classificeren (onafhankelijk) dezelfde 85 mammografieën in vier categorieën: normaal, benigne, verdenking van kanker, kanker Overeenstemming? Radioloog B Radioloog ANormaalBenigneVerden- king KankerTotaal Normaal Benigne Verden- king Kanker Totaal85

4 Radioloog B Radioloog ANormaalBenigneVerden- king KankerTotaal Normaal Benigne Verden- king Kanker Totaal Simpel idee: proportie overeenstemming: 54 / 85 = 0.64 Data uit Boyd e.a., 1982 Houdt geen rekening met toevalsovereenstemming

5 Corrigeren voor toevals- overeenstemming Cohen’s kappa (interbeoordelaarsbetrouwbaarheid): De toevalsovereenstemming wordt berekend door in de hoofddiagonaal rijtotaal*kolomtotaal/85 per cel te berekenen en vervolgens te sommeren

6 Radioloog B Radioloog ANormaalBenigneVerden- king KankerTotaal Normaal Benigne Verden- king Kanker Totaal *33/85 = 10,87 38*22/85 = 9,84 16*29/85 = 5,46 3*1/85 = 0,04 (10,87 + 9,84 + 5,46 + 0,04)/85 = = 26,2/85 = 0,31

7 kappa Interpretatie van κ (volgens Altman) <0,2slecht (κ kan negatief zijn) 0,2-<0,4matig 0,4-<0,6redelijk 0,6-<0,8goed 0,8-<1erg goed Er zijn formules voor sd en toets voor H 0 : κ = 0 (en voor H 0 : κ = c)

8 Enkele aspecten van kappa kappa hangt af van het aantal categorieën en de prevalenties daarvan - als je categorieën samenvoegt, wordt κ groter - het percentage overeenstemming kan hoog zijn, terwijl κ klein is bij scheve marginalen. janeetotaal ja84690 nee6410 totaal Κ= 0,33

9 Steekproefgrootte H 0 : κ = 0,4 H 1 : κ = 0,6 (α = 0,05) Marginal Probabilities Power % I

10 Voorbeeld ordinale data LaagGemiddeldHoogTotaal Laag Gemiddeld Hoog Totaal

11 (verwachte waarden) LaagGemiddeldHoogTotaal Laag 28 (12) 2 (9) 0 (9) 30 Gemiddeld 12 (12) 16 (9) 2 (9) 30 Hoog 0 (16) 12 (12) 28 (12) 40 Totaal Κ = (0,72 – 0,33)/(1 – 0,33) = 0,58 SE = 0,065 Κ houdt geen rekening met de grootte van de verschillen!

12 Gewogen kappa bij ordinale variabelen Lineaire gewichten Kwadratische gewichten

13 Concrete gewichten 10, Lineair: 10, Kwadratisch:

14 Gewogen kappa LaagGemiddeldHoogTotaal Laag 28 (12) 2 (9) 0 (9) 30 Gemiddeld 12 (12) 16 (9) 2 (9) 30 Hoog 0 (16) 12 (12) 28 (12) 40 Totaal Ongewogen κ = 0,58 (SE = 0,065) Gewogen Κ = 0,70 met lineaire gewichten (SE = 0,051) Gewogen Κ = 0,80 met kwadratische gewichten

15 Gewogen kappa (2) LaagGemiddeldHoogTotaal Laag 28 (12) 2 (9) 0 (9) 30 Gemiddeld 12 (12) 16 (9) 2 (9) 30 Hoog 0 (16) 12 (12) 28 (12) 40 Totaal Gewogen Κ = 0,70 met lineaire gewichten Gewogen Κ = 0,80 met kwadratische gewichten wordt 0,68, SE = 0,055 wordt 0,76

16 Intra-beoordelaarsbetrouwbaarheid In hoeverre is de beoordelaar het met zichzelf eens (test – hertest) Iriscopie (Knipschild, BMJ 1988) Foto’s van ogen van 39 patiënten met ontstoken galblaas 39 controles naar 5 gerenommeerde iriscopisten ziekte janee Observator ja nee totaal3939

17 Twee continue metingen De meeste meettechnieken zijn niet exact. Als een nieuwe methode (sneller / goedkoper) beschikbaar komt, willen we de resultaten vergelijken met de oude methode. Hoe vergelijken we twee continue metingen? (bloeddruk, vetpercentage, tumorvolume, …) Correlatiecoëfficiënt? Gepaarde toets? Waarom zijn deze methoden fout? Pat X1 X ….. n 78 71

18 Voorbeeld Pat obs1 obs2 obs3 obs4 obs , , , ,8 50 Pearson’s correlatiecoëfficiënt: - obs1, obs2: 1 - obs1, obs3: 0,99 - obs1, obs4: 0,99 - obs1, obs5: 0,12 Pearson’s correlatiecoëfficiënt meet de mate van lineaire samenhang

19 Gepaarde t-toets Pat obs1 obs Verschil

20 Bland-Altman (The Lancet, 1986) Zet het verschil van X1 en X2 af tegen het gemiddelde Gemiddelde Verschil: is cm³ Sd verschil is 6.96 cm³, 95% referentie interval verschil [-14.2, 13.7] als “limits of agreement”

21 Lin’s Concordantie correlatie coëfficiënt Om aan de bezwaren tegen Pearson’s cc en de gepaarde t-toets tegemoet te komen wordt gekeken naar het verwachte kwadratische verschil t.o.v. de 45° lijn: Bias correctie t.o.v. de 45° lijn

22 Voorbeeld Pat obs1 obs2 obs3 obs4 obs , , , ,8 50 Pearson’s correlatiecoëfficiënt: - obs1, obs2: 1 - obs1, obs3: 0,99 - obs1, obs4: 0,99 - obs1, obs5: 0,12 Lin’s CCC 0,9881 0,9941 0,0116 0,1125

23 Meerdere “observatoren” (1) 4 observatoren kijken naar MRI-beelden bij 15 patiënten (continue variabele) patiëntobservatorvolume , , , , , , , ,05 3 …….. Patiënt Ob1 Ob2 Ob3 Ob4 1 48,96 42,06 42,80 45, ,40 38,73 42,59 46,05 3 ….

24 Meerdere “observatoren” (2) Kwaliteit van leven wordt gemeten met een vragenlijst met 36 items Patitem1 item2 …. Item … …. 3 …. Meerdere observatoren op een nominale of ordinale schaal: “multiple rater kappa”

25 de intraclass correlatie coëfficiënt (ICC) Verschillende versies van de ICC, afhankelijk van keuze observatoren (verschillend, fixed, random), consistentie / absolute overeenstemming en enkelvoudige / gemiddelde scores Voor de ICC wordt de spreiding tussen de respondenten vergeleken met de totale relevante spreiding Bij twee observatoren is de ICC vergelijkbaar met Lin’s coëfficiënt van concordantie Afhankelijk van het theoretisch model. Indien deze spreiding 0 is, is ICC = 1

26 ICC Pat obs1 obs2 obs3 obs4 obs , , , ,8 50

27 ICC Pat obs1 obs2 obs3 obs4 obs , , , ,8 50

28 Vragenlijsten In het geval van vragenlijsten berekent men vaak Cronbach’s alfa als maat voor betrouwbaarheid of interne consistentie. Dit is een speciaal geval van de ICC.

29 Voorbeeld vragenlijst bevolkingsonderzoek baarmoederhalskanker 1. helemaal mee eens 2. een beetje mee eens 3. niet eens, niet oneens 4. een beetje mee oneens 5. helemaal mee oneens … 36. Het is de verantwoordelijkheid van de vrouw om zich te laten onderzoeken op(voorstadia van) baarmoederhalskanker Het is goed dat het bevolkingsonderzoekbaarmoederhalskanker vrouwen er aan herinnert om zich te laten onderzoeken op (voorstadia van) baarmoederhalskanker Het is de verantwoordelijkheid van de overheid om vrouwen te behoeden voor het krijgen van baarmoederhalskanker ….

30 Referenties McGraw en Wong: Forming inferences about some intraclass correlation coefficients, Psychological Methods, 1996, vol 1 Rae: the equivalence of multiple rater kappa statistics and intraclass correlation coefficients, Educational and Psychological Measurement, 1998, 48 Altman, Practical Statistics for Medical Research Knipschild: looking for gall bladder disease in the patient’s iris, BMJ, 1988 vol 297 Lin: A Concordance correlation coefficient to evaluate reproducibility, Biometrics,1989, 45 Lin: Assay validation using the concordance correlation coefficient, Biometrics, 1992, 48 Flack e.a., Sample size determinations for the two rater kappa statistic, Psychometrika, 1988, vol. 53, 3

31 Waarschuwing Zorg voor onafhankelijke observatoren! Respondent 16: B!

32 Help! Statistiek ! Doel : Informeren over statistiek in klinisch onderzoek. Tijd:Derde woensdag in de maand, uur 16 januari:Overeenstemming 20 februari:Hoe om te gaan met herhaalde metingen 19 maart:ROC curve en diagnostische nauwkeurigheid Sprekers: Vaclav Fidler, Hans Burgerhof, Wendy Post DG Epidemiologie Doorlopende serie laagdrempelige lezingen, voor iedereen vrij toegankelijk.


Download ppt "Help! Statistiek ! Doel : Informeren over statistiek in klinisch onderzoek. Tijd:Derde woensdag in de maand, 12-13 uur 16 januari:Overeenstemming 20 februari:Hoe."

Verwante presentaties


Ads door Google