Help! Statistiek! Doorlopende serie laagdrempelige lezingen, voor iedereen vrij toegankelijk. Doel: Informeren over statistiek in klinisch onderzoek. Tijd: Derde woensdag in de maand, 12-13 uur 15 april Herhaald meten met twee maten 20 mei Statistiek en ethiek 17 juni Groeicurven Sprekers: Vaclav Fidler, Hans Burgerhof, Wendy Post, Sacha la Bastide www.EpidemiologyGroningen.nl

Herhaald meten met twee maten Probleemschets uit de klinische praktijk Herhaling: hoe vergelijken we twee verschillende meetmethoden die dezelfde continue variabele willen meten (“meten met twee maten”)? Hoe doen we dat als er, per individu, herhaalde metingen zijn binnen deze meetmethoden? 1. Toets tussen twee mixed effects modellen 2. Vergelijken van CCC’s met bootstrapmethode (Concordantie Correlatie Coëfficiënt)

Probleemschets Patiënten met scoliose Diverse therapieën Hoe meet je effecten van een therapie?

Herhaling stukje theorie … Kan dit nauwkeurig? Essentieel dat de houding van de patiënt bij iedere meting dezelfde is Reproduceerbaarheid van een methode bekijken door op twee verschillende dagen dezelfde persoon te meten (zonder ingreep) Twee meetmethoden: Op de vlakke grond Op een beweegbare plaat (Der Wippe) Proef met gezonde proefpersonen op twee dagen metingen met beide methoden Herhaling stukje theorie …

Twee continue metingen De meeste meettechnieken zijn niet exact. Als een nieuwe methode (sneller / goedkoper) beschikbaar komt, willen we de resultaten vergelijken met de oude methode. Hoe vergelijken we twee continue metingen? (bloeddruk, vetpercentage, tumorvolume, …) Correlatiecoëfficiënt? Gepaarde toets? Pat X1 X2 68 64 56 59 ….. n 78 71 Waarom zijn deze methoden fout?

Voorbeeld Pat obs1 obs2 obs3 obs4 obs5 1 40 38 42 4,2 60 1 40 38 42 4,2 60 2 50 48 49 4,9 30 3 60 58 61 6,1 80 4 70 68 68 6,8 50 Pearson’s correlatiecoëfficiënt: - obs1, obs2: 1 - obs1, obs3: 0,99 - obs1, obs4: 0,99 - obs1, obs5: 0,12 Pearson’s correlatiecoëfficiënt meet de mate van lineaire samenhang

Gepaarde t-toets Pat obs1 obs5 Verschil 1 40 60 -20 2 50 30 20 3 60 80 1 40 60 2 50 30 3 60 80 4 70 50 Verschil -20 20

Bland-Altman (The Lancet, 1986) Zet het verschil van X1 en X2 af tegen het gemiddelde Sd verschil is 6.96 cm³, 95% referentie interval verschil [-14.2 , 13.7] als “limits of agreement” Gemiddelde Verschil: is -0.24 cm³

Lin’s Concordantie correlatie coëfficiënt (CCC) Om aan de bezwaren tegen Pearson’s cc en de gepaarde t-toets tegemoet te komen wordt gekeken naar het verwachte kwadratische verschil t.o.v. de 45° lijn: Bias correctie t.o.v. de 45° lijn

Terug naar de scoliose Persoon G1 W1 G2 W2 1 89 90 88 89 2 88 88 89 88 1 89 90 88 89 2 88 88 89 88 … 20 91 90 91 89 … dacht ik …. CCC grond CCC der wippe

In werkelijkheid Iedere meting 5 maal gedaan, dus herhaald meten met twee maten Persoon G1 W1 G2 W2 1 89 90 88 89 88 90 89 88 89 89 90 89 90 89 91 88 91 91 89 90 …….. 20 91 90 91 89 90 89 91 90 ……… Complexer! Meer uitdaging!

Literatuur Lin’s CCC (Biometrics, 1989) ICC McGraw en Wong (Psychological Methods, 1996) De Intraclass Correlation Coefficient geeft een schatting van de correlatie van twee waarnemingen binnen dezelfde groep (er zijn verschillende varianten van de ICC) Carrasco en Jover: samenhang CCC en ICC (Biometrics, 2003)

Voorbeeld van ICC { { { {

geen standaardoplossing Forming inferences about some Intraclass Correlation Coefficients McGraw en Wong CCC Voor ons probleem geen standaardoplossing

Mixed effects modellen Er zijn vaste (fixed) en random effecten De totale spreiding in de responsievariabele wordt met behulp van de vaste en de random effecten gesplitst Met behulp van de schattingen van de variantiecomponenten kunnen de CCC’s geschat worden Door middel van het vergelijken van diverse modellen kunnen we toetsen of er verschillen zijn

Eenvoudig voorbeeld Y Te gebruiken om ² te schatten Methode B (1) Methode A (0)

Het model

De CCC’s

Uitvoering in R lm1 <- lme(y ~ methode + dag, data=h2gr, method = "ML", random = pdBlocked(list(pdSymm(~m0+m1-1),pdDiag(~d11-1)))) Random effects: StdDev Corr m0 5.195 m0 m1 4.872 0.991 d11 Residual StdDev: 0.9178 1.164 Fixed effects: y ~ methode + dag Value Std.Error DF t-value p-value (Intercept) 88.64 1.1884 378 74.59 0.0000 methode -0.96 0.2037 378 -4.73 0.0000 dag 0.32 0.4283 378 0.75 0.4524 m0 en m1 zijn twee dummy’s voor de methode

De CCC’s > ccc(lm1,1) dag 0.8942 > ccc(lm1,2) 0.881 > cccdif(h2gr) 0.01325

Vervolg in R lm2 <- lme(y ~ methode + dag, data=h2gr, method = ML", random = pdBlocked(list(pdCompSymm(~m0+m1-1),pdDiag(~d11-1)))) StdDev Corr m0 5.036 m1 5.036 0.989 d11 Residual StdDev: 0.9178 1.164 Fixed effects: y ~ methode + dag Value Std.Error DF t-value p-value (Intercept) 88.64 1.1534 378 76.86 0.0000 methode -0.96 0.2037 378 -4.73 0.0000 dag 0.32 0.4283 378 0.75 0.4524

Vergelijking van de modellen > anova(lm1,lm2) Model df AIC BIC logLik Test L.Ratio p-value lm1 1 8 1463 1495 -723.4 lm2 2 7 1464 1491 -724.7 1 vs 2 2.718 0.0992 P > 0,05, geen significant verschil tussen de modellen We kiezen voor het kleinste model (met gelijke varianties)

Directe vergelijking van de CCC’s Om te toetsen of de CCC’s gelijk zijn heb je de standaarddeviaties nodig Afleiden van de standaarddeviatie van een CCC in dit model erg lastig Met behulp van een resampling techniek (bootstrap) kunnen we de steekproefverdeling schatten

Bootstrap methode Basisidee van de bootstrap: je hebt een steekproef ter grootte n. Schat de verdeling van de steekproefgrootheid door herhaald, met terugleggen, n waarnemingen uit je steekproefgegevens te trekken Met behulp van de steekproefgrootheid uit je bootstrap-samples kun je uitspraken doen over je onbekende populatieparameters

Bootstrap in deze situatie Er wordt met terugtrekken 20 maal een respondent getrokken. Het verschil in CCC’s tussen beide methoden wordt berekend en opgeslagen Dit proces wordt 999 maal herhaald De 1000 verschillen in CCC’s worden gebruikt om conclusies te trekken over het populatieverschil in CCC’s

Resultaten van de bootstrap res <- bootccc(h2gr,1000) hist(res) quantile(res,c(0.025,0.975)) 2.5% 97.5% -0.007627 0.031530 Dit interval bevat 0, dus er is geen significant verschil in CCC’s

Nog te doen Herhaling procedure voor andere gemeten hoeken Nadenken hoe informatie van de diverse hoeken te combineren Het verhaal opschrijven …

Volgende keer Woensdag 20 mei 12 – 13 uur Zaal 16 Statistiek en ethiek www.EpidemiologyGroningen.nl