De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Help! Statistiek! Doel:Informeren over statistiek in klinisch onderzoek, Tijd:Derde woensdag in de maand, 12-13 uur 16 decemberInterim analyses 20 januariMeta-analyse.

Verwante presentaties


Presentatie over: "Help! Statistiek! Doel:Informeren over statistiek in klinisch onderzoek, Tijd:Derde woensdag in de maand, 12-13 uur 16 decemberInterim analyses 20 januariMeta-analyse."— Transcript van de presentatie:

1 Help! Statistiek! Doel:Informeren over statistiek in klinisch onderzoek, Tijd:Derde woensdag in de maand, uur 16 decemberInterim analyses 20 januariMeta-analyse van diagnostische studies 17 februari Sprekers: Sacha la Bastide, Hans Burgerhof, Vaclav Fidler Doorlopende serie laagdrempelige lezingen, voor iedereen vrij toegankelijk,

2 Interim analyses Waarom een interim analyse? Opfrissen begrippen significantieniveau, power, fouten van de eerste en tweede soort Correctie voor multiple testing bij interim analyses Stopregels van Pocock, O’Brien en Fleming, en Snapinn Adaptive designs

3 Interim analyse: wat en waarom? Wat is een interim analyse? Een tussentijdse analyse, vaak bij gerandomiseerde studies, om te kijken of er reden is de studie te stoppen of aan te passen. Waarom wordt een interim analyse uitgevoerd? - Indien reeds bekend is dat de ene methode beter werkt dan de andere, is het onethisch om nog langer patiënten met de inferieure merhode te behandelen. - als parameters verkeerd geschat zijn kan de studieopzet gewijzigd worden. - verschil in bijwerkingen? Wat is het probleem? Bij vaker toetsen verandert het overall significantieniveau.

4 Fouten van eerste en tweede soort bij het uitvoeren van een statistische toets Beslissing H0 waarH0 niet waar WerkelijkheidH0 waarOKFout van de eerste soort, kans hierop: α H0 niet waarFout van de tweede soort, kans hierop: β OK Hebben middel A en B gemiddeld dezelfde bloeddrukverlaging tot gevolg (BDL)? H0: gemiddelde BDL bij middel A = gemiddelde BDL bij middel B Als α kleiner wordt, wordt β groter. Daarmee wordt de power kleiner. Kans: 1 – β (power)

5 Het klassieke probleem van de multiple testing Bij een statistische toets hanteren we significantieniveau α (in de regel 0,05). Dat wil zeggen dat we een kans ter grootte van α accepteren om ten onrechte de nulhypothese te verwerpen. Wat betekent het uitvoeren van meerdere toetsen voor de totale kans om minstens één nulhypothese ten onrechte te verwerpen (als alle nulhypothesen waar zijn)? Kanskapitalisatie!

6 Onafhankelijke toetsen Als we n onafhankelijke toetsen uitvoeren, elk met een α = 0,05, geldt voor de kans om minstens éénmaal ten onrechte een H 0 te verwerpen: Aantal toetsen noverall alpha 30, , ,994

7 Overall alfa bij interim analyses Tussentijdse toetsen en de eindtoets zijn niet onafhankelijk van elkaar (we gebruiken deels dezelfde informatie). Kernvraag: Hoe controleren we onze overall alfa, in de regel 0,05, terwijl we het onderscheidingsvermogen (0,8 of 0,9) op peil willen houden?

8 Herhaalde toetsen op cumulerende data Armitage, McPherson en Rowe (1969) Tabellen met overall alfa na herhaald toetsen voor observaties uit de Binomiale, de Normale en Exponentiële verdelingen Ter illustratie rekenen we een voorbeeld na (n patiënten worden behandeld met zowel A als B en moeten een voorkeur aangeven. H 0 :  A =  B = 0,5. We toetsen na iedere patiënt).

9 Overall alfa wordt groter, maar minder extreem dan bij onafhankelijke tests X~B(n, 0,5)

10 H 0 :  = 0,5; α = 0,01 tweezijdig (per test): totale kans op verwerpen onder H 0 = 0,00781 (1) n aantal successen voor A X ~ B(8, 0,5) P(X=0) = P(X=8) ≈ 0,0039 Verwerp H 0 X ~ B(10, 0,5) P(X  1) = P(X  9) ≈ 0,0107 Niet verwerpen X~B(n, 0,5)

11 α = 0,03 tweezijdig (per test): totale kans op verwerpen onder H0 = 0,02930 (2) n aantal successen voor A X ~ B(7, 0,5) P(X = 0) = P(X= 7) ≈ 0,0078 X ~ B(10, 0,5) P(X  1) = P(X  9) ≈ 0,0107 Verwerp H 0 P(X = 1) bij n =10 = P(X = 1) bij n = 7 en daarna nog drie maal een mislukking: 0,0547*(0,5)³ ≈ 0,0068 Overall ongeveer 2*0, *0,0068 = 0,0292

12 Voorbeeld met een continue responsievariabele (1) We willen twee groepen vergelijken met betrekking tot een continue, Normaal verdeelde, variabele. De nulhypothese luidt µ A = µ B, tegen het tweezijdige alternatief. We denken dat de standaarddeviatie in beide groepen 10 is, α = 0,05, β = 0,1 en we willen een verschil tussen de gemiddelden aantonen van 5. De steekproefgroottebepaling leidt tot n = 86 per groep n Verwerp H 0 (gemiddelde A is groter) Accepteer H 0 Verwerp H0 (gemiddelde B is groter)

13 Voorbeeld met een continue responsievariabele (2) Interim analyse bij 2 maal 43 deelnemers, beide toetsen op α = 0,05. Totale alfa ≈ 0,085 Power bij 2 * 43 is 0, n Verwerp H 0 (gemiddelde A is groter) Accepteer H 0 Verwerp H 0 (gemiddelde B is groter) 43 Pas de procedure aan, zodanig dat overall alfa = 0,05 en de power behouden blijft α per toets omlaag, dus n moet omhoog Verwachte n gaat omlaag!

14 Normaal verdeelde data Advies van Armitage, McPherson en Rowe: voor een overall alfa = 0,05 Aantal testenalfa per toets 10,050 50, , , ,007 Hoeveel toetsen moeten we uitvoeren?

15 Pocock: Groep sequentieel design overall α = 0,05, β = 0,1, variantie  ², µ 1 - µ 2 =  Aantal testen (k)Benodigd aantalTotaal maximaal Gemiddeld onder alfa per per test (n) (kn)H A test ___________________________________________________________________ 142,0442,0442,04 0, ,1246,2432,60 0, ,1148,3330,29 0, ,4349,7229,33 0, ,1450,7028,80 0, ,3553,5028,03 0, ,7955,8027,98 0,0075 aantallen vermenigvuldigen met (  /  )² Grootste winst te behalen met één interim analyse. Nauwelijks meerwaarde bij vaker dan vijf maal toetsen.

16 Continu sequentieel toetsen Gedachte: na iedere beoordeelde patiënt opnieuw toetsen Theoretische en praktische problemen –Organisatorisch lastig (trial moet ieder moment stop gezet kunnen worden) –Responsie soms een hele tijd na interventie –Groep sequentieel toetsen bijna even effectief (in termen van gemiddeld aantal patiënten) Continu sequentieel toetsen alleen uitvoeren als in een vroeg stadium een groot effect niet uitgesloten is

17 O’Brien en Fleming / Peto variabele alfa voor de toetsen Minimalisatie van het verwachte aantal benodigde patiënten onder een gegeven alternatief voor het vijf toetsen design Power test 1test 2test 3test 4test 5 _______________________________________ 0,50,00020,0040,0100,0180,042 0,750,0030,0110,0160,0190,031 0,90,0100,0170,0170,0170,021 0,950,0150,0160,0160,0160,017 Peto: alle interim analyses op 0,001 eindtoets op 0,05

18 Voorbeelden van alfa spending functies (DeMets en Lan in Statistics in Medicine, 1994)

19 Éénzijdige stopregel van Snapinn Help! Statistiek! dd 18 juni 2008: statistische aspecten van de Probioticastudie. We stoppen bij de interim analyse niet alleen op het moment dat de resultaten significant zijn (kleine P- waarde), maar ook als de een significant verschil op het eind van de studie niet langer te verwachten is (grote P- waarde). Voordeel: eindtoets kan op “normale” alfa getoetst worden; berekenen van betrouwbaarheidsintervallen op standaard wijze. Bij de overige stopregels moet een aanpassing plaats vinden voor de berekening van de betrouwbaarheids- Intervallen. Mogelijke software: EaSt (Cytel Software), PEST (John Whitehead) en S Plus Seq Trial.

20 Schematisch overzicht van de stopregel van Snapinn n verschil Interim analyse Stop, accepteer H 0 Ga door Stop, verwerp H 0 Onafhankelijke gedeblindeerde commissie!

21 Adaptive designs Als tijdens een interim analyse blijkt dat zaken anders liggen dan verwacht (aan te tonen verschil kleiner dan gedacht / gehoopt, spreiding groter dan in het verleden) kan het wenselijk zijn het design aan te passen –Grotere n –Aangepast randomisatieschema Om het significantieniveau te handhaven wordt de test statistic aangepast

22 Tsiatis en Metha (2003) Voorbeeld van aanpassing t-toets voor onafhankelijke groepen

23 Elk voordeel heb z’n nadeel De aldus bepaalde test statistic is geen “sufficient statistic”, en daarmee is de toets niet optimaal. Tsiatis en Metha: On the inefficiency of the adaptive design for monitoring clinical trials (2003) For any adaptive design, one can always construct a standard group-sequential test based on the sequential likelihood ratio test that, for any parameter value in the space of alternatives, will reject the null hypothesis earlier with higher probability, and, for any parameter not in the space of alternatives, will accept the null hypothesis earlier with higher probability.

24 Jennison en Turnbull (2006) Nuancering: het is mogelijk om met adaptive designs een kleine winst te behalen (“However, similar improvements are often achieved by nonadaptive designs with one extra analysis, avoiding the administrative complications of a preplanned adaptive design.”) Goede voorbereiding van een studie blijft bijzonder belangrijk!

25 Gebruikte literatuur Armitage, McPherson en Rowe (1969): Repeated Significance tests on Accumulating Data, Journal of the Royal Statistical Society, Series A, 132, 235 – 244 Pocock (1982): Interim Analyses for Randomized Clinical Trials: The Group Sequential Approach, Biometrics 38, 1153 – 162 Pocock (1983) Clinical trials, A Practical Approach, John Wiley & sons Schouten, HJA (1994) Klinische Statistiek Tsiatis en Mehta (2003): On the inefficiency of the adaptive design for monitoring clinical trials, Biometrika 90, 367 – 378 Tweel, I, van der (2004): Applications and efficiency of sequential tests in matched case-control studies Jennison en Turnbull (2006): Adaptive and nonadaptive group sequential tests, Biometrika 93, 1 – 21 Letter from the editor (BMJ Clinical Evidence). Interim analysis: its uses and limitations, Augustus 2007

26 Volgende keer 20 januari – 13 uur Rode Zaal Meta-analyse van diagnostische studies


Download ppt "Help! Statistiek! Doel:Informeren over statistiek in klinisch onderzoek, Tijd:Derde woensdag in de maand, 12-13 uur 16 decemberInterim analyses 20 januariMeta-analyse."

Verwante presentaties


Ads door Google