Methodologie van Clinical trials Luc Smits PhD Capaciteitsgroep Epidemiologie, UM

Eerste clinical trial James Lind: “A Treatise of the Scurvy in Three Parts” (1753) Scurvy = scheurbuik Zwellingen en bloedingen van het tandvlees en bloedingen aan de benen, fataal indien onbehandeld

Eerste clinical trial (2) 12 patiënten, 6 experimentele behandelingen: Cider Zwavelzuurhoudend drankje Azijn Zeewater Laxerend drankje Sinaasappels en citroenen

Eerste clinical trial (3) “The most sudden and visible good effects were perceived from the use of oranges and lemons, one of those who had taken them being at the end of six days fit for duty. The other was appointed nurse to the rest of the sick.”

Eerste clinical trial (4) Eerste gerandomiseerde trial: 1948 Eerste gerandomiseerde placebo-gecontroleerde trial: 1950 Vanaf midden jaren ‘50: verdere ontwikkeling methodologie clinical trials

Inhoud presentatie Validiteitsproblemen niet-experimenteel interventie-onderzoek Medicijn X en buikpijn Randomisatie Blindering “Intention to treat” principe Samenvatting resultaten Precisie: p-waarde of betrouwbaarheidsinterval? Interim analyse

Gerandomiseerde clinical trial (RCT) Trial = experiment Ondervangt validiteitsproblemen van niet-experimenteel (“observationeel”) onderzoek naar het effect van interventies  geeft best mogelijke evidence

Validiteitsproblemen bij niet-experimenteel onderzoek VOORBEELD: Medicijn X en Buikpijn Vraagstelling: Wat is het effect van X (eenmalig toegediend) bij patiënten met buikpijn op de pijnklachten, 4 uur na toediening?

Voorbeeld: Medicijn X en buikpijn Observationele studie, N=40 20 patiënten met buikpijn kregen X Aan 20 andere patiënten met buikpijn werd geen medicijn gegeven X: Bij 15 patiënten was buikpijn binnen 4 uur weg Geen X: Bij 10 patiënten was buikpijn binnen 4 uur weg

Voorbeeld: Medicijn X en buikpijn (2) DUS… X werkzaam tegen buikpijn…!?

Voorbeeld: Medicijn X en buikpijn (3) Verantwoordelijk voor waargenomen beloop (wb): Natuurlijk beloop (nb) Externe factoren (ef) Jomanda-effect (placebo-effect) Gedragsverandering naast medicatie (“advies: rustig aan doen”) Waarnemingsfout (wf) Patiënt Arts Farmacologisch effect van X (fe)

Voorbeeld: Medicijn X en buikpijn (4) Medicijngroep: wbx = nbx + efx + wfx + fex Controlegroep: wbc= nbc + efc + wfc wbx - wbc = (nbx – nbc) + (efx - efc) + (wfx - wfc) + fex We zijn geïnteresseerd in : wbx - wbc = fex

Voorbeeld: Medicijn X en buikpijn (5) Dan moet gelden dat (nbx – nbc) + (efx - efc) + (wfx - wfc) = 0 Aan voldaan als: nbx = nbc efx = efc wfx = wfc

Voorbeeld: Medicijn X en buikpijn (6) Natuurlijk beloop vergelijkbaar? nbx = nbc ? Verschillende indicatie  verschillend natuurlijk beloop (“confounding by indication”)

Voorbeeld: Medicijn X en buikpijn (7) Externe factoren vergelijkbaar? efx = efc ? Verschil in placebo-effect (bij X mogelijk wel placebo-effect, bij C niet) Verschil in gedragsverandering/advies

Voorbeeld: Medicijn X en buikpijn (8) Waarnemingsfout vergelijkbaar? vwx = vwc? Patiënt informeert sociaal wenselijk/onjuist Waarneming arts gekleurd

Randomisatie Doel: Vergelijkbaarheid van natuurlijk beloop / prognose Randomisatie moet ‘blind’ gebeuren! Onjuist: Geboortedatum/maand/jaar Volgorde van binnenkomst Doos met enveloppes

Randomisatie (2) Na randomisatie kunnen er nog verschillen tussen groepen zijn mbt bepaalde prognostische factoren  lastig! 2 meningen: Niets mee doen, dit is (per definitie) random variatie, en zit vervat in betrouwbaarheidsintervallen Corrigeren middels multivariate technieken  misschien juist introductie van bias?

Blindering “Blind”: niet op hoogte wie welke behandeling krijgt Wie blinderen? Patiënten Behandelaar(s) Meter(s) van de gezondheidsuitkomst Data-analyst

Blindering (2) Blinderen patiënten Behandelingen uiterlijk hetzelfde maken (bijv. d.m.v. placebo-medicijn) Doelen: Vergelijkbaar maken van placebo-effect Vergelijkbaar maken van gedragsveranderingen gerelateerd aan behandeling Vergelijkbaar maken van waarnemingsfouten

Blindering (3) Blinderen behandelaar(s) Behandelingen uiterlijk hetzelfde maken (bijv. d.m.v. placebo-medicijn) Doelen: Vergelijkbaar maken van gedragsadviezen / co-interventies gerelateerd aan behandeling Vergelijkbaar maken van waarnemingsfouten

Blindering (4) Blinderen meter(s) van gezondheidsuitkomst Behandelingen uiterlijk hetzelfde maken of geen informatie verstrekken over behandeling Doel: Vergelijkbaar maken van waarnemingsfouten Deze soort blindering niet altijd nodig! Bijv. bij harde uitkomstmaat zoals overlijden

Blindering (5) Blinderen data-analyst Behandeling coderen, bijv. als ‘0’ of ‘1’. Doel: Vergelijkbaar maken van ‘waarnemings’fouten Bijv. bij interim-analyse (zie later)

‘Intention to treat’ principe Drop-outs en patiënten die stoppen met de behandeling: Relatief gezonden Relatief zieken Excluderen uit de analyse? NEE want balans in risk profiel (door randomisatie) wordt zo verstoord

‘Intention to treat’ principe (2) ITT principe: Wat er ook gebeurt (stoppen medewerking, stoppen medicatie, verhuizen), patiënt blijft meegeteld worden binnen toegewezen behandelingsgroep

‘Intention to treat’ principe (3) Er moet wel minimaal 1 outcome-meting zijn Soms te achterhalen via bevolkingsregisters (overlijden) of andere ziekenhuizen ‘Last observation carried forward’

‘Intention to treat’ principe (3) ITT analyse  ‘Per-protocol’ analyse Alleen events worden beschouwd die optraden voor stoppen van de behandeling Geeft vaak een te optimistisch beeld Geeft beeld van interventie onder “perfecte omstandigheden”

Beschrijving van de resultaten Illustratie a.d.h.v. dichotome (0/1) uitkomstmaat: buikpijn Totaal Buikpijn verdwenen % Medicijn X 20 15 75% Placebo 20 10 50% RR = 75% / 50% = 1.5 RD = 75% - 50% = 25% NNT = 1/RD = 1/0.25 = 4

Precisie Validiteit vs. precisie Betrouwbaarheidsinterval: kwantificeert (im)precisie van een schatting Conventioneel: 95%-betrouwbaarheidsinterval

Precisie (2) Betekenis 95%-betrouwbaarheidsinterval (95%-BI) Niet: 95% van de waarnemingen valt hierbinnen Praktische interpretatie: Werkelijke waarde ligt met 95% zekerheid in dit interval Smal interval – precieze schatting Breed interval – onbetrouwbare schatting

Precisie (3) Kans op remissie Medicijn X: 75% [53-89%] Placebo: 50% [30-70%] RR 1.5 [0.9-2.5] RD 25% [-4-54%]

Precisie (4) Schatting + BI versus p-waarde RD=25% [-4 - 54%] p=0.10 P-waarde: refereert naar toetsing van H0 (nulhypothese): “er is geen verschil” Zegt niets over sterkte van het effect Klinische praktijk: “Hoe effectief” belangrijker dan “Of effectief”

Precisie (5) Klinische significantie vs Statistische significantie 40.000 pt met buikpijn remissie 20.000: X 75% 51% 20.000: placebo 50% 50% p<0.0000001 p<0.05 Laat je niet misleiden door een lage p-waarde!! Omgekeerd: een hoge p-waarde bewijst niet per se afwezigheid van effect, bij kleine studie is er gewoon te weinig evidence

Interim analyse Analyse van resultaten voordat beoogde aantal patiënten is bereikt RCT’s met lange follow-up Doel: identificeren onverwacht sterke gunstige effecten / schadelijke bijwerkingen Meerdere momenten, vooraf gespecificeerd Uitvoerder: NIET onderzoeker maar onafhankelijk Data Monitoring Committee (DMC)

Interim analyse (2) Op basis van interim-analyse: beslissing stoppen / doorgaan met trial ‘Stopping rule’ interim data suggereren effect in de buurt van aan te tonen minimaal klinisch relevant effect (Erel) --> DOORGAAN effect >>> Erel --> STOPPEN, verder randomiseren ethisch onverantwoord ongunstige bijwerkingen, geen effect --> STOPPEN

Interim analyse (3) Stopping rule: niet heilig niet alle mogelijkheden voorzienbaar andere argumenten spelen ook rol (eerdere kennis, voortschrijdende kennis, statistische, medische en ethische argumenten)

Interim analyse (4) Pitfalls te vroeg stoppen ‘multiple comparisons’ extreme verschillen bij een kleine N: ongeloofwaardig liever even doorgaan om te kijken of trend zich voortzet ‘multiple comparisons’ bij vaak vergelijken kans op onterechte bevinding groot eisen aan precisie strenger

James Lind Geen randomisatie Geen blindering Precisie??? patiënten behandelaar effectmaat Precisie???

Toch twijfelt niemand meer aan de werkzaamheid van citrusvruchten tegen scheurbuik... HOE KAN DAT??? …toch niet zo’n slechte trial?

Lind heeft geluk gehad want: Effect was zeer sterk Overige behandelingsmethoden waren schadelijk Placebo-effect was verwaarloosbaar (ernstige aandoening) Daarnaast: Publicatiebias ‘History’ bias

Voornaamste bron: Hofman A. Grobbee DE, Lubsen J, m. m. v Voornaamste bron: Hofman A. Grobbee DE, Lubsen J, m.m.v. Tijssen JCP, Verbeek ALM. Klinische epidemiologie (hoofdstuk 5, therapie), Utrecht: Wetenschappelijke uitgeverij Bunge, 1996. (tevens aanbevolen literatuur).

Dank voor jullie aandacht!