De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Evaluatie-onderzoek: van gerandomiseerd experiment naar natuurlijke experiment Lex Burdorf Afdeling Maatschappelijke Gezondheidszorg Erasmus MC Rotterdam.

Verwante presentaties


Presentatie over: "Evaluatie-onderzoek: van gerandomiseerd experiment naar natuurlijke experiment Lex Burdorf Afdeling Maatschappelijke Gezondheidszorg Erasmus MC Rotterdam."— Transcript van de presentatie:

1 Evaluatie-onderzoek: van gerandomiseerd experiment naar natuurlijke experiment Lex Burdorf Afdeling Maatschappelijke Gezondheidszorg Erasmus MC Rotterdam

2 Waarom is het gerandomiseerd experiment de gouden standaard: -randomisatie zorgt er voor dat alle mogelijke oorzaken van de uitkomstmaat gelijkelijk verdeeld zijn over interventie en controlegroep -geen allocatie bias (balans van alle (onbekende) prognostische factoren -conclusie over causaliteit …maar wat dan voor de volgende interventies in de publieke gezondheidszorg: -introductie van veiligheidsgordel in auto -verwijdering van lood uit benzine -renovatie van woningen in achterstandswijk -aanleg van fietspaden in de stad -media campagne “ik ben de bob” Evaluatie-onderzoek

3 Het gerandomiseerd experiment (RCT) Alternatieven voor niet-gerandomiseerde evaluatie van interventies: 1. Pre-post design 2.Analyse van observationele studies als niet-gerandomiseerde trials 3.Propensity score methode 4.Instrumentele variabele methode 5.‘Interrupted time series’ analyse 6.Community intervention trials Evaluatie-onderzoek

4 Doelgroep:Uitkeringsgerechtigden met grote afstand tot arbeidsmarkt en psychische problemen en andere belemmeringen Populatie:Uitkeringsgerechtigden in de 4 grote steden (+ Capelle a/d IJssel) Subsidie:ZonMW voor Wetenschappelijk onderzoek (€550k) Min SZW, UWV, gemeentelijke SD voor interventiekosten RCT Fit for Work

5  Primaire uitkomstmaten  Ervaren psychische gezondheid (MHI-5)  Werkhervatting (zelf geformuleerde vragen, data records)  Gedeeltelijke werkhervatting (zelf geformuleerde vragen, data records)  Sociale participatie (zelf geformuleerde vragen) Effectevaluatie Fit4Work  Secundaire uitkomstmaten  Zelfwaardering (Rosenberg Self-Esteem Scale)  Veerkracht (Brief Resilient Coping Scale)  Sociale problemen (zelf geformuleerde vragen)  Ervaren fysieke gezondheid (SF-12)  Medische consumptie (TiC-protocol)  Onderzoeksvragen  Welke factoren bepalen het bereik, deelname en minimale drop-out?  Wat zijn de effecten van F4W op ervaren psychische gezondheid, werkhervatting en sociale participatie?  Wat zijn de kosten en baten tov de effecten van F4W?

6 Plaatsing op een werkplek Begeleiding op de werkplek Aanmelding Screening Geschikt voor F4WNiet geschikt voor F4W 1e Vragenlijst (baseline) F4W groep (425)Controle groep (425) Randomisatie Verdiepte diagnose Multidisciplinaire casuistiek bespreking Opstellen integraal werkplan Uitvoeren integraal werkplan Nazorg Standaard re-integratie traject 2e vragenlijst (12 mnd) & 3e vragenlijst (24 mnd) F4W interventie Design Fit4Work studie

7 Aanmelding Screening Geschikt voor F4WNiet geschikt voor F4W 1e Vragenlijst (baseline) F4W groepControle groep Randomisatie Randomisatie + 1e vragenlijst Randomisatie  Per gemeente  Vastgesteld randomisatie protocol  Door niet direct betrokkene Vragenlijst  Primaire uitkomstmaten  Secundaire uitkomstmaten  Opleiding en werkervaring  Sociaal-demografische kenmerken  Motivatie en attitude tov werk  Algemene gezondheid

8 Procesevaluatie Fit4Work  Formatieve evaluatie  Is F4W aangeboden en worden de beoogde werkzame elementen ook toegepast?  Hoe groot is het bereik in de doelgroep?  Hoeveel personen starten met de interventie?  Hoeveel personen die zijn gestart met F4W blijven deelnemen aan het programma (minimale drop- out)?  Summatieve evaluatie  Welke onderdelen van F4W hangen het sterkst samen met de primaire en secundaire uitkomstmaten?  Welke subgroepen reageren het beste op de F4W interventie?

9 Invloed van gezondheidsbevordering op gezondheid en werk

10 Waarom is interventie niet succesvol ? De interventie is niet succesvol: -psycho-educatie (o.a. zelf-redzaamheid) sluit niet aan bij de specifieke doelgroep -fysieke activiteiten onvoldoende gericht op verankering van meer bewegen in eigen leven -overdracht van interventie naar reïntegratiebedrijven slecht (23% in interventiegroep) -interventie staat volledig los van andere reïntegratie-activiteiten -duur van programma te kort tov noodzakelijke gezondheidsverbetering

11 Kern probleem =bias door imbalans in bekende en onbekende prognostische factoren ( allocatie bias, confouding by indication ) Potentiele oplossingen: *Pre-interventie matching van controle en interventiegroep op de belangrijkste prognostische factoren *Statistische post-hoc correctie voor potentieel verstorende factoren Cousens et al. Alternatives to randomisation in the evaluation of public-health interventions: statistical analysis and causal inference. J Epid Com Health 2011 Bonell et al. Alternatives to randomisation in the evaluation of public-health interventions: design challenges and solutions. J Epid Com Health 2011 Alternatieven voor randomisatie in evaluatie van interventies in de publieke gezondheidszorg

12 Het gerandomiseerd experiment (RCT) Alternatieven voor niet-gerandomiseerde evaluatie van interventies: 1. Pre-post design 2.Analyse van observationele studies als niet-gerandomiseerde trials 3.Propensity score methode 4.Instrumentele variabele methode 5.‘Interrupted time series’ analyse 6.Community intervention trials Evaluatie-onderzoek

13 Evaluatie-onderzoek – het probleem van ecologische analyse Messerli. NEJM 2012;367:1562-4

14 1. Pre-post design Peeters TSG 2009;87:166-73

15 Gezondheid en werk bij uitkeringsgerechtigden Studie-opzet (Rotterdam) Doelgroep: Uitkeringsgerechtigden direct verwezen naar reïntegratiebedrijf Uitkeringsgerechtigden eerst gezondheidsinterventie, daarna naar reïntegratiebedrijf Analyse: Mixed model for repeated measurements Meting 1 (maand 1) N = 1829 Meting 2 (maand 7) N = 965 RIB werk

16 Deelname Start (n=1829, 66%): 70% schriftelijke vragenlijst en 30% interviews Follow-up (n=965, 53%): 79% schriftelijke vragenlijst en 21% interviews Kenmerken  Leeftijd39 jaar (sd 9.6)  Man 49%  Lage opleiding 57%  Niet-Nederlandse afkomst 75%  > 5 jaar bijstandsuitkering 43% Gestart met reïntegratie activiteit 30% Gestart in betaalde baan 5% Gezondheid en werk bij uitkeringsgerechtigden

17 Gezondheid betaalde baan Relatieve risico Algemene gezondheid1.57 ( )* Fysiek functioneren2.76 ( )* Ervaren pijn1.92 ( )* Geestelijke gezondheid1.19 ( ) Sociaal functioneren1.54 ( )* Vitaliteit1.48 ( )* Emotionele situatie - functioneren1.44 ( )* Fysieke situatie - functioneren1.72 ( )* * p<0.05  Betere gezondheid heeft een positieve invloed op het starten met betaalde arbeid

18 Starten met betaalde arbeid gezondheid Effect van werk op score (sd) Algemene gezondheid+ 7.0 (2.7)* Fysiek functioneren+ 9.2 (3.4)* Ervaren pijn (3.6)* Geestelijke gezondheid (2.7)* Sociaal functioneren (3.8)* Vitaliteit+ 7.8 (2.5)* Emotionele situatie- functioneren (6.8)* Fysieke situatie - functioneren (6.0)*  Het starten met betaalde arbeid verbetert alle dimensies van ervaren gezondheid

19 Blozik et al. Inappropriate medication. Drugs Aging 2010;27: Pre-post design

20 Hernan et al. Epidemiology 2008;19: Observational study: Reduced risk of CHD among postmenopausal hormone users, HR = 0.68 current users vs never users (Nurses’ Health Study in USA) RCT: Intervention treatment (Estrogen plus progestin) resulted in 24% greater incidence of coronary heart disease (Womens’ Health Initiative years follow-up) 2. Analyse van observationele studies als niet- gerandomiseerde trials

21 Study population:no use of any hormone therapy during prior 2 years (1982) *Follow-up 2 years:Two non-randomized groups: ( , )-(re-) use of oral estrogen plus progestin ( , etc)- no use of any hormone therapy Restrictions in study population (among others): -no past diagnosis of cancer, myocardial infarction, stroke -plausible energy intake, sufficient information on food Q (mimic the eligibility criteria, follow- up, treatment arm in RCT) 2. Analyse van observationele studies als niet- gerandomiseerde trials

22 *Follow-up until ‘observational trials’ of 2-yr inclusion periods *Statistical analysis:adjustment for a large array of confounders, measured in 1980 and 1982, including: - education, ethnicity, time since menopause - smoking, alcohol, diet, physical activity - parental history of myocardial infarction - own medical history (blood pressure, diabetes) - aspirin use Intention-to-treat analysis 2. Analyse van observationele studies als niet- gerandomiseerde trials

23 *101,819 NHS participants, selected for this analysis 34,575 women NHS re-analysisWHI RCT *HR Hormone Use1.83 first year follow-up (CHD event)1.42 first 2 years follow-up first 5 years follow-up 1.00 first 8 years follow-up for entire follow-up NHS total cohort analysis current users vs never users: HR = 0.68 (95% CI ) 2. Analyse van observationele studies als niet- gerandomiseerde trials

24 Explanations for the difference *Start of follow-up (estimated time of therapy initiation between Q2 and Q1 rather than date of Q2) *Definition of users and non-users (exclusion of women who stopped - in an RCT this is intention-to-treat analysis - will bias towards positive finding of hormone use) *Covariates for adjustment (at baseline or at entry in ‘trial’), crucial was distribution of time since menopause (im-balance !) *Eligibility criteria (confounding by indication) 2. Analyse van observationele studies als niet- gerandomiseerde trials

25 Analyseplan: 1.Regressie analyse om factoren te bepalen die blootstelling aan interventie voorspellen (= kans dat de interventie wordt aangeboden) (bereken voor elk individu de kans op het krijgen van de interventie) 2.Deel individuen in op basis van de propensity score. Binnen elke categorie van de propensity score hebben sommige individuen daadwerkelijk de interventie gedaan, anderen niet 3.Gestratificeerde analyse op uitkomst tussen personen met de interventie en personen zonder de interventie OF match individuen op de propensity score 3. Propensity score

26 Boer et al. Am J Prev Med 2007;32: Will neighbourhood design influence walking in metropolitan areas ? 3. Propensity score

27 Toepassing in Rotterdam Evaluatie van de re-integratie aanpak EXiT voor langdurig werklozen met (psychische) gezondheidsproblemen Onderzoek onder werklozen in diverse re-integratietrajecten 3. Propensity score

28 Een instrument (variabele) dat voldoet aan de volgende criteria: 1.De variabele is een proxy voor de blootstelling aan de interventie 2.De variabele is niet direct geassocieerd met de uitkomstmaat 3.De variabele is niet geassocieerd met (niet gemeten) verstorende variabelen 4. Instrumentele variabele

29 Gezondheid roken BTW op sigaretten A B C 1.Instrumentele variabele: belasting 2.Als belasting alleen gezondheid kan beïnvloeden (A) door de associatie met roken (B) dan… ….kan alleen roken de verklaring zijn voor de gezondheidsverschillen 4. Instrumentele variabele

30 IV – institutioneel aanbod van vervroegd pensioen door bedrijven Gezondheid beinvloedt aanbod niet, additionele regressie analyse liet zien dat cognitieve functie voor aanbod niet van invloed was op het aanbod US HRS , elke 2 jaar follow-up meting

31 Wetten die motor-rijders verplicht een helm te dragen in relatie tot fatale ongevallen van motor-rijders (staten in de VS) 5. Interrupted time series analyse

32 5. Interrupted time series analysis

33

34 6. Community intervention trials

35 Gerandomiseerde studies zijn niet altijd mogelijk en dus niet per definitie de gouden standaard ! In toenemende mate nieuwere technieken om ‘natuurlijke experimenten’ te analyseren met correctie voor allocatie bias Observationele studies kunnen meer worden uitgebaat ! Het is nodig kennis van verschillende vakgebieden integreren Conclusies


Download ppt "Evaluatie-onderzoek: van gerandomiseerd experiment naar natuurlijke experiment Lex Burdorf Afdeling Maatschappelijke Gezondheidszorg Erasmus MC Rotterdam."

Verwante presentaties


Ads door Google