Afdeling Maatschappelijke Gezondheidszorg

Presentatie over: "Afdeling Maatschappelijke Gezondheidszorg"— Transcript van de presentatie:

1 Afdeling Maatschappelijke Gezondheidszorg
Evaluatie-onderzoek: van gerandomiseerd experiment naar natuurlijke experiment Lex Burdorf Afdeling Maatschappelijke Gezondheidszorg Erasmus MC Rotterdam

2 Evaluatie-onderzoek Waarom is het gerandomiseerd experiment de gouden standaard: - randomisatie zorgt er voor dat alle mogelijke oorzaken van de uitkomstmaat gelijkelijk verdeeld zijn over interventie en controlegroep - geen allocatie bias (balans van alle (onbekende) prognostische factoren - conclusie over causaliteit …maar wat dan voor de volgende interventies in de publieke gezondheidszorg: - introductie van veiligheidsgordel in auto - verwijdering van lood uit benzine - renovatie van woningen in achterstandswijk - aanleg van fietspaden in de stad - media campagne “ik ben de bob” discuss solutions:

3 Evaluatie-onderzoek Het gerandomiseerd experiment (RCT)
Alternatieven voor niet-gerandomiseerde evaluatie van interventies: 1. Pre-post design 2. Analyse van observationele studies als niet-gerandomiseerde trials 3. Propensity score methode 4. Instrumentele variabele methode 5. ‘Interrupted time series’ analyse 6. Community intervention trials discuss solutions:

4 RCT Fit for Work Doelgroep: Uitkeringsgerechtigden met grote afstand tot arbeidsmarkt en psychische problemen en andere belemmeringen Populatie: Uitkeringsgerechtigden in de 4 grote steden (+ Capelle a/d IJssel) Subsidie: ZonMW voor Wetenschappelijk onderzoek (€550k) Min SZW, UWV, gemeentelijke SD voor interventiekosten

5 Effectevaluatie Fit4Work
Onderzoeksvragen Welke factoren bepalen het bereik, deelname en minimale drop-out? Wat zijn de effecten van F4W op ervaren psychische gezondheid, werkhervatting en sociale participatie? Wat zijn de kosten en baten tov de effecten van F4W? Primaire uitkomstmaten Ervaren psychische gezondheid (MHI-5) Werkhervatting (zelf geformuleerde vragen, data records) Gedeeltelijke werkhervatting (zelf geformuleerde vragen, data records) Sociale participatie (zelf geformuleerde vragen) Secundaire uitkomstmaten Zelfwaardering (Rosenberg Self-Esteem Scale) Veerkracht (Brief Resilient Coping Scale) Sociale problemen (zelf geformuleerde vragen) Ervaren fysieke gezondheid (SF-12) Medische consumptie (TiC-protocol)

6 Design Fit4Work studie Plaatsing op een werkplek
Begeleiding op de werkplek Aanmelding Screening Geschikt voor F4W Niet geschikt voor F4W 1e Vragenlijst (baseline) F4W groep (425) Controle groep (425) Randomisatie Verdiepte diagnose Multidisciplinaire casuistiek bespreking Opstellen integraal werkplan Uitvoeren integraal werkplan Nazorg Standaard re-integratie traject 2e vragenlijst (12 mnd) & 3e vragenlijst (24 mnd) F4W interventie

7 Randomisatie + 1e vragenlijst
Aanmelding Screening Geschikt voor F4W Niet geschikt voor F4W 1e Vragenlijst (baseline) F4W groep Controle groep Randomisatie Randomisatie Per gemeente Vastgesteld randomisatie protocol Door niet direct betrokkene Vragenlijst Primaire uitkomstmaten Secundaire uitkomstmaten Opleiding en werkervaring Sociaal-demografische kenmerken Motivatie en attitude tov werk Algemene gezondheid

8 Procesevaluatie Fit4Work
Formatieve evaluatie Is F4W aangeboden en worden de beoogde werkzame elementen ook toegepast? Hoe groot is het bereik in de doelgroep? Hoeveel personen starten met de interventie? Hoeveel personen die zijn gestart met F4W blijven deelnemen aan het programma (minimale drop-out)? Summatieve evaluatie Welke onderdelen van F4W hangen het sterkst samen met de primaire en secundaire uitkomstmaten? Welke subgroepen reageren het beste op de F4W interventie?

9 Invloed van gezondheidsbevordering op gezondheid en werk

10 Waarom is interventie niet succesvol ?
De interventie is niet succesvol: - psycho-educatie (o.a. zelf-redzaamheid) sluit niet aan bij de specifieke doelgroep - fysieke activiteiten onvoldoende gericht op verankering van meer bewegen in eigen leven - overdracht van interventie naar reïntegratiebedrijven slecht (23% in interventiegroep) - interventie staat volledig los van andere reïntegratie-activiteiten - duur van programma te kort tov noodzakelijke gezondheidsverbetering

11 Alternatieven voor randomisatie in evaluatie van interventies in de publieke gezondheidszorg
Kern probleem = bias door imbalans in bekende en onbekende prognostische factoren (allocatie bias, confouding by indication) Potentiele oplossingen: * Pre-interventie matching van controle en interventiegroep op de belangrijkste prognostische factoren * Statistische post-hoc correctie voor potentieel verstorende factoren Cousens et al. Alternatives to randomisation in the evaluation of public-health interventions: statistical analysis and causal inference. J Epid Com Health 2011 Bonell et al. Alternatives to randomisation in the evaluation of public-health interventions: design challenges and solutions. J Epid Com Health 2011 discuss solutions:

12 Evaluatie-onderzoek Het gerandomiseerd experiment (RCT)
Alternatieven voor niet-gerandomiseerde evaluatie van interventies: 1. Pre-post design 2. Analyse van observationele studies als niet-gerandomiseerde trials 3. Propensity score methode 4. Instrumentele variabele methode 5. ‘Interrupted time series’ analyse 6. Community intervention trials discuss solutions:

13 Evaluatie-onderzoek – het probleem van ecologische analyse
Messerli. NEJM 2012;367:1562-4 discuss solutions:

14 1. Pre-post design discuss solutions: Peeters TSG 2009;87:166-73

15 Gezondheid en werk bij uitkeringsgerechtigden
Studie-opzet (Rotterdam) Doelgroep: Uitkeringsgerechtigden direct verwezen naar reïntegratiebedrijf Uitkeringsgerechtigden eerst gezondheidsinterventie, daarna naar reïntegratiebedrijf Analyse: Mixed model for repeated measurements Meting 1 (maand 1) N = 1829 Meting 2 (maand 7) N = 965 RIB werk

16 Gezondheid en werk bij uitkeringsgerechtigden
Deelname Start (n=1829, 66%): 70% schriftelijke vragenlijst en 30% interviews Follow-up (n=965, 53%): 79% schriftelijke vragenlijst en 21% interviews Kenmerken Leeftijd jaar (sd 9.6) Man % Lage opleiding % Niet-Nederlandse afkomst % > 5 jaar bijstandsuitkering 43% Gestart met reïntegratie activiteit 30% Gestart in betaalde baan 5%

17 Gezondheid betaalde baan
Relatieve risico Algemene gezondheid ( )* Fysiek functioneren ( )* Ervaren pijn ( )* Geestelijke gezondheid ( ) Sociaal functioneren ( )* Vitaliteit ( )* Emotionele situatie - functioneren ( )* Fysieke situatie - functioneren ( )* * p<0.05 Betere gezondheid heeft een positieve invloed op het starten met betaalde arbeid

18 Starten met betaalde arbeid gezondheid
Effect van werk op score (sd) Algemene gezondheid (2.7)* Fysiek functioneren (3.4)* Ervaren pijn (3.6)* Geestelijke gezondheid (2.7)* Sociaal functioneren (3.8)* Vitaliteit (2.5)* Emotionele situatie- functioneren (6.8)* Fysieke situatie - functioneren (6.0)* Het starten met betaalde arbeid verbetert alle dimensies van ervaren gezondheid

19 1. Pre-post design Blozik et al. Inappropriate medication. Drugs Aging 2010;27: discuss solutions:

20 2. Analyse van observationele studies als niet-gerandomiseerde trials
Hernan et al. Epidemiology 2008;19: Observational study: Reduced risk of CHD among postmenopausal hormone users, HR = 0.68 current users vs never users (Nurses’ Health Study in USA) RCT: Intervention treatment (Estrogen plus progestin) resulted in 24% greater incidence of coronary heart disease (Womens’ Health Initiative years follow-up) discuss solutions:

21 2. Analyse van observationele studies als niet-gerandomiseerde trials
Study population: no use of any hormone therapy during prior years (1982) * Follow-up 2 years: Two non-randomized groups: ( , ) - (re-) use of oral estrogen plus progestin ( , etc) - no use of any hormone therapy Restrictions in study population (among others): - no past diagnosis of cancer, myocardial infarction, stroke - plausible energy intake, sufficient information on food Q (mimic the eligibility criteria, follow- up, treatment arm in RCT) discuss solutions:

22 2. Analyse van observationele studies als niet-gerandomiseerde trials
* Follow-up until ‘observational trials’ of 2-yr inclusion periods * Statistical analysis: adjustment for a large array of confounders, measured in 1980 and 1982, including: - education, ethnicity, time since menopause - smoking, alcohol, diet, physical activity - parental history of myocardial infarction own medical history (blood pressure, diabetes) - aspirin use Intention-to-treat analysis discuss solutions:

23 2. Analyse van observationele studies als niet-gerandomiseerde trials
* 101,819 NHS participants, selected for this analysis 34,575 women NHS re-analysis WHI RCT * HR Hormone Use 1.83 first year follow-up (CHD event) first 2 years follow-up 1.68 1.11 first 5 years follow-up 1.00 first 8 years follow-up 1.24 0.96 for entire follow-up NHS total cohort analysis current users vs never users: HR = 0.68 (95% CI ) discuss solutions:

24 2. Analyse van observationele studies als niet-gerandomiseerde trials
Explanations for the difference * Start of follow-up (estimated time of therapy initiation between Q2 and Q1 rather than date of Q2) * Definition of users and non-users (exclusion of women who stopped - in an RCT this is intention-to-treat analysis - will bias towards positive finding of hormone use) * Covariates for adjustment (at baseline or at entry in ‘trial’), crucial was distribution of time since menopause (im-balance !) * Eligibility criteria (confounding by indication) discuss solutions:

25 3. Propensity score Analyseplan:
1. Regressie analyse om factoren te bepalen die blootstelling aan interventie voorspellen (= kans dat de interventie wordt aangeboden) (bereken voor elk individu de kans op het krijgen van de interventie) 2. Deel individuen in op basis van de propensity score. Binnen elke categorie van de propensity score hebben sommige individuen daadwerkelijk de interventie gedaan, anderen niet 3. Gestratificeerde analyse op uitkomst tussen personen met de interventie en personen zonder de interventie OF match individuen op de propensity score discuss solutions:

26 3. Propensity score Boer et al. Am J Prev Med 2007;32:298-304
Will neighbourhood design influence walking in metropolitan areas ? discuss solutions:

27 3. Propensity score Toepassing in Rotterdam
Evaluatie van de re-integratie aanpak EXiT voor langdurig werklozen met (psychische) gezondheidsproblemen Onderzoek onder werklozen in diverse re-integratietrajecten discuss solutions:

28 4. Instrumentele variabele
Een instrument (variabele) dat voldoet aan de volgende criteria: 1. De variabele is een proxy voor de blootstelling aan de interventie 2. De variabele is niet direct geassocieerd met de uitkomstmaat 3. De variabele is niet geassocieerd met (niet gemeten) verstorende variabelen discuss solutions:

29 4. Instrumentele variabele
Gezondheid C BTW op sigaretten B roken 1. Instrumentele variabele: belasting 2. Als belasting alleen gezondheid kan beïnvloeden (A) door de associatie met roken (B) dan… ….kan alleen roken de verklaring zijn voor de gezondheidsverschillen

30 4. Instrumentele variabele
IV – institutioneel aanbod van vervroegd pensioen door bedrijven Gezondheid beinvloedt aanbod niet, additionele regressie analyse liet zien dat cognitieve functie voor aanbod niet van invloed was op het aanbod US HRS , elke 2 jaar follow-up meting discuss solutions:

31 5. Interrupted time series analyse
Wetten die motor-rijders verplicht een helm te dragen in relatie tot fatale ongevallen van motor-rijders (staten in de VS)

32 5. Interrupted time series analysis

33 5. Interrupted time series analysis

34 6. Community intervention trials

35 Observationele studies kunnen meer worden uitgebaat !
Conclusies Gerandomiseerde studies zijn niet altijd mogelijk en dus niet per definitie de gouden standaard ! In toenemende mate nieuwere technieken om ‘natuurlijke experimenten’ te analyseren met correctie voor allocatie bias Observationele studies kunnen meer worden uitgebaat ! Het is nodig kennis van verschillende vakgebieden integreren