Evalueren van natuurlijke experimenten in de volksgezondheid 26 september 2014 AUV – NOSMO Symposium complexe maatschappelijke problemen Evalueren van natuurlijke experimenten in de volksgezondheid Anton Kunst Afdeling Sociale Geneeskunde AMC Universiteit van Amsterdam a.kunst@amc.uva.nl

Inleiding (1) Maatschappij en gezondheid Inrichting van onze maatschappij heeft veel invloed op gezondheid Blijkt uit Grote verschillen in gezondheid tussen landen Grote verschilen in gezondheid binnen landen

Verschillen in gezondheid in relatie tot inkomen

Inleiding (2) Maatschappij als medicijn? Verwachting: verbetering in leefsituatie leidt tot verbetering van gezondheid “Evidence-based medicine” vraagt om toetsing van deze verwachting in experimenteel onderzoek Maar: RCT’s bijzonder lastig

Inleiding (3) is méér inkomen een goed medicijn? RCT praktisch onmogelijk (te duur) Postcodeloterij is een benadering Is RCT mogelijk van collectieve maatregelen? (bijv verandering t.a.v. bijstandsuitkering) Aangewezen op ‘natuurlijke experimenten’

Inleiding (4) doelstelling Bespreken van evaluaties van ‘natuurlijke experimenten’ om te onderzoeken of volksgezondheid verbetert bij ‘collectief beleid’ gericht op leefomstandigheden Drie voorbeelden en één conclusie

Voorbeeld 1. Optimaal design verruiming openingstijden horeca Amsterdam Op 1 April 2009 Verruiming van openingstijden voor horeca rondom Rembrandtplein en Leidseplein in Amsterdam 1 uur extra alcohol schenken + 1 ‘cool down hour’ Flankerend beleid, zoals extra politietoezicht Leidde dit tot een af- of toename van het aantal alcohol-gerelateerde incidenten?

Hot spots van alcoholincidenten, 2006-2011

Aantal incidenten/maand, 2006-2011

Trendbreuk? Regressie-analyse

% toename in het aantal incidenten in Pleingebieden per 1 april 2009 Alle incidenten 36% Naar tijdstip - van 18-22 uur 0% - van 22-02 uur 4% - van 02-06 uur 49% Naar bestemming - ziekenhuis 37% - elders 40%

Voorbeeld 1. Optimaal design Conclusies over openingstijden horeca Zoals uitgevoerd in Amsterdam 2009, leidt verruiming van openingtijden tot ongeveer 35% meer incidenten De paar studies over dit onderwerp in het buitenland komen tot vergelijkbare schattingen (circa 25%) Geeft reden voor publieke gezondheidszorg om zich met een dergelijke beleidsmaatregel te bemoeien

Voorbeeld 1. Optimaal design Conclusies over methode “Natuurlijk experiment” kan vrijwel probleemloos worden geëvalueerd, dankzij Relatief eenvoudige interventie & effect Populatiegegevens beschikbaar en vergelijkbaar (voor- & nameting; case & control)

Voorbeeld 2: preventie van alcoholgebruik door jongeren (1) In gemeenten kunnen verschillende maatregelen worden genomen om alcoholmisbruik te verminderen Meer voorlichting (jongeren, ouders, scholen) Meer regelgeving (sportvereningen, horeca, overig) Betere handhaving Vaak kan dit alleen in samenwerking met andere sectoren en externe actoren

Voorbeeld 2: preventie alcoholgebruik jongeren (2) werkt het? In weteschappelijke literatuur veel “evidence” over werkzaamheid van de verschillende soorten activiteiten Maar hoe werkt het totaalpakket aan beleid? Hoe veel effecten? Wat is daarin belangrijkst? Wij beantwoordden die vragen door een vergelijkende evaluatie van circa 65 Brabantse gemeenten

Voorbeeld 2: preventie alcoholgebruik jongeren (3) methoden Gebruik van Jeugdmonitor Brabant in 2007 en 2011 Circa 65 gemeenten in Brabant ingedeeld naar soort beleid Sterkere afname alcoholgebruik in gemeenten met meer ‘integraal ’ beleid?

Ontwikkeling in alcoholgebruik van 12-15 jarigen in Brabantse gemeenten met een ‘sterk’ versus ‘zwak’ geïntegreerd preventiebeleid

Voorbeeld 2: preventie alcoholgebruik jongeren (4) van uitkomst terug naar proces Hoe kwamen de positieve effecten tot stand? Wat zijn de lessen voor de praktijk? Vergelijking van 6 “case” gemeenten (met sterker afname alcohol) en 4 “controle gemeenten (geen afname) Semi-gestructureerde interviews met GGD beleidsmedewerkers

Hoe kwam een sterkere daling van alcoholgebruik tot stand in de “case” gemeenten?

Voorbeeld 2: preventie alcoholgebruik jongeren (5) inhoudelijke conclusies Een sterker geïntegreerd beleid kan een verschil maken In geval van Brabant: een sterkere daling van alcoholgebruik onder jongeren tot 16 jaar Doorslaggevend was de sector-brede steun voor een krachtiger beleid

Voorbeeld 2: preventie alcoholgebruik jongeren (5) conclusies over methode Evaluatie van “impact” uitbreiden tot een evaluatie van “proces” Check op plausibiliteit Ontwikkelen van verklaringen en aanbevelingen

Voorbeeld 3. Experimenten buiten de zorg (1) Evaluaties ook nodig van beleid ter verbetering van leefsituatie van mensen Veel aandacht voor directe leefomgeving van inwoners van achterstandswijken

Sociale cohesie, netwerken Kwaliteit woning-voorraad Kwaliteit openbare ruimte Overlast, onveilig-heid Sociale normen & druk Kansen op werk en opleiding

Voorbeeld 3. Experimenten buiten de zorg (2) De Wijkenaanpak Wijkenaanpak ingezet onder minister Vogelaar in 2006, en uitgevoerd vanaf medio 2008 Doel: leefsituatie en sociale positie – wonen, werken, leren, integreren en veiligheid – van mensen in 40 aandachtswijken verbeteren URBAN40 onderzoek: worden verbeteringen in leefsituatie en sociale positie gevolgd door verbeteringen in gezondheid van bewoners?

Voorbeeld 3. Experimenten buiten de zorg (3) Methoden van evaluatie Gegevens: POLS surveys 2003-2011 Uitkomstvariabelen: - lichamelijke activiteit - mentale gezondheid - algemeen ervaren gezondheid Analyse volgens quasi-experimenteel design - Voor- en nameting (2003-2008 vs. 2008-2011) - Interventie- en controle-gebieden (bijv PSM methode)

Trends in % bewoners met goede mentale gezondheid Nederland geheel Controle- wijken Aandachts-wijken 26

Trends in % bewoners dat wandelt Aandachtswijken Neder- land 27

Effect van wijkenaanpak op wandelen? Trends in aandachtswijken: - tot 2008: -0.04 - na 2008: +0.11 verschil: +0.15 Trends in rest Nederland - tot 2008: -0.01 - na 2008: +0.02 verschil: +0.03 Verschil +0.12 (95% betrouwbaarheidsinterval) (+0.02; +0.22) De doelstellingen, de werkwijze en de middelen van de gezonde wijk experimenten ondersteunen een effect op de leefstijl (zorggebruik?) van de bewoners van deze wijken ondersteunen 28

Waardoor gaan inwoners vaker wandelen na een wijkverbetering Waardoor gaan inwoners vaker wandelen na een wijkverbetering? Resultaten van literatuurstudie Vooral dankzij Meer veiligheid Mooiere omgeving Betere wandelmogelijkheden En veel minder door Méér wandelmogelijkheden Meer sociale cohesie in de buurt

Voorbeeld 3. Experimenten buiten de zorg (4) Conclusies over de Wijkenaanpak Investeren in wijken = investeren in de gezondheid van bewoners Effecten mogen vooral worden verwacht op lichamelijke activiteit en geestelijke gezondheid Nader onderzoek nodig om te bepalen welke investeringen het meeste opleveren

Voorbeeld 3. Experimenten buiten de zorg (5) Oppassen voor fout-negatieve bevindingen! Beperkt aantal waarnemingen Vergelijkbare interventies in controlegebieden Korte follow-up duur Vertrek van ‘succesvolle’ bewoners  Geen bewijs voor een effect ≠ bewijs voor geen effect

Algemene conclusie Onderzoek naar “natuurlijke experimenten” is essentieel voor volksgezondheid Toepassing van quasi-experimenteel design is vaak mogelijk Vraagt inventief gebruik van beschikbare data op populatieniveau Vaststellen van effect aanvullen met opsporen van mechanismen