Gebruik van buurtgegevens in evaluatieonderzoek Propensity score matching en buurtinterventies Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

Inhoud Monitoring van stadswijken Effecten van interventies op stadswijken? Quasi-experimenteel evaluatieonderzoek: propensity score matching Illustratie: Effect van herstructurering op leefbaarheid en veiligheid in stadswijken Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

Monitoring (1) Overlast en onveiligheid (leefbaarometerscore) in de 40 aandachtswijken 2006-2010 Bron: CBS Outcomemonitor Wijkenaanpak 2012 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

Monitoring (2) Overlast en onveiligheid (leefbaarometerscore) in de 40 aandachtswijken en het stedelijk gemiddelde 2006-2010 Bron: CBS Outcomemonitor Wijkenaanpak 2012 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

Essentie Buurtgegevens lenen zich voor monitoring. Buurtgegevens kunnen ook gebruikt worden om uitspraken over de effectiviteit van interventies te doen. Daarvoor is het monitoren van een trend in de groep wijken met een interventie niet voldoende. Ook het monitoren van een trend in de interventiegroep t.o.v. het stedelijk gemiddelde is niet voldoende. Om iets over het effect van de interventie te kunnen zeggen is het nuttig om de buurten met een interventie te koppelen aan vergelijkbare buurten zonder interventie. Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

Effectstudies (1) Effectstudies proberen causale relatie tussen interventie en uitkomstmaat vast te stellen: Heeft invoering van een bepaalde interventie geleid tot effecten? Kwaliteit van effectstudies is onder meer afhankelijk van: -- Interne validiteit -- Externe validiteit Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

Effectstudies (2) Verschillende designs beschikbaar om te proberen uitspraken te doen over effectiviteit van interventies. Belangrijk verschil tussen experimenteel design en quasi-experimenteel design is dat bij de laatste geen random toewijzing heeft plaatsgevonden van de interventie. Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

Quasi-experimenteel onderzoek Verschillende soorten designs beschikbaar. Maar welk design het meest bruikbaar is hangt onder meer af van de wijze waarop de interventie is opgelegd en je data. Betekent soms veel werk en kan het resultaat zijn dat het gekozen design zich toch niet leent voor jouw data. Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

Propensity Score Matching (1) Propensity Score Matching is een voorbeeld van quasi-experimenteel design. Tracht de experimentele groep te koppelen aan een zo goed mogelijk gelijkende controlegroep. Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

Propensity Score Matching (2) Stappen: Vaststellen van interventie (bijv. herstructurering, aanleg speelvoorzieningen, verkoop sociale huurwoningen, krachtwijkenbeleid), en begin en eind interventie. Vaststellen van uitkomstmaten (waar is beleid op gericht geweest?) Vaststellen van controlegroep Kwaliteit matching Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

Propensity Score Matching (3) Vaststellen van controlegroep Voor elke experimentele wijk vergelijkbare wijk zonder interventie vinden op basis van afzonderlijke buurt kenmerken. Buurt met hoog % huur aan andere buurt met hoog % huur. Probleem a) hoe meer kenmerken gebruikt worden, hoe kleiner kans op match. b) veel interventies ingezet op buurten met stapeling van specifieke kenmerken.  Dat experimentele groep verschilt van controlegroep is niet uniek. Begin jaren ‘80 Propensity Score Matching ontwikkeld (Rosenbaum en Rubin). Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

Propensity Score Matching (4) Alle kenmerken waarop gematcht wordt, worden samengevoegd in 1 score: propensity score. De combinatie van kenmerken in experimentele groep wordt ook waargenomen in controlegroep. 3a) Bereken propensity score (logistisch model) Afhankelijke variabele: kans op interventie (0=geen ingreep; 1=ingreep). Onafhankelijke variabelen: buurtkenmerken die (mogelijk) invloed hebben op de kans op ingreep en op de uitkomstmaat (gemeten na de interventie). 3b) Koppel experimentele buurten aan controlebuurten op grond van propensity score (verschillende matchingsalgoritmes). Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

Propensity Score Matching (5) Kwaliteit matching Het is van groot belang dat de buurtkenmerken tussen de experimentele groep en controlegroep overeenkomen. Als de kenmerken van de groepen veel verschillen, moet het model herzien worden (toevoegen hogere functies, interacties, andere variabelen). 2) Zijn er veel experimentele buurten die niet gekoppeld kunnen worden? (o.m. overlap; common support) Wat voor buurten zijn dit? SOMS PAST PSM GEWOON NIET BIJ JE DATA….helaas…. op naar een ander design (regressie-discontinuïteit?) Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

Effecten? Nameting verminderen met voormeting voor de experimentele groep en controlegroep. Hoe verhoudt de ontwikkeling tussen deze twee groepen? Difference in difference. Testen op significantie. Volgens PSM zou je mogen concluderen dat er een effect van de interventie is als de ontwikkeling (bijv. leefbaarheid) in de experimentele groep groter is dan in de controlegroep. Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

Illustratie: Herstructurering woningvoorraad (1) In hoeverre is herstructurering effectief geweest bij het verbeteren van van leefbaarheid en veiligheid in stadswijken? Vaststellen herstructureringsinterventie in 4ppc-gebieden en interventieperiode   Algemene herstructurering Interventieperiode 1 januari 2000 – 31 december 2006 Interventie aandeel onttrokken woningen minimaal 3% van de woningvoorraad in 2000 + minimaal 100 woningen onttrokken en minimaal 100 woningen nieuwgebouwd Aantal experimentele buurten 100 Aantal experimentele buurten in quasi-experiment 70 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

Illustratie: Herstructurering woningvoorraad (2) 2) Vaststellen uitkomstmaten: wat zijn de doelen van het beleid geweest? -- Leefbaarheid verbeteren (tevredenheid met woonomgeving). -- Veiligheid verbeteren (perceptie op voorkomen van criminaliteit en overlast; onveiligheidsgevoelens). -- Sociale cohesie vergroten. Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

Illustratie: Herstructurering woningvoorraad (2) 3) Vaststellen controlegroep  schat propensity scores (logistische regressie).  Kan in SPSS, maar STATA biedt veel meer opties (m.n. bij de matching hierna!). Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

Illustratie: Herstructurering woningvoorraad (3) 4)  Koppel de experimentele wijken aan wijken met een vergelijkbare propensity score, die echter niet de interventie opgelegd hebben gekregen (keuze uit verschillende matchingsstrategieën) . Experimentele buurt die je kunt koppelen aan een buurt zonder interventie. postcode herstructurering? propensity score 3581 nee 0,153 3562 0,173 3532 ja 0,187 3523 0,216 3525 0,257 3582 0,281 3555 0,295 3531 0,307 3554 0,321 3552 0,360 3564 0,381 3561 0,418 3526 0,500 3527 0,634 Controlebuurt die gekoppeld wordt aan experimentele buurt. Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

Illustratie: Herstructurering woningvoorraad (4)  Uiteindelijk 70 herstructureringsbuurten kunnen koppelen aan vergelijkbare buurten zonder interventie.  Voormeting komt overeen, maar nog niet perfect.  Ontwikkeling in experimentele buurten gunstiger geweest. Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

Problemen bij dit voorbeeld (/PSM algemeen) Conceptueel Inzicht in omvang effecten, maar niet de achterliggende mechanismen. Welke mechanismen zitten achter de effectiviteit van herstructurering?  verplaatsing van mensen? Geen duidelijk begin/eind van interventies. Rol van andere interventies?  Wat zijn de kosten en de baten van interventies? Modeltechnisch Niet-opgenomen variabelen die kans op interventie beïnvloeden (modelselectie is zeer belangrijk). Groepen komen soms onvoldoende met elkaar overeen na matching Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

Literatuur Propensity scores for the estimation of average treatment effects in observational studies (L. Grilli & C. Rampichini) Some practical guidance for the implementation of propensity score matching (M. Caliendo & S. Kopeinig) Propensity Score Matching for social epidemiology (M. Oakes & P.J. Johonson) Matching and Propensity Scores (M. Oakes, in P.M. Steiner) Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013