De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Sociaal en Cultureel Planbureau Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013 1 Propensity score matching en buurtinterventies.

Verwante presentaties


Presentatie over: "Sociaal en Cultureel Planbureau Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013 1 Propensity score matching en buurtinterventies."— Transcript van de presentatie:

1 Sociaal en Cultureel Planbureau Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart Propensity score matching en buurtinterventies

2 Sociaal en Cultureel Planbureau Inhoud 2 1)Monitoring van stadswijken 2)Effecten van interventies op stadswijken? 3)Quasi-experimenteel evaluatieonderzoek: propensity score matching 4)Illustratie: Effect van herstructurering op leefbaarheid en veiligheid in stadswijken Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

3 Sociaal en Cultureel Planbureau Monitoring (1) 3 Overlast en onveiligheid (leefbaarometerscore) in de 40 aandachtswijken Bron: CBS Outcomemonitor Wijkenaanpak 2012 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

4 Sociaal en Cultureel Planbureau 4 Overlast en onveiligheid (leefbaarometerscore) in de 40 aandachtswijken en het stedelijk gemiddelde Monitoring (2) Bron: CBS Outcomemonitor Wijkenaanpak 2012 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

5 Sociaal en Cultureel Planbureau Essentie Buurtgegevens lenen zich voor monitoring. Buurtgegevens kunnen ook gebruikt worden om uitspraken over de effectiviteit van interventies te doen. Daarvoor is het monitoren van een trend in de groep wijken met een interventie niet voldoende. Ook het monitoren van een trend in de interventiegroep t.o.v. het stedelijk gemiddelde is niet voldoende. Om iets over het effect van de interventie te kunnen zeggen is het nuttig om de buurten met een interventie te koppelen aan vergelijkbare buurten zonder interventie. 5 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

6 Sociaal en Cultureel Planbureau Effectstudies (1) Effectstudies proberen causale relatie tussen interventie en uitkomstmaat vast te stellen: Heeft invoering van een bepaalde interventie geleid tot effecten? Kwaliteit van effectstudies is onder meer afhankelijk van: -- Interne validiteit -- Externe validiteit 6 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

7 Sociaal en Cultureel Planbureau Effectstudies (2) Verschillende designs beschikbaar om te proberen uitspraken te doen over effectiviteit van interventies. Belangrijk verschil tussen experimenteel design en quasi-experimenteel design is dat bij de laatste geen random toewijzing heeft plaatsgevonden van de interventie. 7 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

8 Sociaal en Cultureel Planbureau Quasi-experimenteel onderzoek Verschillende soorten designs beschikbaar. Maar welk design het meest bruikbaar is hangt onder meer af van de wijze waarop de interventie is opgelegd en je data. Betekent soms veel werk en kan het resultaat zijn dat het gekozen design zich toch niet leent voor jouw data. 8 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

9 Sociaal en Cultureel Planbureau Propensity Score Matching (1) Propensity Score Matching is een voorbeeld van quasi-experimenteel design. Tracht de experimentele groep te koppelen aan een zo goed mogelijk gelijkende controlegroep. 9 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

10 Sociaal en Cultureel Planbureau Propensity Score Matching (2) Stappen: 1)Vaststellen van interventie (bijv. herstructurering, aanleg speelvoorzieningen, verkoop sociale huurwoningen, krachtwijkenbeleid), en begin en eind interventie. 2)Vaststellen van uitkomstmaten (waar is beleid op gericht geweest?) 3)Vaststellen van controlegroep 4)Kwaliteit matching 10 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

11 Sociaal en Cultureel Planbureau Propensity Score Matching (3) Vaststellen van controlegroep  Voor elke experimentele wijk vergelijkbare wijk zonder interventie vinden op basis van afzonderlijke buurt kenmerken. Buurt met hoog % huur aan andere buurt met hoog % huur.  Probleem a) hoe meer kenmerken gebruikt worden, hoe kleiner kans op match. b) veel interventies ingezet op buurten met stapeling van specifieke kenmerken.  Dat experimentele groep verschilt van controlegroep is niet uniek. Begin jaren ‘80 Propensity Score Matching ontwikkeld (Rosenbaum en Rubin). 11 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

12 Sociaal en Cultureel Planbureau Propensity Score Matching (4) Alle kenmerken waarop gematcht wordt, worden samengevoegd in 1 score: propensity score. De combinatie van kenmerken in experimentele groep wordt ook waargenomen in controlegroep. 3a) Bereken propensity score (logistisch model) Afhankelijke variabele: kans op interventie (0=geen ingreep; 1=ingreep). Onafhankelijke variabelen: buurtkenmerken die (mogelijk) invloed hebben op de kans op ingreep en op de uitkomstmaat (gemeten na de interventie). 3b) Koppel experimentele buurten aan controlebuurten op grond van propensity score (verschillende matchingsalgoritmes). 12 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

13 Sociaal en Cultureel Planbureau Kwaliteit matching 1)Het is van groot belang dat de buurtkenmerken tussen de experimentele groep en controlegroep overeenkomen. Als de kenmerken van de groepen veel verschillen, moet het model herzien worden (toevoegen hogere functies, interacties, andere variabelen). 2) Zijn er veel experimentele buurten die niet gekoppeld kunnen worden? (o.m. overlap; common support) Wat voor buurten zijn dit? SOMS PAST PSM GEWOON NIET BIJ JE DATA….helaas…. op naar een ander design (regressie-discontinuïteit?) 13 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013 Propensity Score Matching (5)

14 Sociaal en Cultureel Planbureau Effecten? Nameting verminderen met voormeting voor de experimentele groep en controlegroep. Hoe verhoudt de ontwikkeling tussen deze twee groepen? Difference in difference. Testen op significantie. Volgens PSM zou je mogen concluderen dat er een effect van de interventie is als de ontwikkeling (bijv. leefbaarheid) in de experimentele groep groter is dan in de controlegroep. 14 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

15 Sociaal en Cultureel Planbureau Illustratie: Herstructurering woningvoorraad (1) In hoeverre is herstructurering effectief geweest bij het verbeteren van van leefbaarheid en veiligheid in stadswijken? 1)Vaststellen herstructureringsinterventie in 4ppc-gebieden en interventieperiode 15 Algemene herstructurering Interventieperiode1 januari 2000 – 31 december 2006 Interventie aandeel onttrokken woningen minimaal 3% van de woningvoorraad in minimaal 100 woningen onttrokken en minimaal 100 woningen nieuwgebouwd Aantal experimentele buurten100 Aantal experimentele buurten in quasi- experiment 70 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

16 Sociaal en Cultureel Planbureau Illustratie: Herstructurering woningvoorraad (2) 2) Vaststellen uitkomstmaten: wat zijn de doelen van het beleid geweest? -- Leefbaarheid verbeteren (tevredenheid met woonomgeving). -- Veiligheid verbeteren (perceptie op voorkomen van criminaliteit en overlast; onveiligheidsgevoelens). -- Sociale cohesie vergroten. 16 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

17 Sociaal en Cultureel Planbureau 3) Vaststellen controlegroep  schat propensity scores (logistische regressie).  Kan in SPSS, maar STATA biedt veel meer opties (m.n. bij de matching hierna!). 17 Illustratie: Herstructurering woningvoorraad (2) Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

18 Sociaal en Cultureel Planbureau 4)  Koppel de experimentele wijken aan wijken met een vergelijkbare propensity score, die echter niet de interventie opgelegd hebben gekregen (keuze uit verschillende matchingsstrategieën). 18 postcodeherstructurering?propensity score 3581 nee 0, nee 0, ja 0, nee 0, ja 0, nee 0, ja 0, nee 0, nee 0, nee 0, nee 0, nee 0, nee 0, nee 0,634 Experimentele buurt die je kunt koppelen aan een buurt zonder interventie. Controlebuurt die gekoppeld wordt aan experimentele buurt. Illustratie: Herstructurering woningvoorraad (3) Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

19 Sociaal en Cultureel Planbureau  Uiteindelijk 70 herstructureringsbuurten kunnen koppelen aan vergelijkbare buurten zonder interventie.  Voormeting komt overeen, maar nog niet perfect.  Ontwikkeling in experimentele buurten gunstiger geweest. 19 Illustratie: Herstructurering woningvoorraad (4) Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

20 Sociaal en Cultureel Planbureau Problemen bij dit voorbeeld (/PSM algemeen) Conceptueel  Inzicht in omvang effecten, maar niet de achterliggende mechanismen. Welke mechanismen zitten achter de effectiviteit van herstructurering?  verplaatsing van mensen?  Geen duidelijk begin/eind van interventies.  Rol van andere interventies?  Wat zijn de kosten en de baten van interventies? Modeltechnisch  Niet-opgenomen variabelen die kans op interventie beïnvloeden (modelselectie is zeer belangrijk).  Groepen komen soms onvoldoende met elkaar overeen na matching 20 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

21 Sociaal en Cultureel Planbureau Literatuur  Propensity scores for the estimation of average treatment effects in observational studies (L. Grilli & C. Rampichini)  Some practical guidance for the implementation of propensity score matching (M. Caliendo & S. Kopeinig)  Propensity Score Matching for social epidemiology (M. Oakes & P.J. Johonson)  Matching and Propensity Scores (M. Oakes, in P.M. Steiner) 21 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013


Download ppt "Sociaal en Cultureel Planbureau Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013 1 Propensity score matching en buurtinterventies."

Verwante presentaties


Ads door Google