Evaluatie armoedebeleid Amsterdam Toepassing van quasi-experimenteel design in een evaluatiecontext Jan de Ridder Bestuurder/directeur RMA 19 juni 2018

Inhoud presentatie Aanleiding, afperking, onderzoeksvraag Aantonen van impact Onderzoeksopzet Resultaten Kanttekeningen Stellingen en aanbevelingen 2

Aanleiding en doel onderzoek armoedebeleid Extra impuls (ruim 20 miljoen) bij begin coalitieperiode 2014 Verzoek van de gemeenteraad Doel Inzicht in bijdrage intensivering aan “beter mee doen”. Intensivering: vele regelingen voor vele doelgroepen Centrale onderzoeksvraag Welke doelgroepen maken gebruik van de armoedevoorzieningen en (impactstudie) zorgen de voorzieningen er voor dat Amsterdamse kinderen beter kunnen meedoen? 3

Afbakening en vraag impactstudie Twee sporen Breedte spoor: ontwikkelingen in gebruik Diepte spoor: kinderregelingen (20% van het budget) Onderzoeksvraag/deelvragen impactstudie Wat is de impact van het armoedebeleid op kinderen? Hoe worden de verschillende op kinderen gerichte regelingen gebruikt? Welke impact hebben de regelingen volgens professionals en ouders en kinderen? Hoe beïnvloeden op scholieren gerichte regelingen de schoolprestaties van kinderen? 3

Effect – autonome ontwikkeling Aantonen van impact; een belangrijke “terzijde” Wat is Impact? Impact en effect; verschil? Interventie en uitkomst; 3 voorwaarden voor causaal verband Onderzoeksdesign Interne en externe validiteit Klassieke experiment en quasi-experiment Het belang van de causale (finale) redenering (het causale “narratief”) Impact = Effect – autonome ontwikkeling Input Output Effect 4

Werkwijze impactstudie armoedebeleid Hoofdlijn Langslopen causale redenering met inbreng van betrokkenen en professionals Quasi-experiment: vergelijking kinderen uit minimahuishoudens en huishoudens die (net) niet in aanmerking komen voor armoederegelingen Belangrijke uitdagingen bij opzet Lange termijn perspectief Definiëring groepen Variatie in inkomen Ordenen van beschikbare data Regelingen Schoolprestaties 4

Variabelen in het model Afhankelijke variabele Succesvolle schoolloopbaan zonder vertraging Onafhankelijke variabelen Inkomen en minimaregelingen: de groepen Minimahuishoudens (4 groepen op basis van gebruik verschillende regelingen en de groep zonder gebruik) Huishoudens 110%-140% WSM en weinig vermogen Huishoudens 140%-299% WSM of <140% + teveel vermogen Huishoudens >300% WSM Bron van inkomen Opleiding ouders Land van herkomst 4

Resultaten Kans succes=48% 35% 46% 4 Inkomensgroepen (ref: 110-140%)   Model A Model B (N=4.363) (N=7.432) b Constante 0,48 ** Cohort Inkomensgroepen (ref: 110-140%) Minimum met (min. 2x) SV en (min 2x) SP en geen PC 0,13 ** 0,11 ** Minimum met alleen (min. 2x) SV en geen andere regeling 0,02 Minimum met alleen (min. 2x) SP en geen andere regeling 0,09 0,08 Minimum met PC (en meestal SV en/of SP) 0,12 * Minimum zonder regeling 0,01 inkomen 140 -299% of 0,06 <140% en teveel vermogen inkomen >300% 0,11 * Opleiding ouders (ref: laag) Midden Hoog 0,08 ** 0,06 ** Onbekend 0,04 ** Herkomst (ref: geen migratieachtergrond Westerse migratieachtergrond -0,01 -0,02 Niet-westerse migratieachtergrond -0,08 -0,07 Bron huishoudinkomen (ref: loondienst) Eigen bedrijf Bijstand Andere uitkering -0,03 -0,04 Pensioen/anders Kans succes=48% 35% 46% 4

Generaliseerbaarheid Kanttekeningen Generaliseerbaarheid Geen steekproef (totale populatie) Wel (zoals altijd) zijn resultaten plaats of tijdgebonden Het causale narratief Ambtenaren geloven het succes niet Geld dat werkt De PC-regeling (natura) die niet werkt Bruikbaarheid Complex onderzoek Generaliseren (toekomst of elders) aanvechtbaar voorzichtig! 4

Stellingen Kwantitatief onderzoek naar effecten (impact) van interventies in de sociale werkelijkheid is belangrijk, maar nooit meer dan een plaats en tijdgebonden beschrijving. Reconstructie van het causale narratief is essentieel. Inzicht in de causale (finale) keten biedt namelijk: mogelijkheden voor debat met (ervarings-) deskundigen over de beleidstheorie; meerdere aangrijpingspunten voor toetsing van het nut van de interventie; mogelijkheden voor en stimuleert het incrementeel aanpassen van het beleid. 4