Theoriegestuurde evaluatie

Slides:



Advertisements
Verwante presentaties
Effectieve sociale interventies: wat werkt?
Advertisements

Initiatief Bijstellen Analyse Evaluatie Probleemstelling Netwerken
Onderzoek naar competentiegericht beoordelen in het groene onderwijs
26/06/2014 | pag. 1 Jong in Gent en Antwerpen een inleiding waarin ook de besluiten al worden verklapt (tevens een poging om heel veel logo’s op één slide.
De bijdrage van de rechtssociologie aan de verbetering van: DE WETGEVING (?) Gert-Jan Veerman.
Aspecten van evaluatieonderzoek
Uiterlijke structuur aanbrengen
Inkomenseffecten van woningbouw workshop evaluatieonderzoek 28 maart 2013 Dr. R. Willemse Teamleider beleidsonderzoek Rekenkamer Rotterdam.
Passende ambities, een jaar later Vasco Lub Bureau voor Sociale Argumentatie
Gedragsproblemen
Vitamine G1 Effecten van een groene omgeving op gezondheid, welzijn en sociale veiligheid J. Maas.
Geert Bourgeois Viceminister-president Vlaams minister van Bestuurszaken, Binnenlands Bestuur, Inburgering, Toerisme en Vlaamse Rand.
Masterroute Sociologie van Gezondheid, Welzijn en Zorg
SVEB Plezier en Respect in Voetbal Sport als belangrijke drager van de leefbaarheid van een dorp/gemeenschap Ouderavond SVEB 28 oktober 2013.
Netwerken met Jongeren
Empowerment via het internet Zelfhulp-portal reïntegratie
Inleiding politieke sensitiviteit
Masterroute Sociologie van Gezondheid, Welzijn en Zorg
Toetsen en leerlijnen in nieuwe scheikunde
Challenge the future Delft University of Technology Over spaghetti, verkoop en veranderingstheorieën Effecten van verkoop van huurwoningen op.
Oriëntatiepunten voor een geslaagde wijkaanpak. De burger is in de eerste plaats zelf verantwoordelijk voor zijn welzijn. Activeren is goed luisteren.
22 VN – standaardregels als basis Herwerkt door ‘Zweedse Federatie van Personen met een Handicap’ Nationale regels toepasbaar op gemeentelijk niveau Methdodiek.
VERENIGING VOOR ALCOHOL- EN ANDERE DRUGPROBLEMEN (VAD) Een alcohol- en drugbeleid voor het secundair onderwijs.
Verbinden van Onderwijs en Onderzoek Inleiding in de methode
H.
Theory of Change-evaluatie: weten is méér dan meten
Agenda uur:Visie PMGG uur:Klantonderzoek uur:Terugblik monitoring overtredingen uur:Pauze uur:Ontwikkelingen uur:Handhaving.
“Ontmoetingsprojecten” 20 januari 2011 LEA-congres “Ontmoetingsprojecten” 20 januari 2011 LEA-congres.
Gé Haans & Ellen Oude Lenferink
Erkenning van Jeugdinterventies Machteld Zwikker 3 november 2011.
Recht in de roos?! Waardegebaseerde professionalisering en effectiviteit 14 oktober 2009 BINCdag - Gent.
Evaluatie ‘Met de fiets minder file’
Workshop Omgevingsgericht werken in het politiek bestuurlijke krachtenveld Ter gelegenheid van de BZK Projectdag 20 november 2008.
Punt 5: Sociaal Agogisch Onderzoek Welke achtergronden spelen bij ouders mee in het al dan niet aanbieden van zweminstructie aan hun kinderen.
KPA - Wilde Ganzendag Vergroot je succes, evalueer je project Den Haag 1 november 2008 Context, international cooperation Utrecht.
Informatievaardigheden. Niveau 3. Verder Gevorderd.
Challenge the future Delft University of Technology Netwerk transmissie model Verkeersmodel voor groot-stedelijke gebieden Victor L. Knoop.
Spreker | Plaats | datum Sturen op gezondheid Diana Delnoij | 24 januari 2013.
Opvoeding tot democratisch burgerschap
Buurtbewoners met een beperking doen gewoon mee!
Theory of Change-evaluatie: weten is méér dan meten
Theoriegestuurde evaluatie
Evidence based onderzoek. Wat is evidence-based ?  Letterlijk betekent dit aanduiding of bewijs.  het gebruik van een bewijs dat de keuze voor een bepaalde.
Re-integratie met het oog op de participatiewet 8 januari 2015 Presentatie aan Commissie Werk en Middelen.
Analyse maatschappelijk vraagstuk
Over het ijzeren gordijn: de grenzen van sectoraal beleid Wim Groot Universiteit Maastricht.
Databank Effectieve Jeugdinterventies
‘De OR maakt afspraken over meer banen voor mensen met een beperking’ ‘Collega’s maken het verschil – Hart voor arbeidsbeperkten – 24 november, Scheveningen.
Dorien `t Hart Groepsdynamica Dorien `t Hart
Dorien `t Hart Med.hro.nl/hardo
Plancyclus les 3 Actualiteit Quiz over de stof tot nu toe
Dorien `t Hart Groepsdynamica Dorien `t Hart
1 (Ped)agogiek Hoorcollege 3 Jennifer de Vries-Aydogdu med.hro.nl/vrije.
JONGEREN MET CRIMINEEL OF ANTISOCIAAL GEDRAG Effectieve of kansrijke vormen van behandeling en begeleiding Annelies Nuytten – 1BaTP B1.
Wat is een Theory of Change? ‘Iedere interventie is gebaseerd op veronderstellingen over wat die interventie teweeg zal brengen’ Het plaatje: welke interventie.
Managen analyseren 6 adviseren creëren organiseren begeleiden In kaart brengen Organisaties communicatieve r maken Iets doen ontstaan Mensen.
Kwalitatieve Evaluatie van Handelen rond Suïcide KEHR Suïcide Marieke de Groot, Derek de Beurs, Remco de Winter, Ad Kerkhof Vrije Universiteit Amsterdam.
Welkom! NVMW, BVjong, MOgroep, Vereniging Hogescholen, Mbo-Raad, ABVAKABO/FNV, CNV Publieke Zaak. Ondersteuning door Movisie Vakmanschap.
Handelingsgericht werken OGP Bk03 Hans van Doremalen Marion Steegh.
Profielwerkstuk Gedrag en Maatschappij Vwo-scholieren die een profielwerkstuk willen maken op het gebied van gedrag of maatschappij, kunnen gecoacht worden.
Auteur: Anneke de Jong, Marja Legius en Lieven De Maesschalck Datum: 30 maart 2016 Onderzoekend vermogen.
Resultaatgericht Samenwerken
Taal- en Interactievaardigheden in de Kinderopvang
Voor een optimale ontwikkeling van kinderen
Workshop academisch schrijven
Workshop Integraal werken in de wijk: sturen op doen wat werkt
Toelichting bij ''Backward designing'' uit de kennisbank
Structurele evaluatie voor adaptief beleid Enno Ebels, gemeente Den Haag 19 juni 2018.
JEUGDzorg - voor wie?.
Basistekst : Talentontwikkeling
Transcript van de presentatie:

Theoriegestuurde evaluatie Literatuuronderzoek als toetssteen voor sociale interventies Vasco Lub Bureau voor Sociale Argumentatie / EUR

Bureau voor Sociale Argumentatie www.socialeargumentatie.nl Twee beleidscasussen Polarisatie- en radicalisme (2011) Buurtleefbaarheid (2013) Hier vermelden dat dit bij uitstek terreinen zijn waar weinig bekend is over werkzaamheid vanwege thematische en methodologische problemen Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Bureau voor Sociale Argumentatie www.socialeargumentatie.nl Kern: Confrontatie met wetenschappelijke literatuur: zijn de causale mechanismen die in de interventies worden geïmpliceerd (interventietheorieën) plausibel gegeven beschikbare wetenschappelijke kennis? Hier eigen methode toelichten: mix tussen abstracte toetsing beleidsveronderstellingen en meer concrete vorm van theory of change methode Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Methode in vogelvlucht Mix tussen toetsing beleidsveronderstellingen (macro) en ‘Theory of Change’ aanpak (meso/micro) Ideaaltypische invalshoek Geïmpliceerde causale mechanismen (interventietheorieën) gedestilleerd uit schriftelijke stukken Wetenschappelijke kennis is de toetssteen Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Bureau voor Sociale Argumentatie www.socialeargumentatie.nl Niveaus van onderzoek voor zicht op effectiviteit (Van Yperen & Veerman, 2007) Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Methodologische stappen Inventarisatie interventies Reconstructie interventietheorieën Verzamelen wetenschappelijke literatuur Beoordeling interventietheorieën Inzichten vertalen naar beleidsimplicaties en onderzoek Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Bureau voor Sociale Argumentatie www.socialeargumentatie.nl Overbruggend contact Wijksport Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Ad 1) Inventarisatie interventies Bottom-up bronnenonderzoek: ‘Instrumentenbanken’ ‘Projectenbanken’ ‘Kennisbanken’ Projectoverzichten ministeries, gemeenten, provincies Beleidsstukken stedelijk niveau Algemene google-search Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Ad 2) Reconstructie interventietheorieën Coderen van aannames / veronderstelde middel-doel relaties Zoeken naar ‘dataverzadiging’ Notatie in ideaaltypische causale ketens Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Voorbeeld analyse overbruggend contact “Onbekend maakt onbemind. Draag er als jongerenwerker zorg voor dat jongeren uit verschillende culturele groepen elkaar beter leren kennen. Dat betekent niet dat ze elkaar direct aardig hoeven te vinden! Kennis van elkaars achtergronden, leven, denken en doen kan ik ieder geval kou uit de lucht halen. Bijvoorbeeld door gezamenlijk een film of theatervoorstelling te bekijken.” Uit: Brochure ‘Radicaal Jong’ Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Interventietheorie overbruggend contact: Vijandbeeld ten opzichte van ‘de ander’ ontstaat door onwetendheid > contact bevordert wederzijds begrip > vermindert vooroordelen en stereotypering > (potentiële) animositeit neemt af Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Voorbeeld analyse wijksport “Goed georganiseerde en begeleide sport kan leiden tot vergrote zelfwaardering en verbeterde sociale vaardigheden. Bij het sporten leren de jongeren bijvoorbeeld afspraken na te komen en gezag te aanvaarden.” “Jongeren met gedragsproblemen functioneren moeilijker in het sociale verkeer en hun gedrag kan ook problemen opleveren in de buurt. Voor deze groep kan sporten belangrijk zijn, bijvoorbeeld voor het ontwikkelen van sociale vaardigheden.” Uit: ‘Sport als bijdrage aan de sociale veiligheid en leefbaarheid’ Centrum Criminaliteitspreventie & Veiligheid Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Interventietheorie wijksport: Risicojongeren worden betrokken bij sport en spel > jongeren gaan zich beter gedragen in de buurt > omgangsvormen verbeteren > conflicten escaleren minder snel > leefbaarheid verbetert Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Ad 3) Verzamelen wetenschappelijke literatuur Het net breed uit, maar de lat hoog: Google-scholar index als startpunt ‘Citation tracking’ ‘Hand search’ peer reviewed journals ‘Grijze literatuur’ via social media en universiteitsnetwerken (listserves) Primaat bij meetbare effecten, doch met oog voor kwalitatieve studies Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Ad 4) Beoordeling van de interventietheorieën Kritische toets impliciete of expliciete assumpties Drie criteria: Bewijs van causaliteit Effectgrootte Consistentie Eindoordeel: wetenschappelijke basis interventietheorie zwak, matig of sterk Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Conclusies overbruggend contact: Heeft gemiddeld genomen een gunstig effect op wederzijdse beeldvorming Uitwerking in het algemeen klein Geen bewijs effect op langere termijn Positieve uitkomsten gaan niet per definitie op voor interetnisch contact tussen jongeren Causale richting blijft lastig te bepalen 4e bullet: especially in interethnic contact Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Conclusies wijksport: Sport veel minder grote invloed op gedrag dan veelal aangenomen Evt. sociaal effect treedt pas op als sport in pedagogisch jasje wordt gestoken Vechtsport heeft eerder bevorderend dan regulerend effect op agressiviteit Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Ad 5) vertalen van inzichten naar implicaties beleid en onderzoek Overzicht bieden potentie interventievormen: Beleidsbeoordeling: Veelbelovend Twijfelachtig Ongeloofwaardig Implicaties voor wetenschappelijk onderzoek en evaluatieonderzoek Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Implicaties voor effectiviteitsonderzoek Ex-ante evaluatie is toe aan herwaardering Niet direct in ‘metingsreflex’ schieten, maar eerst bezoek brengen aan bibliotheek Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Winst en voorbehouden van de methode Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Bureau voor Sociale Argumentatie www.socialeargumentatie.nl Winst: Inzicht in werkzame mechanismen zónder real life evaluatie Nuttig alternatief voor ‘moeilijk meetbare’ maatregelen beleidskeuzes kunnen ex ante sterker gefundeerd worden op wetenschappelijke kennis Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Bureau voor Sociale Argumentatie www.socialeargumentatie.nl Voorbehouden: Toepasbaarheid van de verzamelde kennis Politieke realiteiten stellen grenzen Eigen opvattingen street-level bureaucrats Bureau voor Sociale Argumentatie www.socialeargumentatie.nl

Bureau voor Sociale Argumentatie www.socialeargumentatie.nl Verder lezen: Lub, V. (2013, te verschijnen). Schoon, heel en werkzaam? Een wetenschappelijke beoordeling van sociale interventies op het terrein van buurtleefbaarheid. Den Haag: Boom-Lemma Lub, V., N. de Groot & J. Schaafsma (2011). Polarisatie en radicalisering: de onderbouwing van sociale interventies getoetst. Utrecht: MOVISIE Bureau voor Sociale Argumentatie www.socialeargumentatie.nl