Aspecten van evaluatieonderzoek Erik Snel Afdeling Sociologie Erasmus Universiteit Rotterdam

Inhoud Wat is evaluatieonderzoek? Aspecten van evaluatieonderzoek Evaluatieonderzoek en bewijskracht

Wat is evaluatieonderzoek? Evaluatie = iets op waarde schatten (geld, een beleidsprogramma of interventie) Evaluatieonderzoek = wetenschappelijk onderzoek met het oog op het beoordelen van inhoud, processen en/of effecten van beleid of specifieke interventies Basisvraag: wat werkt en wat niet? Maar ook andere vragen zijn van belang!!

Waarom evaluatieonderzoek? Voor opdrachtgevers/financiers van beleid (“de belastingbetaler”): is het geld goed besteed? Voor professionals/uitvoerders van beleid: doen we het goed? Kan het beter? Voor clienten/gebruikers: krijg ik optimale zorg of voorzieningen? Evaluatieonderzoek als bedreiging?

Centrale vragen in evaluatieonderzoek Relevantie (relevance): interventie gericht op bestaande behoefte c.q. politieke doelen? Plausibiliteit (plausible): bewijs dat interventie kan werken? (beschikbaar onderzoek) Efficiency (efficiency): interventie op tijd en niet te duur? Effektiviteit (effectiveness): verwachte producten (outputs) en beoogd resultaat (outcomes) bereikt? Effect (impact): verbeterde situatie als gevolg van interventie? Duurzaamheid (sustainability): blijft beoogd effect ook op langere termijn bestaan?

Aspecten van evaluatieonderzoek

Aspecten van evaluatieonderzoek Procesevaluatie effectevaluatie Resources activities outputs Initial outcomes Inter-mediate outcomes Long term outcomes Time Procesevaluatie: onderzoek naar verloop en organisatie van programma : worden beoogde beleidsproducten (“outputs) bereikt? Effectevaluatie: onderzoek naar effecten van een programma: worden beoogde doelen (“outcomes”) bereikt?

Externe invloeden Causaliteitsvraag als basisvraag van evaluatie-onderzoek Waargenomen effect daadwerkelijk gevolg van beleid of van andere factoren/ontwikkelingen in de omgeving van beleid? Klassiek voorbeeld: leidde het “zero tolerance”-beleid van burgemeester Guliani (NYC) tot minder criminaliteit?

Alles plus controlegroep Experimenteel onderzoek (RCT) Bewijskracht Omschrijving Soorten onderzoek Kwalificatie Causaal Alles plus controlegroep Experimenteel onderzoek (RCT) ------------------------- Quasi-experimenteel onderzoek Effectmeting Klanttevredenheids-onderzoek 4 Werkzaam (effectief) Indicatief Beschrijving, interventietheorie plus effectmeting (klanttevredenheid) 3. Doeltreffend Theoretisch Beschrijving plus geloofwaardige interventietheorie (mechanismen) Meta-analyse Literatuurstudie (“review”) 2. Veelbelovend Descriptief Beschrijving van interventie (doel-groep, middel, uitkomst) en context Descriptief onderzoek Documentenanalyse Interviews 1. Potentieel

“Moraal van het verhaal” Evaluatieonderzoek in maten en soorten, ieder met eigen vooronderstellingen en een bepaalde “bewijskracht”