Aspecten van evaluatieonderzoek

Presentatie over: "Aspecten van evaluatieonderzoek"— Transcript van de presentatie:

1 Aspecten van evaluatieonderzoek
Erik Snel Afdeling Sociologie Erasmus Universiteit Rotterdam

2 Inhoud Wat is evaluatieonderzoek? Aspecten van evaluatieonderzoek
Evaluatieonderzoek en bewijskracht

3 Wat is evaluatieonderzoek?
Evaluatie = iets op waarde schatten (geld, een beleidsprogramma of interventie) Evaluatieonderzoek = wetenschappelijk onderzoek met het oog op het beoordelen van inhoud, processen en/of effecten van beleid of specifieke interventies Basisvraag: wat werkt en wat niet? Maar ook andere vragen zijn van belang!!

4 Waarom evaluatieonderzoek?
Voor opdrachtgevers/financiers van beleid (“de belastingbetaler”): is het geld goed besteed? Voor professionals/uitvoerders van beleid: doen we het goed? Kan het beter? Voor clienten/gebruikers: krijg ik optimale zorg of voorzieningen? Evaluatieonderzoek als bedreiging?

5 Centrale vragen in evaluatieonderzoek
Relevantie (relevance): interventie gericht op bestaande behoefte c.q. politieke doelen? Plausibiliteit (plausible): bewijs dat interventie kan werken? (beschikbaar onderzoek) Efficiency (efficiency): interventie op tijd en niet te duur? Effektiviteit (effectiveness): verwachte producten (outputs) en beoogd resultaat (outcomes) bereikt? Effect (impact): verbeterde situatie als gevolg van interventie? Duurzaamheid (sustainability): blijft beoogd effect ook op langere termijn bestaan?

6 Aspecten van evaluatieonderzoek

7 Aspecten van evaluatieonderzoek
Procesevaluatie effectevaluatie Resources activities outputs Initial outcomes Inter-mediate outcomes Long term outcomes Time Procesevaluatie: onderzoek naar verloop en organisatie van programma : worden beoogde beleidsproducten (“outputs) bereikt? Effectevaluatie: onderzoek naar effecten van een programma: worden beoogde doelen (“outcomes”) bereikt?

8 Externe invloeden Causaliteitsvraag als basisvraag van evaluatie-onderzoek Waargenomen effect daadwerkelijk gevolg van beleid of van andere factoren/ontwikkelingen in de omgeving van beleid? Klassiek voorbeeld: leidde het “zero tolerance”-beleid van burgemeester Guliani (NYC) tot minder criminaliteit?

9 Alles plus controlegroep Experimenteel onderzoek (RCT)
Bewijskracht Omschrijving Soorten onderzoek Kwalificatie Causaal Alles plus controlegroep Experimenteel onderzoek (RCT) Quasi-experimenteel onderzoek Effectmeting Klanttevredenheids-onderzoek 4 Werkzaam (effectief) Indicatief Beschrijving, interventietheorie plus effectmeting (klanttevredenheid) 3. Doeltreffend Theoretisch Beschrijving plus geloofwaardige interventietheorie (mechanismen) Meta-analyse Literatuurstudie (“review”) 2. Veelbelovend Descriptief Beschrijving van interventie (doel-groep, middel, uitkomst) en context Descriptief onderzoek Documentenanalyse Interviews 1. Potentieel

10 “Moraal van het verhaal”
Evaluatieonderzoek in maten en soorten, ieder met eigen vooronderstellingen en een bepaalde “bewijskracht”