‘Evalueren’ De waarde van iets beoordelen Workshop Evaluatieonderzoek ‘Evalueren’ De waarde van iets beoordelen ‘Evaluatieonderzoek’ Waarde beoordeling op basis van onderzoek of systematisch vastgelegde gegevens Frits Harinck Erica de Bruïne

Warm draaien Als iemand aanbiedt gratis een evaluatieonderzoek voor jou te verrichten, bij jouw instelling of afdeling, welke situatie zou je kiezen welke vraag laat je hem beantwoorden? ……………………………………

Geschiedenis; evaluatie op de 7e dag And God saw everything that He made. 'Behold,' God said, 'it's very good'. And the evening and the morning were the sixth day. And on the seventh day God rested from all His work. His archangel came then, asking: ‘God, how do you know that what you have created is 'very good'? What are your criteria? On what data do you base your judgement? Aren't you a little close to the situation to make a fair and unbiased evaluation?’ God thought about these questions all that day and His rest was greatly disturbed. On the eight day God said, 'Lucifer, go to hell.' Thus was evaluation born in a blaze of glory. Patton (1981; 17)

Geschiedenis, evaluatie in het oude China; 615 AC China was niets voor niets bekend voor dit relatief democratische examensysteem om door selectie de beste en meest kundige ambtenaren te selecteren en ook de meest efficiënte regering van alle oude beschavingen in de wereld. Zo kon een relatief arme boerenzoon door dit systeem toch opklimmen tot een invloedrijke ambtenaar of zelfs gouverneur van een provincie. Dit was in het feodale Europa vrijwel onbestaande. Met dank aan de invloed van Confucius "in onderwijs mag er geen onderscheid zijn in (sociale) klassen...."

Evaluation research; 1948 Zijn onze wetenschappelijk gefundeerde treatments wel bruikbaar voor de maatschappij? Zijn ze effectief? Wetenschappelijk aantonen oorzaak gevolg relatie In een lege context (laboratorium) Wetenschapper is eigenaar Werkt geprogrammeerde instructie?

Programma-evaluatie; 1960 Werken treatments ook in de natuurlijke praktijk. Aangeklede interventies, in real life, in een unieke context: programma’s Programma:Een programma is een samenhangend stelsel van activiteiten ( interventies, behandelingen, organisatie, mankracht, expertise), waarmee men bepaalde diensten wil verlenen of bepaalde effecten / doelen wil bereiken Treatment simpel, programma complex.

Programma evaluatie; summatief Wat zijn programma’s waard? Worden doelen bereikt? Zo ja, ligt het wel aan het programma? (effect) Hebben de klanten er baat bij? (tevredenheid met opbrengst)

Summatief evalueren bouwt op Summatief evaluaren is meestal niet beslist via één onderzoek. Meerdere onderzoeken leven steeds meer en hardere ondersteuning (of niet). Zo bestijg je de effect ladder (van Yperen en Veerman, 2008).

Programma-evaluatie formatief Hoe kan een programma waardevoller gemaakt worden? Wat zijn zwakke plekken, succespunten volgens de klanten? Wat zijn zwakke plekken, succespunten volgens de medewerkers? Wat is het grootste succesnummer in de programma-evaluatie? Jullie doen het allemaal.

Programma-evaluatie; belangrijke kenmerken Onderzoeken en handelen onderscheiden Gericht op beoordelen én verbeteren Multimethod, multiperspectives, Veel aandacht voor stakeholder involvement Al vroeg quality standards (1980) Belangrijk in evidence based, kwaliteitsverbetering

F. Harinck

Moderne ontwikkelingen Evaluerend handelen (Anita Blonk) Praktijkgestuurd onderzoek, effectladder (van Yperen, Veerman). Centraal staat complexe interventie theorie (kenmerken van clienten, van context, van plan en activiteiten, en van uitkomsten) Voortdurende gegevensverzameling ondersteunt en verfijnt die theorie;

Zelf aan de slag I. Vorm kleine groepjes, raadpleeg leestafel (de PO’s) Overleg met elkaar. Welke PO’s stimuleren je, verbinden zich met eigen ervaringen? Hoe? Zie je ook valkuilen in deze manier van onderzoeken? Welke? Wat vond je het mooiste PO? Waarom? Noteer reacties op post-its

Zelf aan de slag II Wissel van groepje. Bekijk opnieuw de PO’s, nu uitsluitend lettend op instrumenten. Wat vormen voor jouw waardevolle instrumenten? Waar zit dat in? Gebruik desgewenst de checklist instrumenten ter gedachtenbepaling (achterin handout). Conclusies weer op post its

Plenair Wat betekent voor jullie programma-evaluatie? Heeft het waarde? Wat zijn valkuilen? Vraagt programma-evaluatie om aangepast begeleiden? Een instrument is met name waardevol als ……………………..