Alternatieve (kwalitatieve) vormen van evaluatieonderzoek

Presentatie over: "Alternatieve (kwalitatieve) vormen van evaluatieonderzoek"— Transcript van de presentatie:

1 Alternatieve (kwalitatieve) vormen van evaluatieonderzoek
Prof dr. Trudie Knijn Universiteit Utrecht Onderzoeksprogramma: Social policy and social Intervention Studies (SOPINS)

2 Kwantitatief statistisch onderzoek: Kwantitatief onderzoek kan nuttig zijn; generaliseerbare uitspraken, toetsen van hypothesen en samenhangen en testen van schalen, soms zelfs causaliteit vast te stellen. Beperkingen: opvattingen en gepercipieerd gedrag van mensen gevat in eenduidige uitspraken, achterliggende beweegredenen laten zich niet makkelijk vangen, worden gemiddeld in ‘statements’. Opvattingen en gepercipieerd gedrag van uitersten verdwijnen uit beeld. Voordeel voor evaluatie onderzoek: als A dan B Nadeel: onduidelijk hoe het werkt (de black box blijft dicht).

3 Kwalitatief interpreterend onderzoek:
Kwalitatief onderzoek kan nuttig zijn; geen eenduidige uitspraken, beweegredenen achterhalen en in context plaatsen, minderheidsopvattingen en uitersten doen ertoe en kunnen ook iets laten zien over de gemiddelden, causaliteit niet hard maar wel begrijpelijk te maken. Beperkingen: niet generaliseerbaar, testen en toetsen onmogelijk. Voordeel voor evaluatieonderzoek: hoe mechanismen werken; de black box openen Nadeel: mechanismen werken niet overal en altijd (contextafhankelijk)

4 DUS: P. G. Swanborn (1999) Evalueren, Amsterdam: Boom
DUS: P.G. Swanborn (1999) Evalueren, Amsterdam: Boom. Goed evaluatieonderzoek is vooral afhankelijk van: - het kiezen van de juiste onderzoeksvraag, - het daarbij selecteren van de juiste methode, - en het volgens de regelen der kunst toepassen daarvan. Steeds meer voorkeur voor Mixed Methods: > Eerst exploratie (verkenning) dan meten. OF: > Eerst meten, dan uitdiepen. -

5 De interventie richt zich op de mechanismen; de werkzame bestanddelen
Principes Realistische Evaluatie: R. Pawson & N. Tilley (1997) Realistic Evaluation Uitkomst moet zijn gedragsverandering van individu of groep; individu of groep zijn interpreterend subject van resultaat en proces (beoordelend subject) Interventie vindt plaats in context, deze is nooit dezelfde maar wordt door de interventie niet veranderd. De interventie richt zich op de mechanismen; de werkzame bestanddelen Dus: 1) interventies werken via het veranderen van de interpretatie van een situatie door (groepen) mensen, 2) (maatschappelijke) situaties waarin de interventies plaatsvinden verschillen van elkaar, en dus 3) vatten verschillende (groepen) mensen het doel, de inhoud, etc. van een interventie in verschillende situaties verschillend op en als gevolg daarvan handelen ze verschillend. Saint Simon: technici, leraren, artsen, ambachtslieden; ieder doet wat hij het best kan > dan functionert de samenleving als vanzelf; geen regelaars meer nodig. Lijkt een beetje op hedendaags professionalism. Toen in verzet tegen adel, bureaucratie, geestelijkheid. De betweters die zelf geen zichtbare bijdrage leverden. Ontwikkeling samenleving in drie stadia; verklaring vanuit.

6 In model: M1 = probleemmechanisme  M2 = blokkeermechanisme R1 = problematische regelmatigheid  R2 is situatie na interventie C1 = stabiele context Aanname: context stabiel maar overal anders, dus onderzoeken welke mechanismen werken in verschillende contexten.

7 Toepassingen in Nederland:
Sol, C.C.A.M., A.C. Glebbeek, A.J.E. Edzes, I. Busschers, H.I. de Bok, J.S. Engelsman en C.E.R. Nysten (2011). ‘Fit or unfit’. Naar expliciete re-integratie theorieën. Amsterdam: Universiteit van Amsterdam. Ruig, L. de, S. Bouma, S. van der Kemp, en M. van Ommeren (2011). Samen in actie. Evaluatie Actieplan Jeugdwerkloosheid. Eindrapport. Zoetermeer: Research voor Beleid. Bouwman-Van ’t Veer, M., T. Knijn en R. van Berkel (2011). Activeren door participeren. De meerwaarde van de Wet maatschappelijke ondersteuning voor re-integratie van mensen in de bijstand. Utrecht: MOVISIE. Instituties, kerk, familie, onderwijs, gezondheidszorg. Moraal; gedeeld wereldbeeld, dezelfde visie op de samenleving. Dynamica;

8 Voorbeeld: het effect van de combi van WWB en Wmo voor activering.
Stap voor stap: 1a: Theorieverkenning (zoals in kwantitatief onderzoek) voor zoeken naar mogelijke verklaringen. Pawson; ‘every program has a theory’. Paralllel: 1b:Praktijkdeskundigen en beleidsmakers raadplegen; wat is er volgens jullie aan de hand? Selecteren ‘best practices’ uit overzicht website WWB/Wmo en telefonisch consult op criteria samenwerking, duur project en gerapporteerd resultaat. Opstellen ‘voorlopige’ lijst van werkzame mechanismen op basis van 1a en 1b.

9 Theorie Arbeidsmotivatie bestaat uit randvoorwaarden (kennis, kunde en vaardigheden) en motivatie (waardeoordeel over extrinsieke en intrinsieke doelen, en zelfeffectiviteit) (de Moor, 1998) Zelfeffectiviteit; vertrouwen in eigen vaardigheden, capaciteiten en competenties om doelen te bereiken (Bandura, 1977, 1980) Motivatie optimaal als men veel waarde hecht aan de doelen én de verwachting heeft die ook te kunnen bereiken. Door de deelname aan een project, verandert er iets in de mogelijkheden van de cliënt (capabilities) (Pawson en Tilley, 1997). Op basis van die mogelijkheden maken zij bepaalde keuzes (choices). Net als economie ook de eerste sociologie naar natuurlwetenschappelijk voorbeeld; wetmatigheden in ontwikkeling opsporen via waarneembare feiten. Maar ook het individu komt centraal te staan; ieder mens telt (niet meer cyclisch leven maar ontwikkelen, niet meer onderdeel van de massa, maar individu, niet meer God’s kudde, niet meer een ascribed maar achieved status). En de samenleving is maakbaar, er is vooruitgang mogelijk.

10 Onderzoek In drie gemeentes in Nederland (best practices na selectieronde): Sittard-Geleen, Ede-Wageningen en Almere. Aan de hand van drie thema’s: Uitkomst (deelname, uitval, participatieladder, duurzame participatie) Context (WWB-Wmo beleid, betrokkenheid lokale werkgevers, sociaal netwerk cliënt) Mechanismen (Opbrengsten, bronnen van informatie over zelfeffectiviteit, relatie met begeleider, belemmeringen opruimen)

11 Mechanismen: 1. Opbrengsten: Motivatie (via maatwerk) Zelfontplooiing
Structuur Zinvol werk Inkomsten 2. Informatie zelf-effectiviteit Succeservaringen Observerend leren 3. Relatie met begeleiders Positieve benadering Realistisch Leefwereldbenadering Wederkerigheid 4. Belemmeringen: - schulden, verslaving, huisvesting, zorg etc. oplossen..

12 Mixed Methods Interviews: Gewenste uitkomsten
Volgens professionals en beleidsmakers Volgens cliënten Documentanalyse en interviews: Feitelijke uitkomsten Volgens WWB criteria (participatieladder) Volgens Wmo criteria (nut voor buurt, ouderen, vrijwilligerswerk, etc.).Bel Beleidsanalyse, data-analyse en interviews: Context: Integraal beleid gemeente- en projectniveau Lokale werkloosheid en arbeidsmarkt Samenwerking tussen voorzieningen Rol van sociaal netwerk Interviews en focusgroepen: mechanismen

13 Mechanismen: waardeoordeel opbrengst
Vooral positief bij moeders van jonge kinderen. “ De hele dag in je bed hangen en alleen maar tv kijken.. Dat is wel leuk voor een paar weken maar uiteindelijk ga je je vervelen……… ja dan met je toch echt wat gaan doen hoor” OF “Mijn ritme is helemaal uit balans. Kijk, ik ben niet op zoek naar een vaste baan dus ik ga echt niet om 7 uur opstaan om te oefenen. Nee, ik hoef pas om half vier te werken (vrijwilligerswerk via het project), ja dan ga ik niet om 8 uur opstaan.”

14 Mechanisme: inkomsten (sancties en keuzes)
Vanwege sanctie WWB: “ Dan blijkt dat je toch altijd weer tot iets meer in staat te zijn dan je zelf denkt… Ik bedoel, intrinsiek is ieder mens lui. Als hij niet per se hoeft, zal hij het ook niet doen, toch?”. Na jaren zwaar en onderbetaald werk: “Ik heb het goed hoor. Ik heb een vet appartement en ik krijg huurtoeslag. Ik ben een overlever. Ik heb eigenlijk helemaal niets nodig. Echt, ik heb niks nodig. Helemaal niks’. Beiden doen vrijwilligerswerk.

15 Mechanisme: succeservaringen
“Je moet je bewijzen door onderaan te beginnen, bij de kwekerij, ook als je bankdirecteur ben geweest. En dan krijg je een rapportje. En mijn rapport was ‘kansloos’. Ik was kansloos om weer terug in de maatschappij te komen. En las ik NU kijk, dan is het allemaal weer plusjes, een vaste baan in het verschiet. Ja, daar is door de ambtenaren bij de gemeente al een opmerking over gemaakt, ze zeggen ‘hoe krijg je het voor elkaar jongen. Nou ik vind het heel knap hoor, heel knap.’ En dat vind ik wel fijn om dat van die mensen te horen.” ‘Ik was wel trots dat ik gebeld werd om de sleutel op te halen en het participatiehuis open te maken voor je. Mijn zoon die zei ‘moet jij dat doen, helemaal alleen?’ Ik bedoel het is wel het huis van een ander… van de gemeente en alles ligt hier zo voor het oprapen.. Het is wel een kwestie van vertrouwen, en daar ben ik heel trots op.”

16 Conclusie Door de deelname aan een project, verandert er iets in de mogelijkheden van de cliënt (capabilities) Op basis van die mogelijkheden maken zij bepaalde keuzes (choices), en hoewel die keuzes per individu verschillen, is een vijftal mechanismen doorslaggevend: Maatwerk (aansluiting bij wensen en mogelijkheden); Materiële opbrengsten (en sancties via WWB); Succeservaringen en observerend leren (via nieuwe contacten, lotgenoten); Relatie met de begeleider; Belemmeringen oplossen; Feiten: gebaseerd op onderzoek en theoretisch fundament, geaccepteerd door de gemeenschap van wetenschappers. Waarden: normatieve interpretatie daarvan (goed of slecht: old boys network; relatie pharmaceutische industrie – wetenschap; kinderen die hun ouders moeten onderhouden; migranten in de ouderenzorg. Vooral interessant; onderzoek van waarden . Facts over waarden