Leerbijeenkomst Eenzaamheid 19 maart 2019 – Hanneke Mateman Voorstellen Introductie thema, spraakverwarring, noodzakelijk kwaad. Uitdaging: hoe maak je het leuk en effectief? Monitoren en evalueren

Waarom monitoren en evalueren? concrete realisatie met beschikbare middelen > verantwoording van het project of de aanpak ontdekken van verbeterpunten > leren voor jezelf, team of de aanpak/methodiek succes- en faalfactoren > voeding van besluitvorming tbv bijsturing, kwaliteitsverbetering en innovatie zichtbaar maken van effecten > legitimiteit aantonen of draagvlak creëren Verantwoordingssystematiek van financiers leidt vaak tot weerzin tegen monitoren en evalueren. Nachtmerries van vragenlijsten en vastlopende webapplicaties! Bij complexe thema’s zoals de aanpak van eenzaamheid kan de monitoring en evaluatie ook uitlopen op zo’n nachtmerrie omdat we verdwalen in de instrumenten en informatie. Het kan ook anders – daar gaan we het over hebben. Voordat we beginnen eerst nog even het onderscheid tussen de twee begrippen: monitoring en evalueren

Monitoren Monitoring = continue proces om zicht te houden op de voortgang van beleid, project of aanpak. Ben je op het goede spoor? Wat doe je en dragen die activiteiten bij aan je (sub)doelen? Wat gaat goed? Wat kan beter? Door te monitoren houd je zicht op je resultaten. Zo weet je welke stappen je moet zetten om je einddoel te bereiken en kun je waar nodig bijsturen.

Evalueren Bij evaluatie breng je op een bepaald moment in kaart wat de resultaten en effecten van je beleid of aanpak zijn. Is het doel bereikt? Zijn de beoogde effecten daarmee bereikt? Welke factoren hebben bijgedragen aan het succes? Waar liggen verbeterpunten? Een evaluatie levert kennis op voor de doorontwikkeling van beleid of aanpak of voor nieuw te ontwikkelen beleid of projecten.

Vijf stappen voor monitoren en evalueren 1. Waarom wil je meten? 2. Indicatoren formuleren 3. Data verzamelen 4. Analyse en conclusies 5. Leren en verbeteren

Waarom en wat wil je meten? 1 Waarom en wat wil je meten? Wat voor soort informatie moet de meting opleveren en wie heeft er interesse/belang bij de uitkomsten? Waartoe dienen de uitkomsten van het onderzoek? Welke vragen wil je daarom beantwoorden? Hoeveel tijd en budget is beschikbaar en wat betekent dat voor de reikwijdte van je onderzoek? Dit gaat dus niet om het doel van je aanpak, maar om het doel van je evaluatie! Welk niveau van bewijskracht is er nodig? Afhankelijk van voor wie je meet ook wat je meet Welke vragen wil je financier beantwoord hebben? Waarmee kun je medewerkers motiveren? Wat wil je zelf weten? Welk type informatie gaat het om? (kwantitatief/kwalitatief) Kun je dat ook allemaal meten? Zoek samenwerking met andere gemeenten of organisaties (movisie?) en deel de kosten van ontwikkeling en profiteer van elkaars inzichten, ervaringen en uitkosmten.

2 Wat kun je meten? Welke indicatoren zijn relevant om het verloop van het proces te monitoren en de effecten te meten? Welke effecten (+ en -) verwacht je en bij wie? Wanneer verwacht je deze effecten? Bepaal wat noodzakelijk en realistisch is om te meten! Werk je verandertheorie (theory of change) uit. Wat zijn de oorzakelijke verbanden van activiteiten via concrete resultaten naar effecten? Vermijd containerbegrippen; splits grote concepten uit in deelaspecten

Typen indicatoren Telbare resultaten (aantal, tijd, frequentie, e.d.) Kennis (individu, groep, organisatie, samenleving) Houding (individu, groep, organisatie, samenleving) Gedrag (individu, groep, uitvoerder, samenleving) Beleving of waardering (individu, groep, uitvoerder, samenleving) Fysieke kenmerken buurt of woonomgeving Samenwerking Communicatie Bij veel onderzoek worden de verkeerde dingen gemeten! Vraag jezelf altijd af wat de indicator zegt over je doelbereiking. Voorbeelden: Aantallen deelnemers aan een activiteit zeggen wel iets over het bereik van specifieke doelgroepen, maar niets over de (afname) van eenzaamheidsgevoelens bij de deelnemers De frequentie van contact met vrienden is (op zichzelf) geen indicator voor eenzaamheid (wel een mogelijke risicofactor), de beleving van dit contact door de burger wel

Data verzamelen Welke informatie is al beschikbaar in het project? 3 Data verzamelen Welke informatie is al beschikbaar in het project? Wat moet er aanvullend verzameld worden en wat is de passende methode om dat te doen? Wie kunnen deze informatie het best verzamelen? Op welk moment kun je welke informatie verzamelen? Nul- en eenmeting toelichten (zoek de verschillen) Methoden combineren!!! Betrouwbaarheid Wat je ook kiest doe het gestructureerd. Doe het samen Less is more ; liever 5 goed dan 20 half, spreiding deelonderzoeken over project

Meten aan het begin? Als je echt wilt weken of jouw aanpak het verschil maakt > nulmeting Als je hier al te laat mee bent: terug laten kijken en gebruik maken van beschikbare bronnen

Methoden (de belangrijkste) Mixed methods (vragenlijsten, interviews, focusgroep, logboek, observatie, deskresearch) Storytelling, case studies Effectencalculator en Effectenarena Specifiek: Eenzaamheidsschaal de Jong – Gierveld UCLA Lonelinesschaal Kwantitatief (wat, wie, waar, wanneer, hoe veel, hoe vaak?) vaak bij monitoring) en kwalitatief (waarom? Hoe?) Passende methode: vraag en doel, eigen organisatie/budget/tijd, doelgroep

InstrumentWijzer.nl

4 Analyse en conclusies Weeg de uitkomsten op basis van wat je aan het begin hebt bedacht. Wat zeggen deze uitkomsten in het licht van de vragen die je beantwoord wilde zien? Zijn andere factoren van invloed geweest? Kijk naar de representativiteit (bij wie is de informatie opgehaald) en betrouwbaarheid Formuleer op basis daarvan de conclusies en hun reikwijdte

5 Leren en verbeteren Koppel de uitkomsten in passende vorm terug naar alle betrokkenen Ga met elkaar in gesprek over lessen en kansen voor verbeteringen. Deel de geleerde lessen ook buiten eigen kring Vertaal dit naar: lopend project, vervolgaanpak, beleid of projectidee voor de toekomst Blijf monitoren en evalueren!

Vragen? Dank voor jullie aandacht!

E-mail h.mateman@movisie.nl