Impactlezing EU-dag SE 21/1/2016

Warm-up Opwarmer… Wie heeft in de praktijk al gewerkt rond maatschappelijke impact? Wat zou je in de eerste plaats willen DOEN met een impactevaluatie binnen jouw organisatie? -> Deel het met je buur (2’) -> Deel het met de groep Als er 1 ding is dat ik wil weten over impactevaluatie, dan is het… -> Deel het met je buur (2’) Maatschappelijke impact meten: Sociaal = maatschappelijk = breed Meten – evalueren – in kaart brengen…

Reasons for impact measurement Waarvoor het meest ingezet? 58% Management Purposes 25% fundraising tool 20% Marketing tool (SELUSI research in 2010, executed in Spain, Hungary, Romania, Sweden & the UK.) Ook het investeerdersperspectief… wil ook werking verbeteren, kan interesse in het effectniveau, wil weten op wat investeringen in te zetten… Organisatieperspectief: wil werking verbeteren, geïnformeerde beslissingen nemen (inzet van tijd/personeel/middelen), verhalen hebben voor fundraising, doelen stellen en checken, vooruitgang boeken en dus checken. + onderzoek Nichols (2007): Impact meten helpt om… Doelen realistisch te stellen Efficiënt én effectief te werken Investeringen binnen te halen

tendens Vertel het me Vertrouw me Laat het me zien Vertrouw me Bewijs het me Vertrouw me GECES (the Single Market Act -> The GECES sub-group on Social Impact Measurement was therefore set up in October 2012 to agree upon a European methodology which could be applied across the European social economy om 2 redenen: Eu Sentr Fund & program for employment en SInnov OECD… EMES/TSI

-> SUCCES? Dingen doen Dingen goed doen De goede dingen doen Aan welke organisatie of wie denk je als ‘succesvolle’ organisatie? Wat is het grootste succes geweest of wat kan/zal het grootste succes zijn van jouw onderneming?

Er was eens… Vb kiribati in artikel winand, voorbeeld PPP? Beeldje? Initiatief Meer tijd in kokosnoten & Minder tijd om te vissen = Minder overbevissing! Werkt het? Vistijd steeg met 33% Vispopulatie daalde met 17% WANT meer $ met kokosnoten DUS meer vrije tijd om te vissen… Vb kiribati in artikel winand, voorbeeld PPP? Beeldje?

risico… Risico: we focussen op wat wel gemeten kan worden. De moeilijke, abstracte, dingen vergeten we uit het oog. Terwijl we net daarom vaak überhaupt de ’meting’ zijn begonnen. DUS om te weten of je (maatschappelijke) idee, project of organisatie maatschappelijk succesvol is, moet je kijken 1. naar de IMPACT die je hebt 2. moet je DIE proberen te ‘meten’ (= lees, in kaart brengen), verklaren, evalueren & valoriseren

Overzicht van het proces Klaar? Draagvlak? Impact in kaart Evaluatie-focus/doel Impactdata verzamelen Impact valoriseren

Klaar? Draagvlak? Ben je er Klaar voor?

The bigger picture Impact in kaart Hoe je kijkt naar de wereld (pyramide of systeem) zal bepalen hoe je intervenieert (vis bewonderen of willen opeten), ook onbewust. Kijk eens naar eigen context: vb teenage zwangerschap QUINN

Alle effecten? People-planet-profit? Bedoeld? Onbedoeld? Indirect? Impact in kaart Alle effecten? People-planet-profit? Bedoeld? Onbedoeld? Indirect? Positief-negatief? People Profit Planet Hoe je kijkt naar de wereld (pyramide of systeem) zal bepalen hoe je intervenieert (vis bewonderen of willen opeten), ook onbewust. Kijk eens naar eigen context: vb teenage zwangerschap QUINN

Maatschappelijke impact Soc. Ec. Leg uit aan elkaar, bevraag mekaar en schrijf op! + plenair terugblikken op moment Welke maatschappelijke problemen/uitdagingen? Wat zijn de (mogelijke) effecten op vlak van people-planet-profit? Bedoelde effecten? Onbedoelde? Indirecte? Positief-negatief?

Evaluatie-focus/doel Wat evalueren? Op basis van… Kern/DNA van de Missie Draagvlakoefening ‘Deadweight’-oefening Voor wie evalueren Betrek stakeholders ? Probleem Interventie Doel VERANDERING

Een voorbeeld https://www.youtube.com/watch?v=dpb4AGT684U

Evaluatie-focus/doel Wat: welke verandering? -> WAT… VERANDERING Verbeterde sociale status Verbeterde economische omstandigheden Verbeterde gezondheid Verbeterde economische ontwikkeling Veranderende houdingen/attitude ‘increased readiness’ Minder ongewenst gedrag Meer gewenst gedrag Nieuw gedrag … Domeinen waarop outcome kan worden gedetecteerd DOEL?!

Evaluatie-focus/doel Waarom evalueren? Wat zijn de sterktes en de zwaktes van het project/programma? Wat werkt en wat niet? Welke implementatieprocessen moeten we verbeteren? Hoe reageren deelnemers/doelgroep op het programma? Wat vinden ze er (minder) goed aan? Waar voelen ze weerstand? Welke factoren helpen om het programma tot het einde door te zetten? Hoe reageren verschillende subgroepen in het programma? Zijn er verschillen in de manier waarop ze op het programma reageren (en zo ja: onder welke omstandigheden)? Hoe reageren de medewerkers? Waar zien zij marge voor verbetering? Waar zie je mogelijkheden tot verbetering? Op vlak van outcome/impact, kosten, kwaliteit? Evalueren om jouw interventie te verbeteren. Jij bent de kok die zijn soep proeft en smaakt geeft. In hoeverre en op welke manier komt het programma tegemoet aan de behoeften van de deelnemers/doelgroep/investeerder? In hoeverre werden de outcomes bereikt? In hoeverre kan de verzamelde outcome worden toegewezen aan de interventie? Wat was de bredere impact van het programma? Wat zijn onvoorziene outcomes en impact, en waarom? Brengt het programma financieel een meerwaarde op voor het geïnvesteerde geld? Is dit een bijzonder effectieve praktijk die kan uitgebreid worden naar andere interventie- of programmadomeinen? Evalueren om de resultaten, de verdienste, de (meer)waarde van jouw interventie te tonen. Je laat klant/investeerder proeven + Screening Ontwikkelingsgericht Kennisgericht Domeinen waarop outcome kan worden gedetecteerd

‘Werkt het?’ Logisch model Theory of change ∆ Evaluatie-focus/doel Input Activititeit Output Outcome Impact Wat is het resultaat? Ons aandeel? Wat gebeurt er? Effectiviteit: outcome/impact meten Missie uitdagingen Maatsch ∆ evolutie Maatsch (Implementatie)proces meten Logisch model ToC goed beschreven? ToC formuleren + onderbouwen Neveneffect(en)? Theory of change

Evaluatie-focus/doel Stel de juiste evaluatievragen ? o.b.v. WAT evalueren o.b.v. WAAROM evalueren -> meten verandering -> kunnen voldoende beantwoord worden -> binnen een redelijk tijdskader -> tegen een redelijke kost -> niet voor meerdere interpretaties vatbaar -> als de belangrijkste beschouwd door stakeholders

Impactdata verzamelen over impactindicatoren… Indicatoren en data… Kwantitatief <> kwalitatief ‘value for money’, een familie apart... Wenselijkheid: van – naar + Schaal: van klein naar groot Intensiteit: laag naar hoog Richting: succesfactoren/faalfactoren Duurzaamheid: korte –> lange termijn Spreiding: geografisch, socio-demogr. Kwalitatieve data, of niet-kwantitatieve data (Q) zijn woorden of verhalen (in de eigen woorden van de bevraagde) over ervaringen die verzameld worden via interviews of open vragen, of o.b.v. beschrijvingen van observaties zonder vooraf bepaalde categorieën: Focus = capteren van verschillende persoonlijke uitingen van een kleinere groep mensen met aandacht voor de diversiteit tussen mensen Met kwantitatieve data (#) probeer je impact te ‘tellen’: het gaat bij om ruwe (streef)cijfers, (streef)percentages, (streef)ratio’s van ervaringen die je verzamelt via vragenlijsten, tests, gestandaardiseerde observatie—instrumenten, officiële indicatoren en die je vaak o.b.v. statistische analyse interpreteert. Focus = de vergelijkbaarheid van de data van veel mensen bvb. tussen verschillende interventies/programma’s via vooraf bepaalde categorieën

Impactdata verzamelen bronnen http://www.globalvaluexchange.org/ https://iris.thegiin.org/metrics www.indicators.be http://www4dar.vlaanderen.be/sites/svr/publicaties/Publicaties/vrind/2014-11-20-vrind2014-volledig-bldw.pdf http://sdgcompass.org/business-indicators/ Hoe je kijkt naar de wereld (pyramide of systeem) zal bepalen hoe je intervenieert (vis bewonderen of willen opeten), ook onbewust. Kijk eens naar eigen context: vb teenage zwangerschap QUINN

Impactdata verzamelen Hoe verzamelen?… Kwantitatief <> niet-kwantitatief ‘value for money’, een familie apart... -> Wat al in huis? Integreer met bestaande processen! -> Kies een tool/aanpak… je kan ook combineren -> Meet intervallen Let op: Bouw gerust op, niet alles tegelijk Managing the measures! Garbage in, garbage out… Hoe je kijkt naar de wereld (pyramide of systeem) zal bepalen hoe je intervenieert (vis bewonderen of willen opeten), ook onbewust. Kijk eens naar eigen context: vb teenage zwangerschap QUINN

Visie OESO & GECES werkgroep Impact valoriseren Visie OESO & GECES werkgroep ‘New’ public management Kwantiteit (& kwalitatief) ‘Controle’-overhead Beleidsplanning -> output Efficiëntiewinst (experiment) -> Vertrouwen? Impactgericht werken Kwantiteit & kwalitatief Nood andere procedures outcome -> ‘sturen’ Efficiëntie & effectiviteit Ruimte voor experiment -> …en verantwoording

Voorwaarden Nuance over ambities ‘impact’ meten Impact valoriseren Voorwaarden Nuance over ambities ‘impact’ meten Tijd nodig: jargon eigen maken, cultuurverandering & evolutie Dialoog, bvb. wat willen beide partijen te weten komen? Richtlijnen ipv one-size-fits-all Ondersteuning bij dit LEERproces Verantwoording op niveau van het proces, eerder dan resultaat Individueel niveau <> marco-niveau -> beleidsinfo

Ervaringen & dilemma’s Dit is 70% van het werk… een investering. Zonder wrijving geen glans (waar moeilijk? -> leren!) Legitimeren en communiceren gaandeweg minder op voorgrond Dilemma ‘Is het wel onze impact?’ blijft lang overeind Risico’s: kwetsbaar opstellen Cherry picking ‘managing the measures’… How do you go about measuring? How is IM implemented? The challenges in putting the system in place? Primary focus/aim of IM-system, components of monitoring system from your approach? (portfolio) level of aggregation of the indicators? the level of standardization <> customized approach? Level of stakeholder engagement? Challenges in co-developing the IM system with the investees? Relationship with stakeholders: how are they still getting involved for managing for greater impact?  How to structure the reporting system to manage for greater impact, taking into account the perspective of the investee and RFC? In the case of exits, how to avoid that they will reinvent the wheel?

Wie en waarom? Dank! www.impactnetwerk.be Vragen? tomas@socialeinnovatiefabriek.be 0486 651 008 www.impactnetwerk.be