Het effect van je werk: zichtbaar maken van de waarde van bibliotheken Edwin van der Zalm 14 maart 2017

Een leven in de bibliotheek

Project Proeftuin Meervoudig verantwoorden Wat doen we? Wat kost het? Wat levert het op? Handreiking effectmeting Handreiking kostentoedeling

Nu: proeftuinieren

Waarom effecten meten? Redenen om effecten te meten:   Vragen van gemeente Laat de waarde zien van je werk Helpt activiteiten te verbeteren Biedt richting en focus in activiteiten Verhoogt inzicht in effectiviteit activiteiten Motiveert medewerkers Vergroot de band met gebruikers en omgeving Biedt mogelijkheden voor samenwerking Verhoogt de reputatie van de organisatie

Prestaties zijn geen effecten 10 deelnemers aan een activiteit versus wat hebben die deelnemers geleerd? Huidige prestatie afspraken met subsidiegevers Nu vooral de kwantiteit van de output en het bereik: Aantallen uitleningen, bezoekers, bijeenkomsten, aantal scholen waarmee is samengewerkt Kwantitatieve indicatoren nemen zicht weg op andere prestaties Voorbeeld: bezoekersaantallen zeggen niets over het vergroten van je bereik onder een moeilijke doelgroep Huidige metingen betreffen vooral de kwaliteit van de dienstverlening d.m.v. klantentevredenheid Effecten gaan over de verandering die de dienstverlening tot stand brengt

De verandering of het gewenste effect In de praktijk kijk je naar: Vaardigheid (dingen beter doen) Kennis (meer over iets weten) Gedrag (dingen anders doen) Houding (vertrouwen ergens in, motivatie ergens voor)

Terminologie wekt verwarring Input = wat je inzet voor een activiteit Output = de uitgevoerde activiteit Twee woorden voor effect: Outcome = de directe verandering die wordt bereikt bij een deelnemer aan een activiteit Impact = outcome op lange termijn of voor een gemeenschap Wat je meet om het effect te kennen: Indicator = Wat je gaat meten – een maat die het effect weergeeft

Terminologie in de proeftuin

Startpunt is een logisch model Om effecten te meten moet je bedenken wat de relatie is tussen je activiteit en het gewenste effect. Dat gebeurt in een logisch model: Gewenst effect Activiteit Resultaat Outcome Impact Het logisch model geeft weer hoe je denkt dat de gewenste verandering tot stand komt (theory of change) Het model gebruik je om te bepalen wat je gaat meten (indicatoren) en voor de interpretatie van de resultaten van de meting.

Voorbeeld Doel gemeente Oudere burgers meer gebruik laten maken van digitale communicatie met gemeente Activiteit Cursus gebruiken van de gemeente website voor ouderen Resultaat Aantal cursussen / aantal deelnemers Logisch model Verhogen kennis van de website en vaardigheden in het gebruik ervan -> meer gebruik van de gemeente website Indicator % deelnemers dat 3 opdrachten op de gemeente website kan uitvoeren voor en na de cursus Opmerking Kennis van de gemeente website kan ook leiden tot meer gebruik van digitale middelen

Stappenplan voor het meten van effecten Bepaal je doel (het gewenste effect) Bedenk hoe een activiteit leidt tot het gewenste effect (je logisch model) Wat ga je meten om het effect aan te tonen? (indicatoren kiezen) Bepaal je meetinstrument en de toepassing (zoals een exitgesprek met deelnemers aan een activiteit) Pas een bestaand instrument aan of maak je instrument (zoals een bestaande vragenlijst aanpassen aan je activiteit) Voer een proefmeting uit en pas eventueel je instrument aan Voer de effectmeting uit Analyseer de resultaten en rapporteer ze

Raamwerken voor gewenste effecten Educatieve effecten Vergroten kennis en begrip Vergroten vaardigheden Verandering in attitudes of waarden (verandering in perceptie van zichzelf of omgeving) Plezier, inspiratie, creativiteit Nieuwe activiteiten, gedrag, uitvoeren plannen Deze effecten gaan direct over de deelnemers en daarom makkelijker te meten dan Sociale effecten Sterkere en veiliger gemeenschap Meer buurtactiviteit Verbeteren gezondheid Verbeteren welzijn Deze effecten zijn indirect (ze gaan over de buurt of groepen daarin) en daarom lastiger te meten

Effecten meet je met indicatoren Gewenste effecten Indicatoren Toegenomen kennis Aantal deelnemers dat aangeeft een beter begrip te hebben van het onderwerp Gemiddeld aantal privacy risico’s dat deelnemers van smartphone gebruik weten te benoemen Toegenomen vaardigheden Verschil in % deelnemers dat zelfstandig DigID kan gebruiken voor en na de activiteit Verschil in % deelnemers dat zelfstandig een zoekopdracht op internet kan uitvoeren voor en na de activiteit Verschil in aantal aangeboden publicaties 3 maanden voor en 3 maanden na de activiteit Aantal deelnemers dat in staat is zelfstandig een 3D-ontwerp te downloaden en te printen

Welke instrumenten Meest gebruikte instrumenten: Vragenlijsten (korte lijstjes direct bij de activiteit) Enquêtes (langere vragenlijsten achteraf) Interviews (direct of achteraf) Focusgroepen (panel van leden, buurtbewoners) Testen (enkele opdrachten vooraf en na een activiteit) Observaties (scoren van gedrag tijdens een activiteit) Logboek (boekje waarin veranderingen worden genoteerd)

Beter smallball dan powerball Effectmeting kan klein Effectmeting ≠ wetenschappelijk onderzoek (werkt het versus hoe werkt het) Laat je niet afschrikken door meetproblemen: het kan simpel Durf te experimenteren met meetmethoden Beter een beperkt aantal goede indicatoren Vul aan met anekdotisch bewijs (tellen en vertellen) Schakel hulp in waar nodig (maar zorg dat je het zelf leert)

Een miniproject effectmeting Kijk welke casus je hebt en vervolgens Bedenk 1 of meer gewenst effecten van de activiteit (wat wil je ermee bereiken) Bedenk 1 of meer indicatoren (waarmee kun je het effect meten) Maak een aanzet voor een instrument dat je kunt gebruiken voor je meting Vraag de inleiders om hulp

Dank voor uw aandacht edwin@vanderzalm.pro www.vanderzalm.pro