Het effect van je werk: zichtbaar maken van de waarde van bibliotheken

Presentatie over: "Het effect van je werk: zichtbaar maken van de waarde van bibliotheken"— Transcript van de presentatie:

1 Het effect van je werk: zichtbaar maken van de waarde van bibliotheken
Edwin van der Zalm 14 maart 2017

2 Een leven in de bibliotheek

3 Project Proeftuin Meervoudig verantwoorden
Wat doen we? Wat kost het? Wat levert het op? Handreiking effectmeting Handreiking kostentoedeling

4 Nu: proeftuinieren

5 Waarom effecten meten? Redenen om effecten te meten:
Vragen van gemeente Laat de waarde zien van je werk Helpt activiteiten te verbeteren Biedt richting en focus in activiteiten Verhoogt inzicht in effectiviteit activiteiten Motiveert medewerkers Vergroot de band met gebruikers en omgeving Biedt mogelijkheden voor samenwerking Verhoogt de reputatie van de organisatie

6 Prestaties zijn geen effecten
10 deelnemers aan een activiteit versus wat hebben die deelnemers geleerd? Huidige prestatie afspraken met subsidiegevers Nu vooral de kwantiteit van de output en het bereik: Aantallen uitleningen, bezoekers, bijeenkomsten, aantal scholen waarmee is samengewerkt Kwantitatieve indicatoren nemen zicht weg op andere prestaties Voorbeeld: bezoekersaantallen zeggen niets over het vergroten van je bereik onder een moeilijke doelgroep Huidige metingen betreffen vooral de kwaliteit van de dienstverlening d.m.v. klantentevredenheid Effecten gaan over de verandering die de dienstverlening tot stand brengt

7 De verandering of het gewenste effect
In de praktijk kijk je naar: Vaardigheid (dingen beter doen) Kennis (meer over iets weten) Gedrag (dingen anders doen) Houding (vertrouwen ergens in, motivatie ergens voor)

8 Terminologie wekt verwarring
Input = wat je inzet voor een activiteit Output = de uitgevoerde activiteit Twee woorden voor effect: Outcome = de directe verandering die wordt bereikt bij een deelnemer aan een activiteit Impact = outcome op lange termijn of voor een gemeenschap Wat je meet om het effect te kennen: Indicator = Wat je gaat meten – een maat die het effect weergeeft

9 Terminologie in de proeftuin

10 Startpunt is een logisch model
Om effecten te meten moet je bedenken wat de relatie is tussen je activiteit en het gewenste effect. Dat gebeurt in een logisch model: Gewenst effect Activiteit Resultaat Outcome Impact Het logisch model geeft weer hoe je denkt dat de gewenste verandering tot stand komt (theory of change) Het model gebruik je om te bepalen wat je gaat meten (indicatoren) en voor de interpretatie van de resultaten van de meting.

11 Voorbeeld Doel gemeente
Oudere burgers meer gebruik laten maken van digitale communicatie met gemeente Activiteit Cursus gebruiken van de gemeente website voor ouderen Resultaat Aantal cursussen / aantal deelnemers Logisch model Verhogen kennis van de website en vaardigheden in het gebruik ervan -> meer gebruik van de gemeente website Indicator % deelnemers dat 3 opdrachten op de gemeente website kan uitvoeren voor en na de cursus Opmerking Kennis van de gemeente website kan ook leiden tot meer gebruik van digitale middelen

12 Stappenplan voor het meten van effecten
Bepaal je doel (het gewenste effect) Bedenk hoe een activiteit leidt tot het gewenste effect (je logisch model) Wat ga je meten om het effect aan te tonen? (indicatoren kiezen) Bepaal je meetinstrument en de toepassing (zoals een exitgesprek met deelnemers aan een activiteit) Pas een bestaand instrument aan of maak je instrument (zoals een bestaande vragenlijst aanpassen aan je activiteit) Voer een proefmeting uit en pas eventueel je instrument aan Voer de effectmeting uit Analyseer de resultaten en rapporteer ze

13 Raamwerken voor gewenste effecten
Educatieve effecten Vergroten kennis en begrip Vergroten vaardigheden Verandering in attitudes of waarden (verandering in perceptie van zichzelf of omgeving) Plezier, inspiratie, creativiteit Nieuwe activiteiten, gedrag, uitvoeren plannen Deze effecten gaan direct over de deelnemers en daarom makkelijker te meten dan Sociale effecten Sterkere en veiliger gemeenschap Meer buurtactiviteit Verbeteren gezondheid Verbeteren welzijn Deze effecten zijn indirect (ze gaan over de buurt of groepen daarin) en daarom lastiger te meten

14 Effecten meet je met indicatoren
Gewenste effecten Indicatoren Toegenomen kennis Aantal deelnemers dat aangeeft een beter begrip te hebben van het onderwerp Gemiddeld aantal privacy risico’s dat deelnemers van smartphone gebruik weten te benoemen Toegenomen vaardigheden Verschil in % deelnemers dat zelfstandig DigID kan gebruiken voor en na de activiteit Verschil in % deelnemers dat zelfstandig een zoekopdracht op internet kan uitvoeren voor en na de activiteit Verschil in aantal aangeboden publicaties 3 maanden voor en 3 maanden na de activiteit Aantal deelnemers dat in staat is zelfstandig een 3D-ontwerp te downloaden en te printen

15 Welke instrumenten Meest gebruikte instrumenten:
Vragenlijsten (korte lijstjes direct bij de activiteit) Enquêtes (langere vragenlijsten achteraf) Interviews (direct of achteraf) Focusgroepen (panel van leden, buurtbewoners) Testen (enkele opdrachten vooraf en na een activiteit) Observaties (scoren van gedrag tijdens een activiteit) Logboek (boekje waarin veranderingen worden genoteerd)

16 Beter smallball dan powerball
Effectmeting kan klein Effectmeting ≠ wetenschappelijk onderzoek (werkt het versus hoe werkt het) Laat je niet afschrikken door meetproblemen: het kan simpel Durf te experimenteren met meetmethoden Beter een beperkt aantal goede indicatoren Vul aan met anekdotisch bewijs (tellen en vertellen) Schakel hulp in waar nodig (maar zorg dat je het zelf leert)

17 Een miniproject effectmeting
Kijk welke casus je hebt en vervolgens Bedenk 1 of meer gewenst effecten van de activiteit (wat wil je ermee bereiken) Bedenk 1 of meer indicatoren (waarmee kun je het effect meten) Maak een aanzet voor een instrument dat je kunt gebruiken voor je meting Vraag de inleiders om hulp

18 Dank voor uw aandacht