Meervoudig verantwoorden: De waarde van bibliotheekdiensten voor gemeenten 26 september 2018

Meervoudig verantwoorden: vraagstelling van gemeenten Effectmeting: wat en hoe Lessen uit het programma Meervoudig verantwoorden

Vraagstelling gemeenten Vooraf: Wat willen we bereiken? Wat gaan we daar voor doen? Wat mag dat kosten Achteraf: Wat is er bereikt? Wat is daar voor gedaan? Wat heeft het gekost?

Antwoorden bibliotheken Bereiken Opbrengsten van activiteiten Effecten Doen Welke activiteiten en hoeveel Output / prestaties Kosten Integrale kosten van activiteiten Prijzen

Bronnen voor antwoorden Meten Maatschappelijke Opbrengsten Project Meervoudig verantwoorden Resultaten landelijk onderzoek Meet- instrumenten Eigen metingen volgens standaard methode Landelijke programma’s (dBOS, Boekstart) Diensten-catalogus Verslag van aangeboden activiteiten Landelijke tarieven (uurprijs per functieniveau) Programma-begroting Kostprijsberekening volgens standaard methode Project Meervoudig verantwoorden

Toelichting op effectmeting: startpunt gemeenten Gemeenten willen: Zelfredzaamheid Iedereen doet mee (sociale participatie) Iedereen werkt mee (economische participatie) Bibliotheken (kunnen) bieden: Communicatie vaardigheden (taal en digitaal) Sociale vaardigheden Sociale verbanden (sterke gemeenschap) Vraagt om versterking van: In de vorm van: Trainingen en cursussen Begeleiding van groepen en individuen Sociale activiteiten Thematische bijeenkomsten Een plaats voor ontmoeting

Effectmeting: wat en hoe

Prestaties zijn geen effecten Huidige prestatie afspraken met subsidiegevers Nu vooral de kwantiteit van de output en het bereik: Aantallen uitleningen, bezoekers, bijeenkomsten, aantal scholen waarmee is samengewerkt Kwantitatieve indicatoren bieden geen inzicht in andere prestaties Bezoekersaantallen zeggen niets over wat je bereikt hebt bij de bezoekers Huidige metingen betreffen vooral de kwaliteit van de dienstverlening d.m.v. klantentevredenheid Effecten gaan over de verandering die je activiteit tot stand brengt

Raamwerk voor het meten van effecten Bruikbaar raamwerk van Inspired Learning For All van MLA Educatieve effecten (veelal directe effecten) Vergroten kennis en begrip Vergroten vaardigheden Verandering in attitudes, percepties of waarden Nieuwe activiteiten, gedrag, uitvoeren plannen Plezier, inspiratie, creativiteit Sociale effecten (veelal indirecte effecten) Sterkere en veiliger gemeenschap (sociale cohesie) Meer buurtactiviteit (sociale participatie) Verbeteren gezondheid Verbeteren welzijn Instrumenten: Vragenlijsten Enquêtes Interviews Tests Observaties Focusgroepen http://www.artscouncil.org.uk/advice-and-guidance/inspiring-learning-all-home-page

De verandering of het gewenste effect In de praktijk gaat het vooral om: Vaardigheden (dingen beter doen) Kennis (meer over iets weten) Houding (vertrouwen ergens in, motivatie ergens voor) Gedrag (dingen anders doen)

Verandering start aan de basis

Effectmeting: van doel naar effect Ouderen participeren in de samenleving Thema-avonden woningaanpassingen voor ouderen Activiteit Doel van de gemeente Kosten € … per avond Deelnemers weten welke aanpassingen helpen om langer zelfstandig te wonen Effecten Sociaal netwerk van deelnemers vergroot

Start- en eindpunt is een logisch model Voor het zichtbaar en meetbaar maken van de relatie tussen activiteiten en effecten is een logisch model nodig:

Effectmeting: indicatoren en instrumenten Gewenste effecten Indicatoren en instrumenten Toegenomen kennis over woningaanpassingen (educatief effect) Aantal deelnemers dat aangeeft een beter begrip te hebben van woningaanpassing Gemiddeld aantal risico’s dat deelnemers weten te benoemen van een woning zonder aanpassingen Meten met een vragenlijst Uitbreiding sociaal netwerk (sociaal effect) Aantal nieuwe mensen waar deelnemers mee gesproken hebben tijdens de activiteit Aantal nieuwe mensen waarmee ook na de activiteit nog contact is Meten met een telefonische enquête

Voorbeeld Doel gemeente Verminderen langdurige werkloosheid Activiteit Cursus schrijven van brieven en invullen formulieren Resultaat Aantal cursussen / aantal deelnemers Logisch model Beter schrijven -> meer en betere sollicitatiebrieven (direct effect) -> meer kans op werk (indirect effect) Indicator Aantal sollicitatiebrieven van deelnemers voor en na de cursus Opmerking Daadwerkelijk vinden van een baan ligt buiten de invloed van de activiteit

Voorbeeld Doel gemeente Verhogen sociale participatie vrouwen eerste en tweede generatie migranten Activiteit Leesgroep voor migrantenvrouwen Resultaat Aantal cursussen / aantal deelnemers Logisch model Beter lezen -> meer zelfvertrouwen (direct effect) -> meer deelname aan activiteiten buiten de deur (indirect effect) Indicator 80% van de deelnemers scoort positief op de 3 vragen over zelfvertrouwen in een interview Opmerking Effect op totale populatie ligt buiten invloed van de activiteit

Lessen uit programma Meervoudig verantwoorden

Beantwoorden van gemeenten Voorbeeld: doel gemeente = ouderen participeren in de samenleving Wat is er gedaan? Thema avonden over woning aanpassing 4 avonden 42 deelnemers Wat is er mee bereikt? Meer kennis bij deelnemers over woningaanpassing Vergroting sociaal netwerk 80% deelnemers scoort voldoende op test 73% deelnemers heeft 1 of meer nieuwe mensen in netwerk Wat heeft het gekost? € 550 per avond € 2.200 € 52,40 per deelnemer

Lessen van de proefprojecten effectmeting Strategische keuzen Relatie met gemeente Effectmeting kan eenvoudig Lange termijn proces Logisch model belangrijk middel Vaak nodig zelf instrument te maken Voldoende tijd nodig Aanpakken als project Belangrijk om vast te houden aan de methodiek

Vragen?

Toelichting op kostentoedeling Methode kostenverdeelstaat Opnemen kostenverdeelstaat in administratie Nadeel: Bewerkelijk Voordelen: Wat-als analyses mogelijk Inzicht prognose – realisatie Flexibel bij nieuwe diensten Methode kostprijsberekening Werken met toeslag voor indirecte kosten Nadeel: Geen wat-als analyses mogelijk Geen inzicht prognose – realisatie Vraagt om aanpassing bij wijzigingen Voordeel: Snel en gemakkelijk uit te voeren

Lessen van de proefprojecten kostentoedeling Voldoende betrokkenheid van management Voldoende capaciteit inplannen Bepalen van kostendragers niet onderschatten Leg een relatie met de begroting Aanpakken als project Projectleider bij voorkeur uit primair proces