Jan Depauw Onderzoeker/Lector KdG

Presentatie over: "Jan Depauw Onderzoeker/Lector KdG"— Transcript van de presentatie:

1 Jan Depauw Onderzoeker/Lector KdG
De ‘maat’ van sociaal werk Een meetschaal voor psychologisch empowerment als een 'gedragen' meetinstrument Jan Depauw Onderzoeker/Lector KdG

2 Inhoud 1. Productie-indicatoren
2. Meetschaal psychologisch empowerment 3. Try-out 4. Conclusie 5. Evaluatie-onderzoek 6. Literatuur We gaan van start met manieren van meten en registreren vanuit verschillende perspectieven Vervolgens zal ik ingaan op de theoretische grondslagen van de meetschaal die we ontworpen hebben, en de keuzes die we daarin hebben moeten maken In een derde deel zal ik weergeven hoe die meetschaal uitgetest werd, om dan in een vierde hoofdstuk conclusies en bevindingen op een rijtje te zetten Moest er dan nog tijd over zijn dan kunnen we aangeven hoe de meetschaal in evaluatie-onderzoek ingezet kan worden. Achteraan de powerpoint vinden jullie enkele referenties en mijn contactgegevens.

3 1. Productie-indicatoren
Om de performantie van een publieke organisatie te beoordelen kan men via diverse metingen nagaan of de ingezette middelen (input) door activiteiten (throughput) worden omgezet in prestaties (output) die bepaalde effecten genereren (outcome)

4 Perspectief Proces Resultaat Management Transactie
Productie van diensten. Output Geproduceerde diensten. Hulpverlener Interactie Hulpverlenings-proces. Throughput Positieve basishouding en samenwerkings-relatie. Cliënt Transactie en interactie Samenwerkings-relatie met de hulpverlener. Outcome Levenskwaliteit Autonomie-verhoging en netwerkversterking. Bron: Stoelinga, 2004

5 Draagvlak meting bij sociaal werkers?
‘Meten’ wint (overal) aan belang. Positief: transparantie en lering uit cijfers trekken. Verwachtingen: Verschillende perspectieven. Metingen variëren/combineren (ook oog voor proces). Ontluiken wat verborgen blijft. Geen meerwerk. Duidelijkheid over het doel en gebruik van de resultaten. Niet inzetten om individuele werkers of cliënten op af te rekenen. We gebruikten een webbased ‘beleids-Delphi’ en we polsten naar houdingen tegenover bestaande metingen en registraties. In OCMW Antwerpen vulden 219 OCMW-professionals de webenquête in. Daaruit bleek dat verantwoording afleggen door middel van cijfers in ruime mate wordt aanvaard door medewerkers binnen de organisatie, net als het idee dat uit die cijfers lering kan worden getrokken. Wel twijfelt men eraan of de huidige registraties en metingen dat in voldoende mate doen. Welke verwachtingen bestaan er over een goede vorm van meten? Een duidelijke communicatie voor wie de cijfers bestemd zijn en waarvoor ze dienen. Het perspectief van hulpverlener en hulpvrager combineren. Een variatie aan metingen is noodzakelijk, onzichtbare hulpverleningsresultaten moeten zichtbaar worden gemaakt. Er moet ook aandacht zijn voor het begeleidingsproces. Resultaten moeten leiden tot een gesprek over de aanpak in de toekomst. Een meetinstrument mag daarenboven niet gebruikt worden om individuele hulpverleners op hun werk ‘af te rekenen’. Daarnaast relativeren sociaal werkers de impact van hun begeleiding. Ze zijn het erover eens dat een bereikt resultaat altijd een gevolg is van de inzet van meerdere mensen en dat een actie van een hulpverlener maar één van de factoren is die van invloed zijn op het bereikte resultaat. De medewerkers vragen ten slotte dat de afname van het meetinstrument geen ernstig meerwerk met zich meebrengt.

6

7 Probleemstelling Bestaande metingen tonen gebreken voor de praktijk van sociaal werk. Is er een alternatief? Als het doel van kwaliteitsvol sociaal werk is te werken aan autonomieverhoging en netwerkversterking, is dat ‘empowerment’ dan meetbaar?

8 2. Meetschaal psychologisch empowerment
Vlaams Armoedesteunpunt. Beleidsrelevant onderzoek.

9 2.1 Situering Stijgende belangstelling voor empowerment.
Vraag naar methode om effectiviteit in beeld te krijgen. Try-out meetschaal psychologisch empowerment als concrete vertaling van empowerment naar de praktijk van hulpverlening binnen OCMW’s. Betrokken OCMW’s van Wevelgem, Westerlo, Lier en Antwerpen.

10 2.2 Theoretisch raamwerk Inhoud: Populariteit van het begrip
Vervaging van het concept Door ons gehanteerde definitie Sociaal-ecologisch perspectief Psychologisch empowerment

11 2.2.1 Explosieve groei populariteit
Oorsprong empowerment-gedachtengoed USA. Inmiddels ook in andere continenten immense populariteit. Als onderzoeksthema Eenvoudige zoekopdracht in de 14 raadpleegbare databanken van Sociofile met de zoekwoorden ‘empower’ of ‘empowerment’ in de titel van een bijdrage in een ‘peer reviewed’ academisch tijdschrift geeft als resultaat: : 10 tijdschriftartikels : 395 : 2.058 : Zoeken we in deze bijdragen niet op basis van de titel maar op basis van de samenvatting, dan vermenigvuldigt dit laatste aantal zich tot tijdschriftartikels. In beleidsvoering en hulpverlening.

12 Global Definition of Social Work
“ Social work is a practice-based profession and an academic discipline that promotes social change and development, social cohesion, and the empowerment and liberation of people. Principles of social justice, human rights, collective responsibility and respect for diversities are central to social work. Underpinned by theories of social work, social sciences, humanities and indigenous knowledge, social work engages people and structures to address life challenges and enhance wellbeing”.

13 2.2.2 Vervaging van concept Toenemende populariteit gaat gepaard met vervaging van definities en conceptualiseringen. “Today the frequency and ease with which people use ‘empower’ and ‘empowerment’ is matched only by the lack of precision in the meaning they attach to these terms.” (Cochran, 1992, p. 3) Empowerment is een containerbegrip: het wordt in diverse contexten gebruikt, en verwijst niet altijd naar dezelfde doelen of praktijken (Tengland, 2008). Ibrahim & Alkire (2007) sommen dertig verschillende definities van empowerment op. Zelf hanteren we de in Vlaanderen breed aanvaarde definitie van Van Regenmortel

14 2.2.3 Door ons gehanteerde empowermentbenadering
“Empowerment is een proces van versterking waarbij individuen, organisaties en gemeenschappen greep krijgen op de eigen situatie en hun omgeving en dit via het verwerven van controle, het aanscherpen van kritisch bewustzijn en het stimuleren van participatie” (Van Regenmortel, 2002)

15 A. Een sociaal-ecologisch perspectief
Door Julian Rappaport (1984) en Marc Zimmerman (2000) empirisch onderbouwde benadering van empowerment, ontwikkeld in context van Anglo-Amerikaanse ‘community psychology’ Ecologische theorie die belang van het individueel-relationele en het contextuele benadrukt. Individu en sociale structuur niet als een of-of, maar een en-en-verhaal. Tine Van Regenmortel (2002) introduceert deze benadering in Vlaanderen in de context van armoedebestrijding. Persoon-in-context!!

16 B. Persoon-in-context Armoede ontstaat door een –structureel- ongelijke verdeling van mogelijkheden en toegang tot bronnen. Deze empowermentbenadering erkent daarnaast het actorschap of het actief bemiddelend vermogen van mensen om in alle omstandigheden, ook beperkende, doelen na te streven en controle te hebben of krijgen over gebeurtenissen. Vanuit dit perspectief wordt aangestuurd op enerzijds de ontwikkeling van sociale structuren (die personen beter verbinden met het systeem) en anderzijds versterking van personen (om hen zo in staat te stellen invloed uit te oefenen). Centrale stelling vanuit de door ons gehanteerde empowermentbenadering Erkent structurele element Maar ook persoonlijk, individuele en relationele elementen

17 C. Kenmerken van empowerment
Multi level construct Micro-, meso-, en macroniveau Open construct Invulling verschilt naar context Heeft betrekking op processen en op uitkomsten Participatie van de doelgroep is inherent aan empowermentonderzoek.

18 D. Multilevel Micro: Meso: Macro:
Empowerment op het individuele niveau omvat onder meer overtuigingen over de eigen competenties, kennis en begrip van de socio-politieke omgeving en inspanningen om controle uit te oefenen. Dit ‘psychologisch empowerment’ overstijgt een louter intra-persoonlijke invulling aangezien het zowel intra- als interpersoonlijke elementen bevat. Meso: Op dit niveau wordt een conceptueel onderscheid gemaakt tussen ‘empowering’ en ‘empowered’ organisaties (Peterson en Zimmerman, 2004). Empowering organisaties zijn organisaties die psychologisch empowerment onder hun leden genereren. Empowered organisaties worden gekenmerkt door effectiviteit in het realiseren van hun doelstellingen (bijvoorbeeld beleidsbeïnvloeding). Macro: Empowerment op het gemeenschapsniveau heeft betrekking op inspanningen om bedreigingen voor de gemeenschap af te wenden, de levenskwaliteit te verhogen en burgerparticipatie te verhogen.

19 E. Psychologisch empowerment
Componenten van psychologisch empowerment Intrapersoonlijke componenten Geloof in eigen kunnen (‘self efficacy’) Geloof in eigen invloed (‘locus of control’) Wil tot eigen invloed (motivatie) Interpersoonlijke component Kritisch bewustzijn van maatschappelijke mogelijkheden, normen en middelen Vaardigheid om deze te benutten Mobiliseren van bronnen Gedragscomponenten Betrokkenheid bij de gemeenschap Participatie in sociale verbanden Constructief gedrag in omgang met nieuwe situaties en keuzes Bron: Zimmerman, 1995

20 2.3 Meetschaaltechniek Een meetschaal is een techniek om kenmerken die niet rechtstreeks meetbaar zijn toch te meten. De empowerment-meetschaal is een geheel van uitspraken waarvan we verwachten dat ze (dimensies van) psychologisch empowerment meten.

21 3. Try-out Kwantitatieve en kwalitatieve technieken combinerend, hebben we (waar mogelijk), samen met sociaal werkers en mensen in armoede, achtereenvolgens Draagvlak onderzocht Een meetschaal ontworpen Try-out uitgevoerd Betrouwbaarheid en validiteit uitgetest Inzetbaarheid en gebruiksgemak geëvalueerd.

22 3.2 Schaalconstructie in co-creatie
Eerder gevalideerde meetschalen werden vertaald naar context OCMW’s. Een lijst met 70 items werd voorgelegd aan stakeholders. Doel: Inhoudelijke validering door het theoretisch kader van psychologisch empowerment af te toetsen. Vorm: taalgebruik aanpassen en lengte van de vragenlijst beperken. Uit internationale wetenschappelijke literatuur selecteerden we relevante meetschalen die componenten van psychologisch empowerment meten en waarvan de geldigheid en betrouwbaarheid getest zijn. De vertaling van relevante items uit geselecteerde meetschalen leverde een lijst op van zeventig items. Die lijst werd ter bespreking voorgelegd aan focusgroepen van hulpverleners en hulpvragers en, via een web-enquête, aan sociaal werkers. Slecht scorende items die als dubbelzinnig, onduidelijk, onvoldoende verbonden met het concept beoordeeld werden, werden verwijderd.

23 3.2.1 In dialoog met sociaal werkers
Focusgroepen in voorbereiding van de try-out Inhoud van het begrip empowerment in OCMW’s Reflectie op het theoretisch kader. Online bevraging voor de selectie van items Score op taal en relevantie. Evaluatie (diepte-interviews en groepsgesprekken) SWOT meetschaal psychologisch empowerment. Vooraf in voorbereiding betrokken Vervolgens in de feitelijke afname Achteraf evaluatie op gebruiksvriendelijkheid

24 3.2.2 De stem van cliënten Focusgroepen in voorbereiding van de try-out Inhoud van het begrip empowerment in OCMW’s. Score op taal en relevantie. Evaluatie (diepte-interviews) SWOT meetschaal psychologisch empowerment.

25 3.3 Feitelijke try-out Meetschaal voor psychologisch empowerment werd aangepast op basis van bevindingen, getrouw aan conceptueel kader. Resulteerde in schaal met 28 items. Proefdraaien binnen OCMW Lier en OCMW Antwerpen. Die oefening resulteerde in een meetschaal voor hulpvragers van 28 items. Deze meetschaal werd voorgelegd aan sociaal werkers en hun cliënten van OCMW Antwerpen en OCMW Lier. Dit resulteerde in 349 ingevulde meetschalen voor hulpvragers.

26 3.4. Confirmatorische factoranalyse
Vier dimensies met 14 variabelen waarin naast oorspronkelijke intra- (positief identiteitsgevoel), de inter-persoonlijke (sociale habitat) en gedragscomponent (verbondenheid) ook samenwerkingsrelatie (hulpverlening) als afzonderlijke factor. Kwantitatief toetsen op betrouwbaarheid, validiteit en modelfit.

27 Gestandaardiseerde factorladingen t-toets Probabibilteit t-toets R²
Gestandaardiseerde factorladingen t-toets Probabibilteit t-toets R² Verklaarde variantie schatting F 1: Sociale habitat ( 𝜌 𝑐 = 0,76) Item a Item b Ik haal voldoening uit wat goed gaat Item d Item e 0,64 0,59 0,76 0,46 0,63 16,25 13,71 24,65 9,14 15,81 0,001 0,41 0,34 0,58 0,21 0,40 0,39 F 2: Positief identiteitsgevoel ( 𝜌 𝑐 = 0,58) Item f Item g Ik zie de toekomst positief in 0,52 0,49 0,66 10,40 9,43 14,40 0,27 0,24 0,43 0,32 F 3: Verbondenheid ( 𝜌 𝑐 = 0,68) Ik heb het gevoel dat ik ergens bij hoor Item j Item k 0,68 0,67 16,91 16,16 12,71 0,47 0,45 0,42 F 4: Hulpverlening ( 𝜌 𝑐 = 0,74) Mijn hulpverlener en ik hebben een goede samenwerkingsrelatie Item m Item n 0,82 0,60 20,70 13,07 15,16 0,36 0,44 Alle factorladingen blijken voldoende hoog en significant wat de mate weergeeft waarin een indicator de specifieke factor reflecteert. De R²-waarde geeft weer hoeveel variantie in de indicator verklaard wordt door de onderliggende factor. De samengestelde betrouwbaarheid (𝜌c), vergelijkbaar met Cronbachs alpha, geeft de interne betrouwbaarheid van de schaal aan (Bagozzi & Yi, 1988; Mortelmans, 2011). Waarden groter of gelijk aan 0.60 zijn aanvaardbaar (Bagozzi & Yi, 1988). Samenvattend kunnen we uit de batterij aan testen besluiten dat er een achterliggende gemeenschappelijke variantie is, dat ons meetmodel goed bij de data past, dat de verschillende latente factoren zowel betrouwbaar als valide zijn en we bij de factoren die uit de factoranalyse naar voor komen de drie dimensies terugvinden uit het theoretisch model van empowerment. De eerste factor combineert items die we oorspronkelijk onderbrachten bij de interpersoonlijke- en gedragscomponenten. Inhoudelijk verwijzen de items naar de mate van samenwerking met anderen, en dit in nauwe (familie en kenissen) en brede kring (buurt en samenleving). We noemen deze factor ‘sociale habitat’. De tweede factor combineert items die we vanuit het theoretisch raamwerk toeschreven aan de interpersoonlijke dimensie. Qua inhoud verwijzen ze naar een ‘positief identiteitsgevoel’, een optimistische en positieve kijk op zichzelf en de eigen toekomst. Een derde factor voegt items samen uit de intrapersoonlijke en gedragscomponenten. Ze verwijzen naar het gevoel te behoren tot een groep, anderen helpen en zaken kunnen delen. We definiëren deze factor als ‘verbondenheid’. De vierde en laatste factor wordt samengesteld door drie items uit de interactionele dimensie die alle drie verwijzen naar de relatie met de hulpverlener. Deze factor vatten we onder de noemer ‘hulpverlening’. Noot: betrouwbaarheid ρ_c= ⌊(∑λi)² var(ξ)⎸⏌/⎿(∑λi)² var(ξ)+ ∑θii⎸⏌ ⌋ (Bagozzi & Yi, 1988, p. 80) Fit statistics voor confirmatieve factoranalyse van 14 indicatoren voor 4 constructen: χ²= 113,30, ρ= 0,001; GFI = 0,95; CFI = 0,96; NFI = 0,91; NNFI = 0,95; RMSEA = 0,044.

28 Eén sterretje hoort bij iets dat conventioneel
wordt aangegeven als < 0.05, twee sterretjes bij < 0.01 en drie sterretjes bij < In mensentaal geeft dit laatste symbool aan dat er minder dan één kans op duizend is dat het geconstateerde resultaat toe te schrijven is aan toeval.

29 4. Conclusies 4.1 Schaal is vatbaar voor verbetering
Taalniveau. Inhoudelijke validering en vormelijke aanpassing door mensen in armoede. Technische aanpassingen. Contextualisering is noodzakelijk: niet louter succesvol/onsuccesvol maar ook oordeel over ‘wat werkt’.

30 4.2 Kracht van de meetschaal
Meetschaal met 14 items vertaalt empowerment naar de praktijk van sociaal werk. Beantwoordt (deels) aan verwachtingen: cliëntperspectief, ontluikt wat verborgen blijft. Faciliteert krachtgerichte kijk: meet krachten, geen ‘problemen’. Meet wetenschappelijk verantwoord. ‘Effect’ wordt meetbaar. Biedt transparantie. Geeft stem aan cliënt. Introduceert nieuwe vorm van meten.

31 5. Evaluatieonderzoek RCT = ‘Gold standard’ van evidence-based werken maar vertalen van uitkomsten in ‘succesvol’ of ‘niet-succesvol’ brengt ons niet veel bij. Aanvullende ‘evidentie’ noodzakelijk. 2 Soorten: Objectieve evidentie: resultaten van gevalideerde en betrouwbare meetschalen. Kwalitatieve evidentie: Verzamelen van getuigenissen via diepte-interviews

32 5.1 Kwantitatieve vraag Zien we een wijziging in de score van psychologisch empowerment bij de cliënten die een specifiek traject doorlopen? Verschilt die score significant bij de start van het traject en na verloop van tijd? Draagt het traject bij tot een verhoging van psychologisch empowerment van de cliënten?

33 Design Kwantitatief luik
Longitudinaal: eenzelfde uitkomstvariabele (psychologisch empowerment) meerdere keren in de tijd bij dezelfde personen meten. Experimentele groep: doorlopen traject. Controlegroep: vertraagde vertrekkers. Interactie-variabele: werker-empowerment.

34 Er is sprake van interactie als het effect op de afhankelijke variabele van een onafhankelijke variabele afhangt van de waarde van een andere onafhankelijke variabele. Je kan het zien als een soort “turbo-effect”. Voorbeeld Stel dat we de effecten van arbeidsbegeleiding op psychologisch empowerment onderzoeken. Naast het hoofdeffect (traject) wordt er ook een interactie-effect gevonden. Hierbij hangt het effect van het traject af van empowermentscore van de hulpverlener: Wanneer iemand een traject volgt dat de empowermentscore verhoogt, en daarbij geholpen wordt door een empowered hulpverlener, dan ontstaat er een soort ‘turbo-effect’, waardoor deze persoon een zeer hoog cijfer haalt in vgl met andere die enkel effect hebben van traject.

35 5.2 Kwalitatieve vraag Wat geven hulpverleners en cliënten aan wat werkt? Wat zijn werkzame factoren in de hulpverlening? Wat zijn volgens hen de onafhankelijke variabelen die wijzigingen in empowermentscores kunnen verklaren?

36 Design Kwalitatief luik
Geïnspireerd door: Participatory Theory-Based Effectiveness Evaluation (Chen & Rossi, 1980) Realist Evaluation (Pawson & Tilley, 1997) Common Factors Model (Hubble, Duncan & Miller, 1999). Gesynthetiseerd in: CAIMeR-theorie (Blom & Moren, 2010)

37 CAIMeR-model (Blom & Moren, 2010)
Basisconcepten: Context, Actoren, Interventies, Mechanismen en Resultaten. Context: leefwereld, interventiecontext en maatschappelijke context Actoren: in interventie betrokken spelers, formeel en informeel Interventies: al dan niet rolgebonden (al dan niet ‘verplicht’ vanuit formele hulpverlenersrol: sociale steun bieden, gezelschap houden, …) Mechanismen: sociaal, sociaal-psychologisch, psychologisch. Resultaten: outcome/output, direct/indirect, korte/lange termijn,…

38 6. Literatuur Depauw, J., & Driessens, K. (2013). Try out meetschaal psychologisch empowerment. (Vlas-Studies 12). Antwerpen: Vlaams Armoedesteunpunt. Depauw, J., & van Dop, N. (2015). De 'maat' van sociaal werk. In K. Driessens, P. Raeymaeckers, L. Sebrechts, M. Tirions & E. Wouters (Eds.), Een caleidoscoop van sociaalwerkonderzoek. Een sociaalwetenschappelijke benadering. (pp ). Leuven: Acco. Steenssens, K., & Van Regenmortel, T. (2013). Grondslagen en uitdagingen voor het meten van empowerment. (Vlas-Studies 6). Antwerpen: Vlaams Armoede Steunpunt. Steenssens, K., & Van Regenmortel, T. (2014). Empowerment-meetinstrumenten. Kritische reflectie op basis van theoretische grondslagen. (Vlas Studies 17). Antwerpen: Vlaams Armoedesteunpunt.

39 7. Contactgegevens Karel de Grote-Hogeschool
Onderwijsgroep Welzijn, Onderwijs & Gezondheidszorg Campus Zuid E Jan Depauw Onderzoeker/Lector T E