Meten en laten meten in de zorgsector Methodieken en aandachtspunten in het onderzoeksproces Welke soorten communicatie-onderzoekstrajecten wij doorlopen hebben bij ziekenhuizen de voorbije jaren De onderzoeksvragen en bijhorende methodieken om daar een antwoord op te bieden Voorbeelden van kwantitatieve onderzoeksvragen en hoe je die grafisch kan voorstellen; variabelen/factoren En een aantal handige online tools die je gratis op vindt Nadruk op kwantitatief Intern beschikbare kennis voldoet niet altijd => soms extern toetsen wat er leeft (huisartsen, omwonenden)

kader MEMORI – praktijkgericht onderzoek, consulting & advies, o.a. voor ziekenhuizen RZ Tienen Audit en communicatieadvies (2006) Marktonderzoek (2009) AZ Sint-Maarten Audit (2005) Communicatiebegeleiding (2006) Onderzoek van het imago en de externe communicatie van de GZA- ziekenhuizen (2010) MEMORI – Projectmatig Wetenschappelijk Onderzoek Naar een patiëntvriendelijke, duurzame onthaalomgeving in de zorgsector (2008-2011) Zorgmarketing of patiëntenmarketing? (2012-2013) Eerst kort memori voorstellen: binnen groep ‘Mens&Maatschappij’ < thomas more; onderzoek en consulting rond 3 peilers: Nieuwe media & communicatie – overheidscommunicatie – socialprofitcommunicatie – sociale inclusie & participatie Enderzijds: consulting en coachingtrajecten: waarbij ‘onderzoek’ bij een aantal doelgroepen binnen ziekenhuizen (5-tal) + 2 grotere onderzoeken

overzicht Aanleiding om een onderzoek uit te voeren/te laten uitvoeren Invalshoeken Stappen in het onderzoeksproces Bronnen & online onderzoekstools Voorbeelden van vraagtypen en grafische voorstellingen Waarom onderzoek zelf opstarten of laten uitvoeren Welke stappen kan je doorlopen Concrete voorbeelden NIET/ principes van vragenlijstconstructie, steekproefdesign, steekproeftrekking, statistiek, kwalitatieve onderzoekstechnieken…

aanleidingen Verbeterkans Probleem, gevoel van tekort aan handelingskennis stageverslagen, eindproeven, krantenartikelen, beleidsdocumenten, blogs, discussiefora,… Nieuwsgierigheid Verandering (bv. fusie) … Verbeterkans: bv in functie van beleidsbeslissingen of vorm geven van het (communicatie)beleid Beleid baseren op gebrekkige veronderstellingen kan resulteren in missers; goed onderzoek behoedt voor misstappen; het biedt objectieve, up-to-date informatie die concrete handvaten biedt om het (communicatie)beleid op verantwoorde manier in te vullen. BIJ VERANDERING (fusie) Hoe sterk grijpt de verandering in op de werksituatie van deze doelgroep? Wat betekent de verandering voor deze groep? Welke kennis heeft deze groep over (de noodzaak) tot verandering? Welke perceptie heeft deze groep over (de noodzaak) tot verandering? Welke medewerking kunnen we verwachten van deze groep? Welke weerstanden kunnen we verwachten van deze groep? Hoe belangrijk is deze groep voor een succesvolle verandering? Communicatiedoelstellingen geven aan bij wie wat wanneer moet bereikt zijn. Hierbij is het belangrijk om voor de onderscheiden deeldoelgroepen doelstellingen te omschreven op vlak van kennis (weten), houding (begrip, betrokkenheid, gevoel) en eventueel gedrag (gewenste gedragsverandering). Immers, kennisvermeerdering alleen is geen voldoende voorwaarde voor een geslaagde integratie.   Wanneer de uitgangspositie van en de communicatiedoelstellingen voor de verschillende deeldoelgroepen duidelijk zijn, kan bepaald worden wat er nodig is om deze doelstellingen te bereiken. Met andere woorden, de communicatiestrategieën kunnen worden bepaald.

invalshoeken COMMUNICATIE-ONDERZOEK Sterkte-zwakte analyse van de int/ext communicatie en organisatie van de communicatie Optimalisering int/ext communicatie, het onthaal,… in het kader van kwaliteitszorg Komen tot communicatieprioriteiten binnen een communicatiebeleidsplan Geïntegreerde uitwerking van communicatieacties, -procedures, -kanalen… op het operationele niveau BEKENDHEIDS- en IMAGO-ONDERZOEK Werk maken van optimale bekendheid; positief imago bij verschillende doelgroepen Hoe ervaren/percipiëren de publieksgroepen de kwaliteit vh ziekenhuis? Hoe verloopt het besluitvormingsproces bij de patiënt (in ziekenhuiskeuze)? CONCURRENTIE-ANALYSE Wat is de positionering van mijn ziekenhuis t.o.v. andere ziekenhuizen in de regio? Straks voorbeelden van elk van deze invalshoeken

Stappen in het onderzoeksproces Vooronderzoek en analyse van de communicatie- onderbouw Audit/onderzoek/survey/focusgroepen… Conclusies en aanbevelingen Valideren van onderzoeksresultaten: communicatieplan, communicatiestrategie, beleidsbeslissingen, bijsturing communicatiekanalen… Veel kennis is al in huis: kwestie van die kennis te vinden https://www.text2mindmap.com/k6VjMn?controller=frontpage&method=index&map=k6VjMn Mindmap in bijlage: Overzicht van mogelijke doelstellingen (enerzijds van com.onderzoek, anderzijds van marktonderzoek) Stappen in onderzoeksproces

Mogelijke methodieken Deskresearch Gesprekken met onthaalmedewerkers, patiënten, (focusgroepen)… Surveys (online of offline) Shadowing Mystery shopping Dagboekmethode Usabilityonderzoek …

tools Online survey tools Heatmaps Sociale media en blogs evalueren Steekproefgrootte Statistiek Rapportering Inhoudsanalyses op teksten

bronnen Steekproefomvang Afhankelijk van statistische toets http://www.allesovermarktonderzoek.nl/Extra/steekproef. aspx (basis) http://www.tue-tm.org/snijders/mto3/sample_size.htm (overzicht) http://department.obg.cuhk.edu.hk/researchsupport/statst esthome.asp http://www.statpac.com/statistics-calculator/free- version.htm (30 dagen trial)

http://www.journalinks.be/steekproef/

bronnen SurveyMonkey www.qualtrics.com Online vragenlijsten maken LimeSurvey http://www.limesurvey.org/ Handleiding https://admin.kuleuven.be/icts/onderzoek/enqueteservice/werken-met- limesurvey/overzicht-werken-met-limesurvey SurveyMonkey https://nl.surveymonkey.com/MyAccount_GetStarted.aspx Handleiding: www.oncoline.nl (zoeken via google) www.qualtrics.com www.enquetemaken.be, www.studentenenquete.nl, www.thesistools.com Google Docs

bronnen Statistiek: Wikiversity: http://en.wikiversity.org/wiki/Wikiversity:Main_Page HyperStat Online StatisticsTextbook www.davidmlane.com/hyperstat/index.html Research Methods Knowledge Base www.socialresearchmethods.net\kb\index.php Wis(kunde)wijzer: http://www.wiswijzer.nl/ Neill & Howellof Corston& Colman(passieve beslissingsboom): http://en.wikiversity.org/wiki/Inferential_statis tics_decision-making_tree

Bronnen Interactieve beslissingsboom Selecting Statistics (interactief) www.socialresearchmethods.net/selstat/ssstart.htm Decision tree voor statistics (interactief) www.microsiris.com/Statistical%20Decision%20Tree/ default.htm

Bronnen Internetprogramma’s voor kwantitatieve analyses GraphPad QuickCalcs: www.graphpad.com/quickcalcs/index.cfm VassarStats: http://faculty.vassar.edu/lowry/VassarStats.html The R Project for Statistical Computing: http://www.r-project.org/ SISA: http://www.quantitativeskills.com/sisa/index.htm

Online onderzoekstools Attention heatmap www.Feng-Gui.com

Bronnen Woordenfrequenties (analyses) http://www.online-utility.org/text/analyzer.jsp TEXTSTAT: http://neon.niederlandistik.fu- berlin.de/nl/textstat/ www.wordle.net (wordcloud) http://www- 958.ibm.com/software/data/cognos/manyeyes/

bronnen Kwalitatieve analyses op sociale media Google: http://www.google.be/trends Google Analytics (alle online berichten) Likealizer (facebook) Blogs: www.blogpulse.com Twitter: http://trendistic.indextank.com/http://neoformix.com/ Projects/TwitterStreamGraphs/view.php Gecombineerd: http://www.marketsentinel.com/blog/2011/03/free- social-media-monitoring-tools/ marijke?

bronnen Leesbaarheid van teksten:

Bekendheid- en imago-onderzoek Bij verschillende doelgroepen/stakeholders: (paramedische) doorverwijzers, huisartsen in de regio, omwonenden, (potentiële) patiënten, bezoekers, leveranciers, samenwerkingspartners… interne doelgroepen (bv. artsen, personeel…) verschillen tussen campussen? t.a.v. concurrentie? Kwal.methodiek: associatie-oefeningen, projectieve technieken Kwan.methodiek: o.a. semantische differentiaal, Likertschaal

Likertschaal Respondent wordt gevraagd naar zijn mate van akkoord met een aantal statements Volkomen eens (5) / eens (4) / noch eens, noch oneens (3) / oneens (2) / volkomen oneens (1) Er worden extreem geformuleerde uitspraken gebruikt (in de ene of andere richting; dus geen neutrale statements) Vermijd dubbelzinnige statements Wees specifiek => leidt ook tot specifieke antwoorden Geen twee items in één vraag stoppen Gemiddelde wordt berekend om pos/neg houding van respondent te kennen ! Negatief geformuleerde stellingen krijgen omgekeerde schaalwaarden Bruikbare statements => waarbij personen met dezelfde attitude ook hetzelfde antwoord zullen geven Bij de analyse neemt men de 25% meest positieven (de respondenten met de hoogste gemiddelde scores) en vergelijkt men die met de 25% meest negatieven

Semantische differentiaal Ontworpen om de betekenis van begrippen na te gaan; bleek ook waardevol voor attitudeonderzoek Lijst van tegengestelde adjectieven Maar ook beschrijvende naamwoorden en zinnen Respondent moet een bepaald begrip per adjectievenkoppel situeren op 7- puntenschaal.

voorbeeld semantische differentiaal

Voorbeeld imagovraag In welke mate associeert u volgende kenmerken met het [ZH]?   helemaal niet van toepassing niet van toepassing min of meer van toepassing heel toepasselijk geen antwoord/ weet niet kwaliteitsvol (op het vlak van medische handelingen)  Innovatief (vernieuwend) zakelijke (afstandelijke) relatie met patiënt persoonlijke relatie met patiënt goede verpleegkundige zorg sociaal toegankelijk (ook voor beperkte, lage inkomens) conservatief duur warm elitair moderne infrastructuur (moderne kamers ed.) vriendelijk

Voorbeelden - doorverwijzers Imago van ziekenhuis bij doorverwijzers Doorslaggevende factoren bij de keuze van het ziekenhuis waarnaar de huisarts doorverwijst 5-puntenschaal gaande van ‘helemaal niet belangrijk’ tot ‘heel belangrijk’ + open vraag: zijn er nog andere elementen… Indien men NIET doorverwijst [naar ons zh], wat zijn hiervoor de voornaamste redenen Multiple response vraag (meerdere antwoorden mogelijk) Associatie met imago-kenmerken Impact van imago-kenmerken

Oplijsting factoren: interviews-deskresearch 5-punten: dus neutrale categorie; N= aantal respondenten dat antwoordde Eenvoudig beschrijvende manier van deze imagovraag

Formlering multiple response; 70 respondenten gaven elk gemiddeld 3 antwoorden (293%)

Voorbeelden - patiënten Imago van ZH bij (potentiële) patiënten Factoren die een rol spelen bij de keuze voor een welbepaald ziekenhuis 4-puntenschaal (helemaal niet van toepassing – heel toepasselijk) Kennis over fusie (groep waartoe ZH behoort) Associatie van ZH met imagokenmerken Zie voorbeelden Beperkte concurrentie-analyse (Voor welk ZH kiest u doorgaans?) Populatie N=[oneindig, nl. alle potentiële patiënten] n=400; minstens 30 patiënten per afdeling/pathologie/typologie Systematische toevalssteekproef = ideaal, maar vaak moeilijk te realiseren papieren enquête (mondelinge afname, verspreiding via verplegend personeel, …) Typologie patiënt (zie grafiek) Eerste keer patiënt in ZH? Geslacht, leeftijd, regio, dienst (open vraag), opleidingsgraad

geen antwoord/weet niet Voorbeeld imagovraag In welke mate gaat u akkoord met volgende uitspraken over het imago van [ZH]?   helemaal niet akkoord niet akkoord akkoord helemaal akkoord geen antwoord/weet niet Het behoren van het ziekenhuis tot de [GROEP] is voor mij een extra stimulans om voor dit ziekenhuis te kiezen.  Het behoren van het ziekenhuis tot de [GROEP] is voor mij een extra kwaliteitsgarantie. Het levensbeschouwelijke aspect (bv. houding tegenover euthanasie, abortus,.. .) speelt bij mij een belangrijke rol in de keuze voor [ZH]. De vrije keuze van arts is een belangrijke reden voor mij om voor [ZH] te kiezen. Mijn beeld over [ZH] is beïnvloed door de berichtgeving in de media. De relatief korte wachtlijsten in [ZH]spelen een rol in mijn keuze voor dit ziekenhuis.

Gemiddelde score van 1 tot 4

Vergelijking imago bij 3 doelgroepen [ZH] huisartsen patiënten personeel Conservatief* 2,48 2,38 2,72 duur 3,01 2,77 3,25 elitair* 2,43 2,35 2,73 innovatief* 3,44 3,46 3,22 kwaliteitsvol* 3,83 3,81 3,59 moderne infrastructuur 3,43 persoonlijke relatie met patiënt* 3,05 3,37 3,10 sociaal toegankelijk* 2,82 3,35 3,41 vriendelijk* 3,38 3,79 3,39 warm 3,04 3,15 zakelijke relatie met patiënt* 2,95 2,69 3,13 De rode markering zijn de gemiddelde negatieve scores, of de adjectieven die NIET geassocieerd worden met het ziekenhuis. Sint-Augustinus wordt door huisartsen en patiënten niet geassocieerd met ‘conservatief’ en ‘elitair’. Ook bij het personeel liggen deze scores laag, maar net boven de grens van 2.5. De oranje markeringen zijn de matig positieve scores (tussen 2.5 en 3). Daarbij valt op dat patiënten de doelgroep is die het minst van de drie doelgroepen SA associeert met ‘duur’. Het eigen personeel associeert dit wel met SA. Daarnaast valt op dat huisartsen eerder een matige score geven aan ‘sociaal toegankelijk’, terwijl dit aspect in de top 3 zit van het personeel.

Voorbeelden communicatieonderzoek Communicatie van doorverwijzende huisarts met ziekenhuis Tevredenheid over de informatievoorzieningen & informatiesoorten + belang => KLOOFANALYSE Informatielacunes Tevredenheid over de samenwerking en communicatie Moeilijk bereikbare doelgroep! Telefonische opvolging

Voorbeeld kloofanalyse gemiddeld BELANG gemiddelde TEVREDENHEID KLOOF Up-to-date contactgegevens van behandelende artsen 3,53 3,35 ,180 Informatie over nieuwe startende artsen 2,76 3,30 -,540 Actuele ontwikkelingen binnen het ziekenhuis (nieuwe diensten, nieuwe apparatuur…) 3,08 3,31 -,230 Medische verslaggeving na opname consultatie (per post of via MediBRIDGE) 3,95 3,49 ,460 Beleidsinformatie van het ziekenhuis 2,50 3,05 -,550 Elektronische communicatie via MONA 3,04 3,15 -,110 Medisch aanbod van het ziekenhuis 3,33 3,50 -,170 Algemene medische informatie (onderzoeksbevindingen, nieuwe visies…) 2,78 3,26 -,480 Belang – tevredenheid: hoogste score duidt op grootste kloof; Kan helpen bij prioriteren van communicatieacties

Informatielacunes (open vraag) “Welke informatie mist u van [ZH]?” Bereikbaarheid specialisten/artsen Regelmatig up-to-date overzicht met huidige raadplegingsuren, e-mail, tel/GSM, foto vd arts,... Feedback over patiënt Nu vooral eenrichtingverkeer; op vraag van huisarts Overlijden patiënt wordt niet doorgegeven Informatie over nieuwe specialisten Un répertoire mis à jour au moins 1xpar an avec tous les services (et nouveaux médecins) avec les coordonnées de chacun. Sneller informatie over nieuwe behandelingstechnieken Open vragen : turven of wordle

www.Wordle.net Positief: Concrete voorbeelden; belangrijke voorbeelden Van docenten met ervaring Link met de praktijk Goed gedocumenteerd Interactieve aanpak van lesgever (niet altijd) Relaxte sfeer In kort tijdsbestek toch zeer veel nuttige informatie Duidelijke informatie over eerder droge materie (openbaarheid van bestuur) Insprirerende kennismaking Algemeen (stellingen) Doorgaans zeker niet te moeilijk Wel duidelijk en begrijpbaar Voldoende gedocuemnteerd Voldoende praktijkgericht => met uitzondering van een aantal theoretische thema’s (openbaarheid van bestuur: zeer positief geevalueerd)

Voorbeelden - patiënten Duidelijkheid van informatieverstrekking Evaluatie onthaalbrochure Onthaalbrochure gekregen? Gelezen? Evaluatie inhoud/vorm (likertschaal) Evaluatie afdelingsfolder Brochure gekregen? Gelezen? Evaluatie inhoud/vorm Evaluatie website % websitebezoekers (van de internetgebruikers) Evaluatie: actualiteit, gemak waarmee info gevonden wordt, aantrekkelijkheid… Mening over potentieel patiëntenmagazine + verwachte thema’s Evaluatie onthaal Belang van aspecten van niet-medische dienstverlening

geen antwoord/weet niet In welke mate gaat u akkoord met volgende uitspraken over de onthaalbrochure?   helemaal niet akkoord niet akkoord akkoord helemaal akkoord geen antwoord/weet niet De onthaalbrochure oogt aantrekkelijk en nodigt uit tot lezen.  De onthaalbrochure is overzichtelijk. De onthaalbrochure is duidelijk (vlot leesbaar). De onthaalbrochure bevat alle nodige informatie. De inhoud van de onthaalbrochure is begrijpelijk. De onthaalbrochure is voor mij overbodig.

Belang van aspecten van niet-medische dienstverlening Uit pwo: boxplot

Voorbeelden – intern com audit Bevraging artsen – diensthoofden – personeel Verslagen medische informatie: kennis- leesfrequentie-tevredenheid-kanaalvoorkeuren… Stellingen over taakinformatie, beleidsinformatie, communicatiecultuur, informatiedoorstroming, gebruik van formulieren, kennis van de wettelijke comités… Profielvragen: Discipline (internistisch, chirurgisch, medisch-techn) Diensthoofd/eenheidsverantwoordelijke Geslacht, leeftijd, campus, aantal jaren in dienst, aantal dagen per week in ZH

Voorbeeld: artsen (interne com) Met deze uitspraak ga ik… Helemaal niet akkoord Niet akkoord Min of meer akkoord Akkoord Volledig akkoord Weet niet/geen mening Als er iets verandert in de manier waarop ik moet werken, dan word ik doorgaans tijdig geïnformeerd.    Er wordt teveel vergaderd in allerhande werkgroepen. Ik word overspoeld door allerhande informatie in het ziekenhuis. Mijn geneesheer-diensthoofd informeert mij voldoende. De informatiedoorstroming van artsen naar geneesheren in opleiding verloopt vlot. Binnen onze dienst stroomt de informatie vlot door tussen de betrokken artsen onderling. Ik ben slecht op de hoogte van wat er reilt en zeilt in het ziekenhuis omdat ik de informatie die verspreid wordt, te weinig lees .

Voorbeeld interne com Met deze uitspraak ga ik… Helemaal niet akkoord Min of meer akkoord Akkoord Volledig akkoord Weet niet/geen mening Ik ken de bevoegdheden van de wettelijke comités.    Ik weet op voorhand welke onderwerpen besproken zullen worden in de wettelijke comités. Als een onderwerp mij aanbelangt, neem ik zelf het initiatief om mijn visie kenbaar te maken aan de leden van het betrokken comité. Ik weet op welke wijze de beslissingen genomen worden in de wettelijke comités. Een beslissing genomen in een wettelijk comité neem ik ter harte en pas ik toe in mijn praktijk. Ik neem een beslissing van een wettelijk comité enkel ter harte als de directie aanwezig was bij de bespreking. Ik neem een beslissing van een wettelijk comité enkel ter harte als ze ondertekend is door de directie.

Voorbeeld interne com Ik vind dit een belangrijk communicatiekanaal.   Ik vind dit een belangrijk communicatiekanaal. Dit communicatiekanaal wordt voldoende gebruikt in het ziekenhuis. Ja Neen neen dagelijkse briefing  dienstvergadering diensthoofdenvergadering persoonlijk gesprek met collega-diensthoofden of de departementele directeur werkgroepen logboek dienstnota’s verslagen directiemededelingen intranet e-mail andere:……………………………………

Visueel voorstellen van data Tips (www.sondz.nl) 1) gebruik niet de standaard grijze kleuren in Excel 2) gebruik grafieken waarbij u duidelijk de resultaten kunt laten zien en niet teveel ruimte gebruikt 3) vermeld altijd het aantal waarnemingen (bv: n=300 als de grafiek op 300 waarnemingen is gebaseerd) 4) lettertype van labels moeten groot genoeg zijn (wanneer deze van excel naar ppt of word worden gekopieerd) 5) bij 5-puntenschaal: voeg uiterste categorieën samen 6) gebruik voor positieve (schaal)waarden bij voorkeur de kleur groen en voor negatieve (schaal)waarden de kleur rood

gemiddelden

kolomdiagram

top2bottom2

lijndiagram

grafiek waarin enkel de categorieën ‘tevreden’ en ‘zeer tevreden’ zijn opgenomen, met telkens een referentielijn op 70%. We streven met andere woorden naar een minimaal aandeel van studenten van 70% die tevreden of zeer tevreden zijn over de verschillende items. Deze ijking laat toe om methodologisch correcte vergelijkingen te maken met volgende metingen.

Vragen?