Een oefening met anamneselijsten voor het medisch consult An Victoir Vragen stellen Een oefening met anamneselijsten voor het medisch consult An Victoir

Over validiteit en betrouwbaarheid van vragen Ter inleiding Over validiteit en betrouwbaarheid van vragen

Psychometrie Waarom vragen stellen? Hoe vragen stellen? Om dingen te weten te komen (duh…) Die niet rechtstreeks observeerbaar zijn Hoe vragen stellen? Het antwoord gaat over wat jij echt wou weten (validiteit) Het antwoord geeft precies weer wat jij wou weten (betrouwbaarheid, meetfout of ruis is zeer klein) Wat doe je met de antwoorden? Aanleiding tot gesprek? Diagnostiek? Afhankelijk van het doel: meer of minder stringente eisen aan een vraag of test

Validiteit Begripsvaliditeit Raken vragen de “kern” van wat je wil meten? Representatief staal genomen uit alle mogelijke vragen die je kan stellen? Malleus Maleficorum Vragenlijst: Hoe herken je een heks? Draagt u puntschoenen? Heeft u een spitse neus? Heeft u een zwarte kat? Kan u vliegen op een bezemsteel? Kan u toverdrank brouwen? Danst u wel eens met de duivel? Welke vragen raken de kern van Welbevinden? Lichaamsbeeld? Gezond eten?

Validiteit Begripsvaliditeit slapen Kwaliteit Kwantiteit Ga je “op tijd” naar bed (biologische klok)? Gemakkelijk inslapen Rustig slapen of woelen? Nachtmerries? Doorslapen? Piekeren of angsten? Fris zijn als je wakker wordt Middagdutjes? Onverhoeds indutten? Kwantiteit Hoe lang? Wat vraag je precies? Wat is essentieel? Waar kan je iets aan doen? (≠ validiteit)

Validiteit Predictieve validiteit Prognose, voorspelt een criterium Moet blijken uit follow up onderzoek Voorbeeld Zie je nog goed het bord? Doel = opsporen verminderde visus? Doel = vroegtijdig opsporen van visusproblemen?

Validiteit Validiteit voor de gebruiker “face validity” De doelgroep vindt de vragen normaal/logisch Reageert uw kind allergisch op gist? Wat doet dit in een vragenlijst rond vaccinaties? Ouders zien er de logica niet van in Dus uitleg geven Face valide vragen maken een test op zich niet beter, maar verhogen de motivatie van de leerling of ouder om eerlijk en accuraat in te vullen

Betrouwbaarheid Wat je wil meten, kan je ook nauwkeurig vatten Temperatuur van badwater meten Met je vingers Met een thermometer Hoe weten we of een vraag betrouwbaar is? Test hertest betrouwbaarheid Antwoorden correleren met extern criterium (dat lastiger is om te meten) Zelfrapportering gewicht en objectieve meting Interne consistentie: gelijklopende antwoorden op gelijklopende vragen

Lage betrouwbaarheid? Wanneer is een vraag minder betrouwbaar? Gebruikt voor iets waar ze niet voor bedoeld was Vb. Nederlandse vragenlijst voor Eetgedrag: verstoord eten (boulimie, anorexie). Dus geen accurate beschrijving van eetgedrag van een normale populatie. Slecht geformuleerd (woordenschat, grammatica) Lokt vertekende antwoorden uit Sociale wenselijkheid Lokt gebruik van heuristieken uit

Doel van vragen stellen? Stringente criteria bij Diagnostische instrumenten Vb. classificerende diagnostiek eenzelfde antwoord moet altijd tot dezelfde conclusie leiden Samenbrengen van data Trends berekenen Profiel van een groep maken Profiel van een leerling maken Vragenlijst zonder mogelijkheid tot interactie vb. thuis invullen, op het consult enkel de zorgpunten overlopen Je kan met méér weg Als vragen enkel dienen als aanleiding tot gesprek Als leerling/arts of VPK bijkomende toelichting kan geven indien nodig

Antwoordtendenzen en heuristieken Vertekende antwoorden Antwoordtendenzen en heuristieken

Antwoordtendens Vertekende weergave van de realiteit In bepaalde situaties Adaptief voor jezelf (vb. optimistisch blijven) Illusie van controle Onrealistisch optimisme Beter dan anderen Overschatten van kans dat jou iets positief zal overkomen Sociaal adaptief Sociaal wenselijk antwoorden Extreme antwoorden vermijden (zeker bij vragen naar sociaal onwenselijk gedrag) Hawthorne effect: mensen gedragen zich anders als ze weten dat ze worden geobserveerd

Sociale wenselijkheid Hoe er mee omgaan? Corrigeren voor SW? Marlow Crowne Social Desirability scale SW score gebruiken als corrector voor andere schalen Niet aan te raden voor anamneselijsten Want zeer moeilijk onderscheid te maken tussen Sociaal wenselijk antwoord Oprecht “wenselijk” antwoord Voorkomen van SW antwoordtendens Extreme schaalitems toevoegen Op voorhand vertellen wat er met de gegevens gebeurt, wie die inkijkt, waarom je dingen vraagt (DRM!) Vertrouwelijkheid en anonimiteit verhogen tijdens bespreken van de vragenlijst

Heuristieken Het geheugen Shortcuts: reconstrueren Informatie encoderen Onthouden welke vaccinatie je hebt gehad? Informatie stockeren Opgeslagen data worden “besmet” door wat je nu doet Vb. stoppen met roken: aantal sigaretten die je rookte per dag vermindert! Informatie uit je geheugen halen Vragen stellen: de experimenten van Elizabeth Loftus Kinderen: confabulatie en verbeelding! Shortcuts: reconstrueren Primacy effect: initiële gebeurtenissen wegen door Recency effect: de laatste gebeurtenissen wegen door Het “normale” scenario gebruiken Loftus: hoe hard ging de wagen toen hij de andere auto aanreed/ramde?

Vragen stellen Praktische tips

Vuistregels woordenschat Eenvoudige woorden Begrijpelijk Worden door leerlingen/ouders courant gebruikt (geen dialect) Geen vaktermen of jargon Pertussis – kinkhoest Rubella – rodehond Poliomyelitis – kinderverlamming Vaccinatie – ____________

Vuistregels woordenschat Eenduidige woorden Voor slechts één interpretatie vatbaar Drink jij? Ja (want ik drink water en cola) Neen (want ik drink geen alcohol) Neen (want ik ben geen probleemdrinker) Heb je al eens seksueel contact gehad met iemand? Wat is “seksueel contact”? Strelen? Orale seks? Penetratie?

Vuistregels woordenschat Wees concreet Zeg precies wat je wil weten Eet/drink je elke dag een melkproduct (melk, kaas, yoghurt…). Mogelijk: je vraagt naar plaats en tijd Niet: “kijk je veel TV?” Wel: hoeveel uren per dag kijk je naar TV op een dag tijdens de week?.... En op een dag tijdens het weekend?

Vuistregels woordenschat Vermijd vage woorden Wanneer is “straks”? Opletten met vaak, regelmatig, soms, veel, weinig, af en toe, … Oefening: “ik ga dat straks doen”: zet daar eens uren en minuten op

Vuistregels grammatica Vermijd meervoudige vragen Vaak voorkomende fout Flagrant: brief VWVJ standaard vaccinaties. Heeft uw kind in het verleden allergisch gereageerd met opzwellen van mond of keel, moeite om te ademen, of problemen met het hart op een inenting, na het gebruik van antibiotica neomycine, streptomycine en polymyxine, na het eten van eieren, na inname van gist of gelatine of na contact met latex? Ja/neen. 3 soorten klachten 8 mogelijke oorzaken 24 voudige vraag! Subtiel, maar dus ook te vermijden Zie je nog goed voor bord/TV?

Vuistregels grammatica Vermijd ontkenningen Haal woorden als “niet, geen, niemand, niets, nooit” uit de vraag Kan misschien wel in antwoordalternatief Voorbeeld Ben je niet graag op school? Ja/neen Ga je graag naar school? Ja/neen Vermijd dubbele ontkenningen Meer gevonden in schaalitems dan in rechtstreekse vragen Voorbeelden. Ik vind medicatie niet ongezond (akkoord – niet akkoord)

Vuistregels grammatica Korte vragen 1 idee per vraag Beter 2 korte dan 1 lange Lange vragen zijn meestal meervoudig! Of geef een inleiding bij je vraag Zou je overwegen om ‘s middags op school een broodje met mager beleg en groenten te eten, als ze zo’n broodje tegen een schappelijke prijs zouden verkopen? Stel dat je op school aan een schappelijke prijs broodjes kan kopen met mager beleg en groenten. Zou jij ‘s middags dan zo’n broodje eten?

Vuistregels communicatie Vermijd suggestieve vragen Er mag niet blijken wat het “juiste” gedrag is. Niet impliciet Ga je enkel naar de tandarts als je last hebt? Wat eet je tussendoor in de voormiddag? Stilzwijgend: iets eten is goed? Ben je in een jeudbeweging? Ja/neen. Ander hobby’s: … Is de dokter bij de scouts geweest? Niet expliciet Aan de vorm van de vraag scheelt misschien niets Mondelinge communicatie: waar leg je klemtoon? Jij neemt elke dag een ontbijt? Echte vraag of retorische vraag? Jij neemt een ontbijt: neutraal voorlezen en als een retorische vraag (met een klein knikje) voorlezen.

Vuistregels communicatie Vermijd suggestieve vragen Niet expliciet Let op de volgorde van vragen voorbeeld Deel 1 = eetgewoonten Deel 2 = lichaamsbeeld Ben je tevreden met je lichaam? Hoe interpreteren leerlingen dat? Lichaamsbeeld na eten: gaat dus over “te dik” zijn

Open of gesloten? Gesloten vragen Vragen naar Voordelen Nadelen Feitelijkheden Vb. Heb je last van pijn of branderig gevoel bij het plassen? Vb. Welke medicatie neem je? Naar een globale houding Vb. ga je graag naar school? Voordelen Gemakkelijk te beantwoorden, ook als je verbaal niet sterk bent Op korte tijd veel informatie te verzamelen In een oogwenk te overzien Nadelen Roept een expert/leek model op Nodigt niet uit tot gesprek

Open of gesloten? Open vragen Vragen om uitdieping en interpretatie Wat voel je precies als je pijn hebt van je maandstonden? Kan je eens beschrijven wat je drinkt als je op zaterdag weggaat met je vrienden? Je zegt hier dat je je wel eens hopeloos, down of depri voelt. Kan je me daar wat meer over vertellen? Voordeel Nodigt uit tot gesprek De leerling vertelt het in eigen woorden Voorwaarde: gelijkwaardigheid gesprekspartners Nadeel Tijdsintensief, zeker bij verbaal minder sterke leerlingen Risico op weerstand (te snel willen gaan) Opletten met waarom-vragen!

Antwoorden aanbieden bij gesloten vragen Praktische tips

Gesloten vragen Werken met schalen (1) Nominaal: antwoordalternatieven zijn niet aan elkaar gelinkt. Vb. Duid aan welke dranken je lekker vindt Bier Wijn Sterke drank Breezers (vb. Bacardi) Ordinaal: antwoorden gaan in stijgende of dalende lijn Hoe vaak drink jij bier? Nooit / heel af en toe / ongeveer 1 keer per week / (bijna) elke dag

Gesloten vragen Werken met schalen (2) Intervalschalen Antwoordalternatieven beschrijven een gradatie De intervallen tussen antwoordalternatieven zijn gelijk Voorbeeld intervalschaal Ben jij tevreden met je resultaten? Helemaal niet tevreden      heel tevreden Dit is geen intervalschaal Ben jij tevreden met je resultaten?  helemaal niet tevreden  niet zo tevreden  tussenin  tamelijk tevreden  heel tevreden Afstand tussen tamelijk en heel is niet voor iedereen dezelfde Enkel bij gelijke intervallen mag je gemiddelden berekenen

Gesloten vragen Maak antwoordalternatieven uitputtend Jouw antwoord moet er tussen staan Welke drugs heb jij al wel eens gebruikt? Marihuana (weed, joints) XTC (speed) LSD Wat als je pado’s nam? Oplossing: andere… Hoe vaak doe jij aan sport? Nooit 1 of 2 keer in de week Elke dag Wat met 2 trainingen en 1 match?

Gesloten vragen Dichotoom of meer antwoordalternatieven? Is ja/neen (dichotoom) antwoord voldoende voor Jou? De leerling? Ok: Kom je met de fiets naar school? Ja/neen Niet ok: Voel je je goed in de klas? Ja/neen Soms wel, soms niet? Afhankelijk van de leerkracht? Welke vragen zouden leerlingen meer genuanceerd willen beantwoorden?

Gesloten vragen Vluchtwegeltjes Goed bij twijfel of 0-relevantie van de vraag “Ik weet het niet” “Niet van toepassing” Sluiproute voor Wie opziet tegen vragenlijsten invullen Wie weerstand heeft tegen vragen Onzekere leerlingen

Gesloten vragen Zet antwoordalternatieven in een logische volgorde Als er gradatie in zin (ordinale schalen) Van nooit naar altijd Van meer naar minder Van helemaal niet akkoord tot helemaal akkoord Vb. neem je elke dag een ontbijt? Ja / neen / meestal wel / meestal niet ja / meestal wel / meestal niet / neen Mag er maar 1 antwoord aangekruist? Wanneer ga je naar de tandarts? Nooit Als ik last heb 1 keer per jaar 2 keer per jaar Tandarts: ik ga 1 keer per jaar en als ik last heb

Gesloten vragen Hoeveel antwoordalternatieven? Interval: 5 optimaal Gevoelige vragen? Wat zijn dat? Ongewenst gedrag: vb. roken Antisociaal gedrag: vb. pesten Privésfeer: vb. vrijen, bedplassen Dan meer alternatieven wenselijk Mensen willen geen extreem antwoord geven Mogelijkheid: de extreme antwoorden ook heel extreem maken Jij weet dat die niet aangekruist worden Leerlingen zijn opgelucht dat jij met nog extremer gedrag rekening houdt Vb. antwoordalternatief “ik ben al met meer dan 20 partners naar bed geweest”

Layout Algemene tips Kalme bladspiegel Structuur Geeft de indruk dat de vragenlijst “goed vooruit gaat” Ook genoeg schrijfruimte bij open vragen Structuur Werk met tussentitels Groot en goed leesbaar lettertype Arial, Times Roman, Verdana Liefst geen “handschrift” zoals comic sans serif Lucida handwriting

Pilootonderzoek Test vragenlijst uit Bij leerlingen van dezelfde leeftijd Laat hen de vraag analyseren Wat wil ik van jou weten? Staan alle antwoorden die kinderen zouden geven erbij? Had je deze vraag verwacht?

Bronnenmateriaal Vuistregels voor het formuleren van vragen Dr. M. van Assen, dept. Methoden en Technieken van Onderzoek, Faculteit der Sociale wetenschappen, Universiteit Tilburg Het opstellen van vragenlijsten Presentatie Ria Wouters PGZ 2008-2009 op basis van VIG teksten

Tot slot: een straf hulpmiddel Gebed tot de heilige Psychometrica Heilige Psychometrica, aanhoor mijn gebed Ik krijg die vragenlijst niet op papier gezet De items een zootje, de schalen zijn zoek Geen tijd meer, helaas, voor een pilootonderzoek De alternatieven die ik als antwoord voorzag Onthalen mijn leerlingen op honend gelach Daarom lieve heilige, roep ik u nu aan Zodat ik alsnog aan het meten kan gaan Uw bijstand die vraag ik, ik heb ze vandoen Patroon van de vragers, mijn best zal ik doen Ik smeek u, steun mij in mijn metrische strijd En geef mij een meting die iedereen me benijdt

Tot slot: een straf hulpmiddel Ik weet het, oh Vrouwe, dat is veel gevraagd Maar met een goeie meting wordt tijd uitgespaard We zullen voortaan deze handouts hanteren Als wij onze doelgroep een vragenlijst aansmeren Heuristieken en antwoordtendens Zijn eigen aan ‘t beestje, excuus, aan de mens We zullen ze voortaan vermijden als ‘t kan Want vertekende antwoorden, daar hebben we niks an Wij hebben de principes van vragen nu wel beet Maar we zullen nog falen, en dat doet ons leed Met uw hulp maak ik de schoonste vragenlijst aller landen Als dank zal ik zondag een kaarske voor u branden Insnaamsdesvaders endeszoons endes heiligegeestesamen.