Hoe stel ik een goed meerkeuzevragen-examen op?…. / writing test items of good quality… MedEd 6 november 2013

Overzicht / overview 1. Toetsmatrijs of blauwdruk / blueprint 2. (meerkeuze-)vraagvorm /question format 3. Vragen opstellen / developing questions 4. Vragen beoordelen op kwaliteit (voor het examen) / quality control for questions (pre-examination) 5. Voorbeelden / oefeningen 6. Tijdskader / timing 7. Hulp / ondersteuning

Toetsmatrijs of blauwdruk / blueprint o Appropriate detail o Specifies what content needs to be covered o Communicated to all stakeholders When? Preparing the course (ECTS fiche)

Example osce Ademhaling (2) Bewegingsstelsel (2) Bloed- en bloedsoml. (2) Endocrinologie (1) Gyn / verloskunde (2) Huisartsgeneeskunde (1) Infectieziekten (1) Kleine specialiteiten (1) Neurologie (1) Nefro-/urogenitaal (1) Pediatrie (2) Psychiatrei (1) Spijsvertering (2) Anamnese Lichamelijk onderzoek Manuele / techn. vaardigheden Klinisch redeneren / interpr. bijk. Onderz. / diff. Diagn. Communicatievaardigheden Beleid Stagemap (1) CPR (1) Ekg (1) 2 ‘New’ Average p All categories of age M/F epidemiology

Example – certifying examinations of American Board of Internal Medicine 75% patient based & reflective practice 75% of the patient encounters in an outpatient or emergency setting More then 50% must require synthesis of judgement to reach to correct conclusion Cardiovascular disease14% Infectious disease9% Psychiatry4% … Geriatric medicine10% Prevention6% …

Blueprint should at least Cover key-messages of your course. Cover the total of the course material 1 question / chapter – balanced between key-features and details, between difficult and ‘easy’ items How many questions? o Course content o Question format o Relative weight of the course o ‘30-40 MCQ for a course of 3 study points’ Each question should be related to a learning goal

Examples / ideas 1 key-feature question / chapter & 1 ‘minor’ question / chapter 2 key-feature questions / topic (1 factual knowledge & 1 reasoning skills) & 1 ‘minor’ question / subtopic

Vraagvorm / question format There is no one single best question format – a variety of instruments is needed There is no one single best question format – a variety of instruments is needed Stimulus (~what you ask) is more important than the respons format: ‘the content of a question will determine the thought processes required to answer it’ Stimulus (~what you ask) is more important than the respons format: ‘the content of a question will determine the thought processes required to answer it’ Response format (short answer – open ended) (essay) True-false questions Multiple true-false questions Multiple choice questions Stimulus format Case-based Extended-matching questions Key-feature approach Script concordance

Vraagvorm / question format Acute intermittente porfyrie is het gevolg van een stoornis in de biosynthese van… a) Collageen b) Corticosteroïd c) Glucose d) Haem e) vetzuur Een 33-jarige man met een goede algemene gezondheid en een blanco voorgeschiedenis klaagt van zwakte en occasionele episoden van ernstige abdominale pijn met krampen, maar geen diarree. Een tante en een nichtje hebben vergelijkbare symptomen. Tijdens zo een opstoot is het abdomen gezwollen en is er verminderd darmgeluid. Neurologisch onderzoek toont een lichte verzwakking in de bovenarmen. Deze bevindingen suggereren een stoornis in de biosynthese van… a) Collageen b) Corticosteroïd c) Glucose d) Haem e) vetzuur

Vragen opstellen / Developing questions

Vragen opstellen / Developing questions - overall Realistic example-questions for students: o Factual knowledge  Reasoning skills (Inter)dependency: yes / no? Close to reality (authentic situations / cases) – relevant! Start 1 year before exam After every lesson Start 1 year before exam After every lesson

Vragen opstellen / Developing questions - overall (Hidden) clues within and between questions Avoid opinion / conviction Avoid detail Avoid triviality Take your time!! Peer – review o Content o Correct answer o Language / lay out…

Stem a 20 year old man enters the emergency department with….. Lead-in which of the following is the most likely diagnosis? Options a. common cold b. pneumonia… c.

Vragen opstellen / Developing questions - the stem focus on 1 problem (avoid composite questions) Choose: o Complete… o Question… Clear and &simple formulation Positive formulation o If negative formulation is necessary: emphasize this! As much information as needed  balanced o (avoid superfluous information – try to reduce ‘reading time’) o (the stem can be long, options need to be as short as possible)

Vragen opstellen / Developing questions - the lead -in Grammatically correct Clear Unambiguous

Vragen opstellen / Developing questions - the options Grammar! (grammatically consistent with stem and question) As much as possible BUT relevant One correct answer Distractors (wrong options) should be ‘possible’ alternatives All options should be of ± the same length Order them alphabetically or in a logical order Inspiration for distractors: o Classic mistakes o Correct statements, but not correct in this case

Vragen opstellen / Developing questions - the options (2) Avoid abbreviations, unless they are part of the course content Avoid overlap between options (content / numbers…) Avoid ‘absolute’ expressions: allways, never, rarely, most often… but try to make them ‘concrete’ Avoid ‘none of the above’ or ‘all of the above’ Avoid combined statements / dual expressions Avoid negative formulations / denial Avoid grammatical, logical cues, word repeats / convergence strategy No humor…

Kwaliteitscontrole / quality control Take your time Take all these tips and tricks into account Re-read all the questions after a couple of days If item already used: o P-value o D-value o Distribution of chosen options Feedback from peers / students… 2-3 maanden voor examen

Example Een moeder komt met haar zoontje van 3 weken oud op raadpleging omdat hij erg veel slaapt, traagjes drinkt en moeilijk stoelgang maakt. Kort na de geboorte was hij erg geel. De vitale functies van het jongetje zijn normaal. Bij lichamelijk onderzoek valt op dat hij een grote fontanel, een wat brede tong en een bol buikje met een navelbreuk heeft. Wat is de meest waarschijnlijke diagnose? A. Cushing syndroom B.Fenylketonurie C.Hereditaire sferocytose D.Hypothyroïdie E.Ziekte van Addison

Example

Een 75-jarige obese dame (G3P2A1) ondergaat een totale knieprothese wegens gonarthrose. Drie dagen na ontslag wordt u als huisarts bij haar thuis geroepen omdat ze ademhalingsgebonden pijn met prikkelhoest, tachypnoe, klamheid en lichte temperatuur (37,5°C, axillair gemeten) heeft. Uit de medische voorgeschiedenis weerhouden we behalve een lichte nierinsufficiëntie geen bijzonderheden en ze neemt geen medicatie. U hebt een sterk vermoeden van een longembool. Welk onderzoek is overbodig alvorens een behandeling te starten? A. Bloedgaswaarden bepalen B.D-dimeren bepalen C.EKG D.RX thorax E.Geen

Example

Vragen opstellen / Developing questions overall

Een dame wordt sinds 7 jaar behandeld voor de ziekte van Parkinson met L- Dopa® aan de gebruikelijke therapeutische dosis. Zij wordt opgenomen naar aanleiding van hevige visuele hallucinaties met intacte aandachtsfuncties. Ze ziet dieren uit de gordijnen van haar kamer komen. Deze hallucinaties hebben een werkelijkheidskarakter en zijn voor de patiënte zeer beangstigend. Welke twee therapeutische maatregelen zijn het meest aangewezen? a)Associeer een neurolepticum, vb Haldol ® b)Associeer een tranquilizer, vb Seresta ® c)Stop de Parkinson-medicatie d)Stop de Parkinson-medicatie en schakel over op anticholinergica e)Stop de Parkinson-medicatie en schakel dan over op een ander Dopa-agonist f)Voeg Clonazine ® als neurolepticum toe g)Voeg een anticholinergicum toe

Een dame wordt sinds 7 jaar behandeld voor de ziekte van Parkinson met L- Dopa® aan de gebruikelijke therapeutische dosis. Zij wordt opgenomen naar aanleiding van hevige visuele hallucinaties met intacte aandachtsfuncties. Ze ziet dieren uit de gordijnen van haar kamer komen. Deze hallucinaties hebben een werkelijkheidskarakter en zijn voor de patiënte zeer beangstigend. Welke twee therapeutische maatregelen zijn het meest aangewezen? a)Associeer een neurolepticum, vb Haldol ® b)Associeer een tranquilizer, vb Seresta ® c)Stop de Parkinson-medicatie d)Stop de Parkinson-medicatie en schakel over op anticholinergica e)Stop de Parkinson-medicatie en schakel dan over op een ander Dopa-agonist f)Voeg Clonazine ® als neurolepticum toe g)Voeg een anticholinergicum toe

Klara, 32 jaar, is 3 maanden zwanger en consulteert omwille van pollakysurie. Het microscopisch onderzoek van haar urine toont een aanwezigheid van meer dan kiemen en van > 40 WBC/ veld. Je geeft haar… a)Amoxicilline 500 mg x 3/dag b)Behandelen na bepaling van antibiogram c)Niet behandelen d)Nitrofurantoïne® e)Zoroxin ® f)Bactrim ®

Klara, 32 jaar, is 3 maanden zwanger en consulteert omwille van pollakysurie. Het microscopisch onderzoek van haar urine toont een aanwezigheid van meer dan kiemen en van > 40 WBC/ veld. Je geeft haar… a)Amoxicilline 500 mg x 3/dag b)Behandelen na bepaling van antibiogram c)Niet behandelen d)Nitrofurantoïne® e)Zoroxin ® f)Bactrim ®

Jos, 48 jaar, voelt zich gedeprimeerd. Hij klaagt van insomnie en voelt zich overdag heel moe. Hij beleeft geen plezier meer en voelt zich hierover steeds meer en meer schuldig. Soms ziet hij het helemaal niet meer zitten en hij heeft zelfs al zelfmoordgedachten gehad. Hij kan zich bovendien moeilijk concentreren op het werk en vergeet veel. Wat is de meest waarschijnlijke diagnose? a)Benigne vergeetachtigheid b)Bipolaire stoornis c)Dementie d)Gegeneraliseerde angststoornis e)hypochondrie f)Majeure depressie

Jos, 48 jaar, voelt zich gedeprimeerd. Hij klaagt van insomnie en voelt zich overdag heel moe. Hij beleeft geen plezier meer en voelt zich hierover steeds meer en meer schuldig. Soms ziet hij het helemaal niet meer zitten en hij heeft zelfs al zelfmoordgedachten gehad. Hij kan zich bovendien moeilijk concentreren op het werk en vergeet veel. Wat is de meest waarschijnlijke diagnose? a)Benigne vergeetachtigheid b)Bipolaire stoornis c)Dementie d)Gegeneraliseerde angststoornis e)hypochondrie f)Majeure depressie

Lokale anesthetica zijn het meest werkzaam in de…. a)Anionische vorm, waarbij ze binnen de zenuwmembraan werken b)Kationische vorm, waarbij ze binnen de zenuwmembraan werken c)Kationische vorm, waarbij ze aan de buitenzijde van de zenuwmembraan werken d)Ongeladen vorm, waarbij ze binnen de zenuwmembraan werken e)Ongeladen vorm, waarbij ze aan de buitenzijde van de zenuwmembraan werken

Lokale anesthetica zijn het meest werkzaam in de…. a)Anionische vorm, waarbij ze binnen de zenuwmembraan werken b)Kationische vorm, waarbij ze binnen de zenuwmembraan werken c)Kationische vorm, waarbij ze aan de buitenzijde van de zenuwmembraan werken d)Ongeladen vorm, waarbij ze binnen de zenuwmembraan werken e)Ongeladen vorm, waarbij ze aan de buitenzijde van de zenuwmembraan werken

Wat is de kans op infertiliteit bij een vrouw met een secundaire episode van infectie? a) Minder dan 20% b) 20-30% c) Meer dan 50% d) 90% e) 75%

Wat is de kans op infertiliteit bij een vrouw met een secundaire episode van infectie? a) Minder dan 20% b) 20-30% c) Meer dan 50% d) 90% e) 75%

Welke van onderstaande is geen preventieve maatregel om de Mexicaanse griep te vermijden? a) Geen handen schudden b) Gezonde voeding c) Regelmatig handen wassen d) Regelmatig klinken afwassen

Welke van onderstaande is geen preventieve maatregel om de Mexicaanse griep te vermijden? a) Geen handen schudden b) Gezonde voeding c) Regelmatig handen wassen d) Regelmatig klinken afwassen

The way to a man’s heart is through his a) Aorta b) Pulmonary arteries c) Pulmonary veins d) Stomach

Tijdskader / timing Blueprint 1-2 years Review every 3-4 years? Item writing 12-6 months before exam Peer review items 12-2 months before exam Item selection / composing exam 1-2 month before exam Peer review exam 1 month before exam Itemanalysis / feedback Deliberations Contact print & scan Contact O 2

Ondersteuning & DOeL (print & scan): o