Toetsing van medische competentie Lambert Schuwirth & Cees van der Vleuten SHE Cursus Toetsen van Medische Competentie 13 april 2010 Presentatie te vinden op: www.fdg.unimaas.nl/educ/cees/TMC

Doelen Meer inzicht in: Onderzoeksuitkomsten over toetsing Theorievorming over toetsing Het maken geïnformeerde beslissingen over toetsing

Overzicht Enkele termen Toetsing en betrouwbaarheid Toetsing en validiteit Toetsing en onderwijs Je kunt niet alles hebben! Conclusies

Overzicht Enkele termen

Betrouwbaarheid Betrouwbaarheid is een kwestie van steekproeftrekking (sampling) Uit de inhoud

Casus 2 Casus 2 Casus 1

Domein van interesse Toets Sample  Toets Sample 

Inhoudsspecificiteits- probleem van (klinische) competentie

Betrouwbaarheid als functie van toetstijd Case- Based Short Essay2 0.68 0.73 0.84 0.82 Mini CEX6 0.73 0.84 0.92 0.96 Practice Video Assess- ment7 0.62 0.76 0.93 In- cognito SPs8 0.61 0.76 0.82 0.86 Testing Time in Hours 1 2 4 8 MCQ1 0.62 0.76 0.93 PMP1 0.36 0.53 0.69 0.82 Oral Exam3 0.50 0.69 0.82 0.90 Long Case4 0.60 0.75 0.86 0.90 OSCE5 0.54 0.69 0.82 0.90 1Norcini et al., 1985 2Stalenhoef-Halling et al., 1990 3Swanson, 1987 4Wass et al., 2001 5Van der Vleuten, 1988 6Norcini et al., 1999 7Ram et al., 1999 8Gorter, 2002

Betrouwbaarheid Betrouwbaarheid is een kwestie van steekproeftrekking (sampling) Uit de inhoud Uit andere potentiële factoren die ruis in de meting veroorzaken

Betrouwbaarheid van een mondeling (Swanson, 1987) Zelfde Examinator voor elke Casus 0.31 0.47 0.48 Andere Examinator voor elke Casus 0.50 0.69 0.82 0.90 Twee Andere Examinatoren voor Elke Casus 0.61 0.76 0.86 0.93 Toets- Tijd in Uren 1 2 4 8 Aantal Casus 2 4 8 12

Betrouwbaarheid Conclusie: Voor het bereiken van adequate betrouwbaarheid is een grote en uitgekiende steekproef vereist (inhoudelijk, examinatoren, patiënten, etc.) Efficiëntie is dus belangrijk

Efficiency strategieën Key feature aanpak Test design strategieën

Betrouwbaarheid Conclusie: Voor het bereiken van adequate betrouwbaarheid is een grote en uitgekiende steekproef vereist (inhoudelijk, examinatoren, patiënten, etc.) Efficiëntie is dus belangrijk Objectiviteit is niet gelijk aan betrouwbaarheid

Betrouwbaarheid Praktische suggesties: Pas op met korte toetsen! Neem een brede steekproef (over inhoud, tijd, examinatoren, patiënten) Neem efficiëntie in acht mbt: Keuze van toetsvorm Constructie van toetsitems Wees bewust van (behoorlijke) beslissingsfouten in termen van zakken en slagen als gevolg van ruis in de meting

Overzicht Toetsing en validiteit

Een eenvoudig competentiemodel Professionele authenticiteit Gedrag Does Shows how Cognitie Knows how Knows Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

Een eenvoudig competentiemodel Professionele authenticiteit Performance assessment meestal via observatie Does Shows how Schriftelijke, Mondelinge of Computer toetsing Knows how Knows Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

Validiteit Validiteit is een kwestie van het beklimmen van de piramide

Climbing the pyramid...... Does Does Shows how Shows how Knows how Performance assessment in vivo: Nep Pt, Video, Audit….. Does Shows how Performance assessment in vitro: OSCE, SP-based test….. Shows how Knows how (Klinisch) Contextuele toetsen: MCQ, open vragen, mondeling….. Knows how Knows Feitgerichte toetsen: MCQ, open vragen, oral….. Knows

Knows/Knows how De stimulus vorm is belangrijker dan de respons vorm Does Shows how Knows how De stimulus vorm is belangrijker dan de respons vorm Knows Knows

Stimulus versus Respons Vorm Stimulus vorm Sommige steden hebben meer café’s dan inwoners. Voor welke van de volgende steden is dit het geval: Respons vorm Amsterdam Maastricht Groningen

Knows/Knows how De stimulus vorm is belangrijker dan de respons vorm Does Shows how Knows how De stimulus vorm is belangrijker dan de respons vorm De stimulusvorm moet: Contextueel rijk zijn/Authentiek Om een beslissing/afweging uitlokken Knows Knows Vermijd complexe stimulus vormen Kore statische casus (ipv lange dynamische) Eenvoudige scorings systemen

Shows how OSCE-ology Maak stations zo levensecht mogelijk Does Shows how Knows how OSCE-ology Maak stations zo levensecht mogelijk Globale oordelen doen het even goed als criterialijsten Inhoudsspecificiteit is het probleem Knows

Does Methoden voor praktijktoetsing Shows how Knows how Methoden voor praktijktoetsing Opkomende (veelbelovende) technieken Maar er moet nog veel ontwikkeld/onderzocht worden Knows

Validiteit: ontbreekt er nog iets?

Nieuwe onderwijsvormen Situated learning Project-based learning Problem-based learning Discovery learning Student-centred learning Authentic learning Patient-based learning Community-based learning ...............

Uitvoeren in de praktijk De leerpiramide Les geven College Discussion groep Demonstratie Audiovisueel Lezen Uitvoeren in de praktijk 5% 10% 20% 30% 50% 75% 80% Average Retention Rate National Training Laboratories, Bethel, Maine, USA

C onstructief ontextueel ollaboratief Drie C’s van leren  Situated learning  Project-based learning  Problem-based learning  Discovery learning  Student-centred learning  Authentic learning  Patient-based learning.................

Nieuwe vaardigheden Leren leren Zelf-evaluatie leiderschapskwaliteiten team vaardigheden metacognitie uitdrukkingsvaardigheid (schriftelijk, mondeling) reflectiviteit…….

Uitbreiding van de piramide Knows Shows how Knows how Does Algemene competenties Beroepspecifieke competenties

Hoe toets je algemene competenties? Zelfbeoordelingen Peer beoordelingen Co-assessment (gecombineerde zelf-, peer-, en docentbeoordeling) Logboek/dagboek/journaal Leerproces simulaties/evaluaties Productevaluaties Portfolio ..........

Hoe toets je algemene competenties? Basale methode: Informatieverzameling gebaseerd op meer descriptieve en kwalitatieve informatie die om een meer globale beoordeling vereisen van een deskundige beoordelaar

Validiteit Conclusie: Onderwijskundige of professionele authenticiteit is belangrijk (zowel binnen als tussen lagen van de piramide)

Validiteit Praktische suggesties: Wees niet getrouwd met één toetsvorm (de methode is minder belangrijk dan de inhoud) Maak gebruik van taken die zo levensecht mogelijk zijn (ongeacht de toetsvorm) Hou het eenvoudig  KISS principe Een goed toetsprogramma bestaat uit een veelheid aan methoden

Overzicht Toetsing en onderwijs

Onderwijsinvloed Toetsing stuurt het leren

Een alternatieve kijk Curriculum Toetsing Docent Student

Toetsing kan het leren sturen door: de inhoud de vorm Programmering Reglementering .......... Curriculum Docent Assessment Student Toetsing Student

Onderwijsinvloed Suggesties: Ga de onderwijsgevolgen van je toetsing na (evalueer de evaluatie) Gebruik toetsing strategisch om gewenste leereffecten te bereiken Taak = toetsing

Overzicht Je kunt niet alles hebben!

Karakteristieken van instrumenten Kosten Betrouwbaarheid (B) Validiteit (V) Onderwijsgevolgen (O) Acceptabiliteit (A) Kosten (K) Acceptabiliteit Onderwijs- invloed Betrouwbaarheid Validiteit

Utiliteitsfunctie U = wbB x wvV x woO x waA x wkK U = Utiliteit B = betrouwbaarheid V = Validiteit O = Onderwijsgevolgen A = Acceptabiliteit K = Kosten W = Gewicht

Utiliteitsfunctie U = wbB x wvV x woO “In-training Assessment” 100% 0% Gewicht “In-training Assessment” Selectie U = wbB x wvV x woO U = Utiliteit B = betrouwbaarheid V = Validiteit O = Onderwijsgevolgen

Toetsprogramma als geheel De instrumentkarakteristieken (betrouwbaarheid, validiteit, onderwijsgevolgen, acceptabiliteit, kosten) zijn ook van toepassing op het toetsprogramma als geheel Dus kunnen compromissen anders uitvallen wanneer het programma als geheel wordt beschouwd

Utiliteitsfunctie U = wbB x wvV x woO Totale Individueel 100% 0% Gewicht Individueel instrument Totale toetsprogramma U = wbB x wvV x woO U = Utiliteit B = betrouwbaarheid V = Validiteit O = Onderwijsgevolgen

Je kunt niet alles hebben Conclusies: Toetsing vereist altijd een compromis Keuze van het compromis is afhankelijk van de onderwijs- en toetscontext Kwaliteit van toetsing is meer een aspect van het toetsprogramma als geheel, dan van afzonderlijke toetsinstrumenten (dus vereist planning en coördinatie)

Overzicht Conclusies

Conclusies Toetsing is niet zo zeer een psychometrisch probleem, maar vooral een “onderwijskundige design” probleem: hoe gebruik je toetsing strategisch om onderwijskundig gewenste effecten te bereiken? Toetsing veronderstelt een gecoördineerde aanpak en continue monitoring en bijstelling Goede toetsing dekt de gehele competentiepiramide (dus hebben een veelheid aan methoden nodig; er bestaan geen inherent slechte of goede methoden, dat hangt geheel van de context af)

Conclusions Sluiten van compromissen is onafwendbaar Het gaat om het bewust en geïnformeerd nemen van compromisbeslissingen

“It may not be a perfect wheel, but it’s a state-of-the-art wheel.”