Toetsing van medische competentie

Presentatie over: "Toetsing van medische competentie"— Transcript van de presentatie:

1 Toetsing van medische competentie
Lambert Schuwirth & Cees van der Vleuten SHE Cursus Toetsen van Medische Competentie 13 april 2010 Presentatie te vinden op:

2 Doelen Meer inzicht in: Onderzoeksuitkomsten over toetsing
Theorievorming over toetsing Het maken geïnformeerde beslissingen over toetsing

3 Overzicht Enkele termen Toetsing en betrouwbaarheid
Toetsing en validiteit Toetsing en onderwijs Je kunt niet alles hebben! Conclusies

4 Overzicht Enkele termen

5 Betrouwbaarheid Betrouwbaarheid is een kwestie van steekproeftrekking (sampling) Uit de inhoud

6 Casus 2 Casus 2 Casus 1

7 Domein van interesse Toets Sample  Toets Sample 

8 Inhoudsspecificiteits-
probleem van (klinische) competentie

9 Betrouwbaarheid als functie van toetstijd
Case- Based Short Essay2 0.68 0.73 0.84 0.82 Mini CEX6 0.73 0.84 0.92 0.96 Practice Video Assess- ment7 0.62 0.76 0.93 In- cognito SPs8 0.61 0.76 0.82 0.86 Testing Time in Hours 1 2 4 8 MCQ1 0.62 0.76 0.93 PMP1 0.36 0.53 0.69 0.82 Oral Exam3 0.50 0.69 0.82 0.90 Long Case4 0.60 0.75 0.86 0.90 OSCE5 0.54 0.69 0.82 0.90 1Norcini et al., 1985 2Stalenhoef-Halling et al., 1990 3Swanson, 1987 4Wass et al., 2001 5Van der Vleuten, 1988 6Norcini et al., 1999 7Ram et al., 1999 8Gorter, 2002

10 Betrouwbaarheid Betrouwbaarheid is een kwestie van steekproeftrekking (sampling) Uit de inhoud Uit andere potentiële factoren die ruis in de meting veroorzaken

11 Betrouwbaarheid van een mondeling (Swanson, 1987)
Zelfde Examinator voor elke Casus 0.31 0.47 0.48 Andere Examinator voor elke Casus 0.50 0.69 0.82 0.90 Twee Andere Examinatoren voor Elke Casus 0.61 0.76 0.86 0.93 Toets- Tijd in Uren 1 2 4 8 Aantal Casus 2 4 8 12

12 Betrouwbaarheid Conclusie:
Voor het bereiken van adequate betrouwbaarheid is een grote en uitgekiende steekproef vereist (inhoudelijk, examinatoren, patiënten, etc.) Efficiëntie is dus belangrijk

13 Efficiency strategieën
Key feature aanpak Test design strategieën

14 Betrouwbaarheid Conclusie:
Voor het bereiken van adequate betrouwbaarheid is een grote en uitgekiende steekproef vereist (inhoudelijk, examinatoren, patiënten, etc.) Efficiëntie is dus belangrijk Objectiviteit is niet gelijk aan betrouwbaarheid

15 Betrouwbaarheid Praktische suggesties: Pas op met korte toetsen!
Neem een brede steekproef (over inhoud, tijd, examinatoren, patiënten) Neem efficiëntie in acht mbt: Keuze van toetsvorm Constructie van toetsitems Wees bewust van (behoorlijke) beslissingsfouten in termen van zakken en slagen als gevolg van ruis in de meting

16 Overzicht Toetsing en validiteit

17 Een eenvoudig competentiemodel
Professionele authenticiteit Gedrag Does Shows how Cognitie Knows how Knows Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

18 Een eenvoudig competentiemodel
Professionele authenticiteit Performance assessment meestal via observatie Does Shows how Schriftelijke, Mondelinge of Computer toetsing Knows how Knows Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

19 Validiteit Validiteit is een kwestie van het beklimmen van de piramide

20 Climbing the pyramid...... Does Does Shows how Shows how Knows how
Performance assessment in vivo: Nep Pt, Video, Audit….. Does Shows how Performance assessment in vitro: OSCE, SP-based test….. Shows how Knows how (Klinisch) Contextuele toetsen: MCQ, open vragen, mondeling….. Knows how Knows Feitgerichte toetsen: MCQ, open vragen, oral….. Knows

21 Knows/Knows how De stimulus vorm is belangrijker dan de respons vorm
Does Shows how Knows how De stimulus vorm is belangrijker dan de respons vorm Knows Knows

22 Stimulus versus Respons Vorm
Stimulus vorm Sommige steden hebben meer café’s dan inwoners. Voor welke van de volgende steden is dit het geval: Respons vorm Amsterdam Maastricht Groningen

23 Knows/Knows how De stimulus vorm is belangrijker dan de respons vorm
Does Shows how Knows how De stimulus vorm is belangrijker dan de respons vorm De stimulusvorm moet: Contextueel rijk zijn/Authentiek Om een beslissing/afweging uitlokken Knows Knows Vermijd complexe stimulus vormen Kore statische casus (ipv lange dynamische) Eenvoudige scorings systemen

24

25

26 Shows how OSCE-ology Maak stations zo levensecht mogelijk
Does Shows how Knows how OSCE-ology Maak stations zo levensecht mogelijk Globale oordelen doen het even goed als criterialijsten Inhoudsspecificiteit is het probleem Knows

27 Does Methoden voor praktijktoetsing
Shows how Knows how Methoden voor praktijktoetsing Opkomende (veelbelovende) technieken Maar er moet nog veel ontwikkeld/onderzocht worden Knows

28 Validiteit: ontbreekt er nog iets?

29

30

31 Nieuwe onderwijsvormen
Situated learning Project-based learning Problem-based learning Discovery learning Student-centred learning Authentic learning Patient-based learning Community-based learning

32 Uitvoeren in de praktijk
De leerpiramide Les geven College Discussion groep Demonstratie Audiovisueel Lezen Uitvoeren in de praktijk 5% 10% 20% 30% 50% 75% 80% Average Retention Rate National Training Laboratories, Bethel, Maine, USA

33 C onstructief ontextueel ollaboratief Drie C’s van leren
 Situated learning  Project-based learning  Problem-based learning  Discovery learning  Student-centred learning  Authentic learning  Patient-based learning

34 Nieuwe vaardigheden Leren leren Zelf-evaluatie leiderschapskwaliteiten
team vaardigheden metacognitie uitdrukkingsvaardigheid (schriftelijk, mondeling) reflectiviteit…….

35 Uitbreiding van de piramide
Knows Shows how Knows how Does Algemene competenties Beroepspecifieke competenties

36 Hoe toets je algemene competenties?
Zelfbeoordelingen Peer beoordelingen Co-assessment (gecombineerde zelf-, peer-, en docentbeoordeling) Logboek/dagboek/journaal Leerproces simulaties/evaluaties Productevaluaties Portfolio

37 Hoe toets je algemene competenties?
Basale methode: Informatieverzameling gebaseerd op meer descriptieve en kwalitatieve informatie die om een meer globale beoordeling vereisen van een deskundige beoordelaar

38 Validiteit Conclusie:
Onderwijskundige of professionele authenticiteit is belangrijk (zowel binnen als tussen lagen van de piramide)

39 Validiteit Praktische suggesties:
Wees niet getrouwd met één toetsvorm (de methode is minder belangrijk dan de inhoud) Maak gebruik van taken die zo levensecht mogelijk zijn (ongeacht de toetsvorm) Hou het eenvoudig  KISS principe Een goed toetsprogramma bestaat uit een veelheid aan methoden

40 Overzicht Toetsing en onderwijs

41 Onderwijsinvloed Toetsing stuurt het leren

42

43 Een alternatieve kijk Curriculum Toetsing Docent Student

44 Toetsing kan het leren sturen door:
de inhoud de vorm Programmering Reglementering Curriculum Docent Assessment Student Toetsing Student

45 Onderwijsinvloed Suggesties:
Ga de onderwijsgevolgen van je toetsing na (evalueer de evaluatie) Gebruik toetsing strategisch om gewenste leereffecten te bereiken Taak = toetsing

46 Overzicht Je kunt niet alles hebben!

47 Karakteristieken van instrumenten
Kosten Betrouwbaarheid (B) Validiteit (V) Onderwijsgevolgen (O) Acceptabiliteit (A) Kosten (K) Acceptabiliteit Onderwijs- invloed Betrouwbaarheid Validiteit

48 Utiliteitsfunctie U = wbB x wvV x woO x waA x wkK U = Utiliteit
B = betrouwbaarheid V = Validiteit O = Onderwijsgevolgen A = Acceptabiliteit K = Kosten W = Gewicht

49 Utiliteitsfunctie U = wbB x wvV x woO “In-training Assessment”
100% 0% Gewicht “In-training Assessment” Selectie U = wbB x wvV x woO U = Utiliteit B = betrouwbaarheid V = Validiteit O = Onderwijsgevolgen

50 Toetsprogramma als geheel
De instrumentkarakteristieken (betrouwbaarheid, validiteit, onderwijsgevolgen, acceptabiliteit, kosten) zijn ook van toepassing op het toetsprogramma als geheel Dus kunnen compromissen anders uitvallen wanneer het programma als geheel wordt beschouwd

51 Utiliteitsfunctie U = wbB x wvV x woO Totale Individueel
100% 0% Gewicht Individueel instrument Totale toetsprogramma U = wbB x wvV x woO U = Utiliteit B = betrouwbaarheid V = Validiteit O = Onderwijsgevolgen

52 Je kunt niet alles hebben
Conclusies: Toetsing vereist altijd een compromis Keuze van het compromis is afhankelijk van de onderwijs- en toetscontext Kwaliteit van toetsing is meer een aspect van het toetsprogramma als geheel, dan van afzonderlijke toetsinstrumenten (dus vereist planning en coördinatie)

53 Overzicht Conclusies

54 Conclusies Toetsing is niet zo zeer een psychometrisch probleem, maar vooral een “onderwijskundige design” probleem: hoe gebruik je toetsing strategisch om onderwijskundig gewenste effecten te bereiken? Toetsing veronderstelt een gecoördineerde aanpak en continue monitoring en bijstelling Goede toetsing dekt de gehele competentiepiramide (dus hebben een veelheid aan methoden nodig; er bestaan geen inherent slechte of goede methoden, dat hangt geheel van de context af)

55 Conclusions Sluiten van compromissen is onafwendbaar
Het gaat om het bewust en geïnformeerd nemen van compromisbeslissingen

56 “It may not be a perfect wheel, but it’s a state-of-the-art wheel.”