De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Toetsing van medische competentie Lambert Schuwirth & Cees van der Vleuten SHE Cursus Toetsen van Medische Competentie 13 april 2010 Lambert Schuwirth.

Verwante presentaties


Presentatie over: "Toetsing van medische competentie Lambert Schuwirth & Cees van der Vleuten SHE Cursus Toetsen van Medische Competentie 13 april 2010 Lambert Schuwirth."— Transcript van de presentatie:

1 Toetsing van medische competentie Lambert Schuwirth & Cees van der Vleuten SHE Cursus Toetsen van Medische Competentie 13 april 2010 Lambert Schuwirth & Cees van der Vleuten SHE Cursus Toetsen van Medische Competentie 13 april 2010 Presentatie te vinden op:

2 Doelen  Meer inzicht in:  Onderzoeksuitkomsten over toetsing  Theorievorming over toetsing  Het maken geïnformeerde beslissingen over toetsing

3 Overzicht  Enkele termen Enkele termen  Toetsing en betrouwbaarheid Toetsing en betrouwbaarheid  Toetsing en validiteit Toetsing en validiteit  Toetsing en onderwijs Toetsing en onderwijs  Je kunt niet alles hebben! Je kunt niet alles hebben!  Conclusies

4 Overzicht  Enkele termen Enkele termen

5 Betrouwbaarheid  Betrouwbaarheid is een kwestie van steekproeftrekking (sampling)  Uit de inhoud

6 Casus 1 Casus 2

7 Domein van interesse Toets Sample  

8 Inhoudsspecificiteits- probleem van (klinische) competentie

9 Betrouwbaarheid als functie van toetstijd Testing Time in Hours MCQ Case- Based Short Essay PMP Oral Exam Long Case OSCE Practice Video Assess- ment Norcini et al., Stalenhoef-Halling et al., Swanson, Wass et al., Van der Vleuten, Norcini et al., 1999 In- cognito SPs Mini CEX Ram et al., Gorter, 2002

10 Betrouwbaarheid  Betrouwbaarheid is een kwestie van steekproeftrekking (sampling)  Uit de inhoud  Uit andere potentiële factoren die ruis in de meting veroorzaken

11 Betrouwbaarheid van een mondeling (Swanson, 1987) Toets- Tijd in Uren Aantal Casus Twee Andere Examinatoren voor Elke Casus Zelfde Examinator voor elke Casus Andere Examinator voor elke Casus

12 Betrouwbaarheid  Conclusie:  Voor het bereiken van adequate betrouwbaarheid is een grote en uitgekiende steekproef vereist (inhoudelijk, examinatoren, patiënten, etc.)  Efficiëntie is dus belangrijk

13 Efficiency strategieën  Key feature aanpak Key feature aanpak  Test design strategieën Test design strategieën

14 Betrouwbaarheid  Conclusie:  Voor het bereiken van adequate betrouwbaarheid is een grote en uitgekiende steekproef vereist (inhoudelijk, examinatoren, patiënten, etc.)  Efficiëntie is dus belangrijk  Objectiviteit is niet gelijk aan betrouwbaarheid

15 Betrouwbaarheid  Praktische suggesties:  Pas op met korte toetsen!  Neem een brede steekproef (over inhoud, tijd, examinatoren, patiënten)  Neem efficiëntie in acht mbt:  Keuze van toetsvorm  Constructie van toetsitems  Wees bewust van (behoorlijke) beslissingsfouten in termen van zakken en slagen als gevolg van ruis in de meting

16 Overzicht  Toetsing en validiteit Toetsing en validiteit

17 Een eenvoudig competentiemodel Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. Knows Shows how Knows how Does Professionele authenticiteit Cognitie Gedrag

18 Een eenvoudig competentiemodel Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. Knows Shows how Knows how Does Professionele authenticiteit Schriftelijke, Mondelinge of Computer toetsing Performance assessment meestal via observatie

19 Validiteit  Validiteit is een kwestie van het beklimmen van de piramide

20 Climbing the pyramid Knows Shows how Knows how Does Knows Feitgerichte toetsen: MCQ, open vragen, oral….. Knows how (Klinisch) Contextuele toetsen: MCQ, open vragen, mondeling….. Shows how Performance assessment in vitro: OSCE, SP-based test….. Does Performance assessment in vivo: Nep Pt, Video, Audit…..

21 Knows/Knows how  De stimulus vorm is belangrijker dan de respons vorm Knows Knows how Shows how Does

22 Stimulus versus Respons Vorm Sommige steden hebben meer café’s dan inwoners. Voor welke van de volgende steden is dit het geval: A.Amsterdam B.Maastricht C.Groningen Stimulus vorm Respons vorm

23 Knows/Knows how  De stimulus vorm is belangrijker dan de respons vorm  De stimulusvorm moet:  Contextueel rijk zijn/Authentiek  Om een beslissing/afweging uitlokken Knows Knows how Shows how Does  Vermijd complexe stimulus vormen  Kore statische casus (ipv lange dynamische)  Eenvoudige scorings systemen

24

25

26 Shows how  OSCE-ology OSCE-ology  Maak stations zo levensecht mogelijk  Globale oordelen doen het even goed als criterialijsten  Inhoudsspecificiteit is het probleem Knows Knows how Shows how Does

27  Methoden voor praktijktoetsing Methoden voor praktijktoetsing  Opkomende (veelbelovende) technieken  Maar er moet nog veel ontwikkeld/onderzocht worden Knows Knows how Shows how Does

28 Validiteit: ontbreekt er nog iets?

29

30

31 Nieuwe onderwijsvormen  Situated learning  Project-based learning  Problem-based learning  Discovery learning  Student-centred learning  Authentic learning  Patient-based learning  Community-based learning 

32 De leerpiramide Les geven College Discussion groep Demonstratie Audiovisueel Lezen Uitvoeren in de praktijk 5% 10% 20% 30% 50% 75% 80% Average Retention Rate National Training Laboratories, Bethel, Maine, USA

33  Situated learning  Project-based learning  Problem-based learning  Discovery learning  Student-centred learning  Authentic learning  Patient-based learning Drie C’s van leren C onstructief C ontextueel C ollaboratief

34 Nieuwe vaardigheden  Leren leren  Zelf-evaluatie  leiderschapskwaliteiten  team vaardigheden  metacognitie  uitdrukkingsvaardigheid (schriftelijk, mondeling)  reflectiviteit…….

35 Uitbreiding van de piramide Knows Shows how Knows how Does Knows Knows how Shows how Does Algemene competenties Beroepspecifieke competenties

36 Hoe toets je algemene competenties?  Zelfbeoordelingen  Peer beoordelingen  Co-assessment (gecombineerde zelf-, peer-, en docentbeoordeling)  Logboek/dagboek/journaal  Leerproces simulaties/evaluaties  Productevaluaties  Portfolio Portfolio 

37 Hoe toets je algemene competenties?  Basale methode: Informatieverzameling gebaseerd op meer descriptieve en kwalitatieve informatie die om een meer globale beoordeling vereisen van een deskundige beoordelaar

38 Validiteit  Conclusie:  Onderwijskundige of professionele authenticiteit is belangrijk (zowel binnen als tussen lagen van de piramide)

39 Validiteit  Praktische suggesties:  Wees niet getrouwd met één toetsvorm (de methode is minder belangrijk dan de inhoud)  Maak gebruik van taken die zo levensecht mogelijk zijn (ongeacht de toetsvorm)  Hou het eenvoudig  KISS principe  Een goed toetsprogramma bestaat uit een veelheid aan methoden

40 Overzicht  Toetsing en onderwijs Toetsing en onderwijs

41 Onderwijsinvloed  Toetsing stuurt het leren

42

43 Een alternatieve kijk Curriculum Docent Toetsing Student

44 Curriculum Docent Assessment Student Toetsing Student Toetsing kan het leren sturen door:  de inhoud  de vorm  Programmering  Reglementering 

45 Onderwijsinvloed  Suggesties:  Ga de onderwijsgevolgen van je toetsing na (evalueer de evaluatie)  Gebruik toetsing strategisch om gewenste leereffecten te bereiken  Taak = toetsing

46 Overzicht  Je kunt niet alles hebben! Je kunt niet alles hebben!

47 Karakteristieken van instrumenten  Betrouwbaarheid (B)  Validiteit (V)  Onderwijsgevolgen (O)  Acceptabiliteit (A)  Kosten (K) Validiteit Betrouwbaarheid Onderwijs- invloed Acceptabiliteit Kosten

48 Utiliteitsfunctie  U = Utiliteit  B = betrouwbaarheid  V = Validiteit  O = Onderwijsgevolgen  A = Acceptabiliteit  K = Kosten  W = Gewicht U = w b B x w v V x w o O x w a A x w k K

49 Selectie Utiliteitsfunctie U = w b B x w v V x w o O “In-training Assessment” 100% 0% Gewicht  U = Utiliteit  B = betrouwbaarheid  V = Validiteit  O = Onderwijsgevolgen

50 Toetsprogramma als geheel  De instrumentkarakteristieken (betrouwbaarheid, validiteit, onderwijsgevolgen, acceptabiliteit, kosten) zijn ook van toepassing op het toetsprogramma als geheel  Dus kunnen compromissen anders uitvallen wanneer het programma als geheel wordt beschouwd

51 Totale toetsprogramma Utiliteitsfunctie U = w b B x w v V x w o O Individueel instrument 100% 0% Gewicht  U = Utiliteit  B = betrouwbaarheid  V = Validiteit  O = Onderwijsgevolgen

52 Je kunt niet alles hebben  Conclusies:  Toetsing vereist altijd een compromis  Keuze van het compromis is afhankelijk van de onderwijs- en toetscontext  Kwaliteit van toetsing is meer een aspect van het toetsprogramma als geheel, dan van afzonderlijke toetsinstrumenten (dus vereist planning en coördinatie)

53 Overzicht  Conclusies

54 Conclusies  Toetsing is niet zo zeer een psychometrisch probleem, maar vooral een “onderwijskundige design” probleem: hoe gebruik je toetsing strategisch om onderwijskundig gewenste effecten te bereiken?  Toetsing veronderstelt een gecoördineerde aanpak en continue monitoring en bijstelling  Goede toetsing dekt de gehele competentiepiramide (dus hebben een veelheid aan methoden nodig; er bestaan geen inherent slechte of goede methoden, dat hangt geheel van de context af)

55 Conclusions  Sluiten van compromissen is onafwendbaar  Het gaat om het bewust en geïnformeerd nemen van compromisbeslissingen

56 “It may not be a perfect wheel, but it’s a state-of-the-art wheel.”


Download ppt "Toetsing van medische competentie Lambert Schuwirth & Cees van der Vleuten SHE Cursus Toetsen van Medische Competentie 13 april 2010 Lambert Schuwirth."

Verwante presentaties


Ads door Google