Entrustable Professional Activities Toetsen en bekwaam verklaren

Presentatie over: "Entrustable Professional Activities Toetsen en bekwaam verklaren"— Transcript van de presentatie:

1 Entrustable Professional Activities Toetsen en bekwaam verklaren
RIO Masterclass Individualisering Medische Vervolgopleidingen - 2 maart 2016 Entrustable Professional Activities Toetsen en bekwaam verklaren Olle ten Cate Expertisecentrum voor Onderwijs en Opleiding UMC Utrecht

2 Competentiegericht opleiden en EPA’s
1 Competentiegericht opleiden en EPA’s

3 Hoofdkenmerken Competency-Based Medical Education
Betere definitie van bekwaamheid Betere controle van bekwaamheid

4 Basiskenmerken van Competency-Based Medical Education
Bredere definitie: communicatie, samenwerking, professioneel gedrag etc Focus op aangetoonde bekwaamheid, niet aangenomen bekwaamheid Verschuiving van vaste duur en inhoud, naar flexibiliteit, afgestemd op de persoon Frank et al, 2010

5 Waardering, maar ook kritiek
5

6 CanMEDS 2015 competentie raamwerk 746 onderdelen
Role 161 key concepts 28 key competencies 116 enabling competencies 434 milestones (excl CPD) Medical expert 16 5 21 77 Communicator 27 18 66 Collaborator 3 8 47 Leader 19 4 13 68 Health Advocate 14 2 24 Scholar 39 85 Professional 25 67 6 6

7 Terug naar de basale vragen
Welk werk moeten professionals doen? Wanneer vertrouwen we professionals in opleiding dit werk toe? Hoe bereiden we ze hierop voor? Hoe bepalen we of ze vertrouwd kunnen worden met zelfstandigheid?

8 EPA’s Taken/verantwoordelijkheden (units of professional practice) die alleen toevertrouwd worden aan voldoende competente professionals (in opleiding) Afgebakend in tijd Observeerbaar en beoordeelbaar Geschikt voor bekwaamverklaring Ten Cate 2005, 2013

9 EPA’s Entrustable: toe te vertrouwen – door collega’s, patiënten, maatschappij Professional: beroepen met buitengewone bevoegdheid Activities: taken die uitgevoerd moeten worden Ten Cate 2005, 2013

10 Competenties versus EPA’s
persoonskenmerken Kennis, vaardigheid, attitude Vakkennis Begrip van gezondheids- zorgssysteem Communicatievaardigheid Organisatievaardigheid Professionele houding Wetenschappelijke houding Competenties werk-kenmerken Uit te voeren taken Patientontslag voor- bereiden Patienten adviseren Familiebijeenkomst leiden Behandelplan opstellen Centrale lijn invoeren Rescuscitatie toepassen EPA’s Risk of checklist approach 142 milestones PBLI on Evalue Ten Cate et al, 2010 10

11 EPA’s – competenties matrix
Medical expert Communicator Collaborator Manager Health advocate Scholar Professional ++ + EPA1 EPA2 EPA3 EPA4 EPA5 competeties indirect aan te nemen Beoordeling gestoeld op EPAs Ten Cate & Scheele 2007

12 Past dit? Persoon met competenties Werk (EPA) dat gedaan moet worden

13 Vanaf wanneer is iemand ‘competent’?
Drempelwaarde in groei naar zelfstandigheid Moment van initiële bekwaamverklaring Competentie groeit daarna verder 13

14 deliberate professional practice
Groei van competentie expert proficient drempel van bekwaamheid competent advanced novice training deliberate professional practice Dreyfus & Dreyfus 1986; ten Cate et al, 2010 14 14 14

15 Competentie curves van trainee X
EPA2 EPA4 EPA3 opleiding blijvende uitoefening EPA1 compe- tentie drem- pel Verantwoorde bekwaamverklaring EPA5 Ten Cate et al 2010

16 blijvende uitoefening
Trainee Y EPA2 EPA4 EPA5 opleiding blijvende uitoefening EPA1 compe- tentie drem- pel Verantwoorde bekwaamverklaring EPA3 Verlies van bekwaamheid Ten Cate et al 2010

17 Competentiegericht opleiden vergt flexibiliteit – EPA’s kunnen dit bieden
Intra-trainee variatie: bekwaamheid voor EPA’s op verschillende momenten Inter-trainee variatie: Aios verschillen van elkaar (in voorkennis, houding en leertempo) Context variatie (aard praktijk, werkplek, patiënten, omstandigheid, faciliteiten, personeel, leeromgeving) Individualisering werkplekcurriculum, voortgangs- gesprekken en monitoring bekwaamheden Ten Cate et al 2010

18 Vijf supervisieniveaus
5. supervisie aan anderen geven 4. uitvoeren zonder supervisie 3. uitvoeren onder indirecte supervisie 2. uitvoeren onder directe supervisie 1. niet uitvoeren ten Cate & Scheele, 2007 18

19 Individueel werkplekcurriculum
ten Cate, 2014

20 7-item EPA beschrijving
1 Titel van de EPA 2 Specificatie en beperkingen 3 Belangrijkste competentiegebieden 4 Vereiste ervaring, kennis, vaardigheid, attitude voordat de activiteit zonder toezicht kan worden toevertrouwd 5 Bronnen van informatie om voortgang te monitoren en tot een bekwaamverklaring te komen 6 Niveau van toezicht waarop de bekwaamverklaring is gericht 7 Verloopdatum van de bekwaamverklaring ten Cate et al 2015, in press

21 Voorbeeld EPA 1 2 3 4 5 6 7 Includes: no more and no less than
Routine check-up of the stable adult patient [early EPA for medical students] 2 Includes: no more and no less than Measuring vital parameters: heart rate, respiratory rate, temperature, blood pressure, O2 saturation Explaining all actions to the patient Reporting results to the health care team including interpretation, orally and/or written Context: ambulatory and inpatient setting Targeted transition point: first fulltime clinical clerkship to next clerkship Limitations: only with hemodynamically stable patients 18 years and older 3 X Medical Expert X Communicator X Collaborator   4 Knowledge: basic knowledge of anatomy including relevant arteries; normal values of vital parameters Skill: skill in using necessary devices to measure vital parameters; recognition of stable and unstable patients Attitude and behavior: professional communication with the patient; proactive alertness in case of adverse events; willingness to ask for help if needed Experience : all measurements done at least 5 times 5 Short practice observations: satisfactory observation of all measurements at least twice by experienced health care professionals (nurse, physician or other) Case-based discussions: one CBD with a qualified health care professional 6 Supervision Level: Indirect supervision (level 3) ultimately before the transition to the second fulltime clinical clerkship 7 Expiration: after one year without practice following summative entrustment decision

22 Functie van EPA’s Focus voor opleiden en beoordelen
Grond voor bekwaamverklaringen Transparantie over actuele competentie Geleidelijke groei naar zelfstandigheid Flexibiliteit van opleiden

23 Operationalisatie van competentie
Dynamisch Portfolio van actueel geldende EPA’s Competency-based medical education  Competency-based medical practice

24 Misverstanden over EPA’s
“EPAs have become a label de jour for virtually everything”* Geen EPA als: Geen concrete taak is (“habits of life long learning’) Niet afzonderlijke taak is (“recognizing child abuse”) Het als leerdoel klinkt (“can evaluate and manage the high acuity and low complexity patient”) Niet geschikt is voor bekwaamverklaring (“designing a personal development plan”) *Douglas Jones, U of Colorado, in 2015

25

26

27

28 Entrustment decisions als beoordeling
2 Entrustment decisions als beoordeling

29 Persistente beoordelingsproblemen
Onbetrouwbaar / niet reproduceerbaar Generosity error Geringe discriminatie Halo-effecten Rater-dependency Competenties zijn te abstract om goed valide te beoordelen Albanese 2000, Govaerts et al 2007, Gingerich et al 2014, Lurie et al 2011

30 Oplossingsrichting Focus primair op EPA’s, en secundair op competenties Geen beoordeling “onvoldoende - zeer goed” maar: “hoeveel toezicht heeft iemand nodig?” Bekwaamverklaring per EPA bouwen op multipele observaties en informatiebronnen

31 Entrustment decisions en bekwaamverklaringen
Construct-alignment: breng de denkwereld van de professional en beoordelaar bij elkaar; richt beoordeling op vereist supervisieniveau Hoeveel supervisie is er nodig? Kan X dit alleen af? Hoeveel controle is nodig?

32 Construct alignment

33 Psychologie van gebruikelijk beoordeling tijdens klinische stages
Ze is aardig, werkt hard en het zal haar stimuleren als ik haar een goed cijfer geef Ik hoop zo dat hij me een 8 of 9 geeft

34 Psychologie van EPA-gebasserde beoordeling tijdens klinische stages
Ze is aardig, werkt hard maar is het wel patiënt-veilig als ik haar voortaan alleen laat zonder supervisie? Ik hoop zo dat hij me een 8 of 9 geeft

35 Wat speelt bij een vertrouwensbeslissing?
ABILITY: Competentie INTEGRITY: Eerlijkheid, openheid, goede bedoelingen (benevolence) RELIABILITY: Nauwkeurig en voorspelbaar werken HUMILITY: Eigen grenzen kennen; hulp vragen indien nodig Kennedy et al 2008, O’Neill 2013, ten Cate, 2016

36 Technologie Bekwaamverklaring baseren op een serie uiteenlopende formatieve beoordelingen Regelmatige beoordelingen zo goed mogelijk vangen met steun van technologie

37 Toward technology enhanced assessment 1 > 2 > 3
OBSERVER: TRAINEE: EPA: Dr John Smith SPECIFY Based on my observation(s), I suggest for this EPA the trainee may be ready after the next review to: 2. Act under direct supervision 3. Act under indirect 4. Act with only post-hoc report 5. Supervise juniors NO Hesitate YES DATE: Provide feedback on each of the following domains of competence, relevant to this this EPA * Medical Expert * Communicator * Collaborator * Scholar * Leader * Health advocate * Professional CONFIRM AND SEND COMMUNICATOR Provide specific feedback. Try to include strengths and aspects that may benefit from improvement. Or record a feedback message ten Cate et al 2015, in press

38 Gebaseerd op ruim datapunten over 105 AIOS interne geneeskunde over 2 jaar, bij 5-punts supervisie schaal voor EPA’s voor ACGME competentiegebieden U of Cincinnatti, Warm et al, 2014

39 Curriculumontwikkeling met EPA’s aanwijzingen voor superviserend specialist
Definieer en omschrijf nauwkeurig EPA’s die geschikt zijn voor een PA Ontwerp samen met een PA in opleiding een individueel werkplek curriculum (5-8 EPA’s) Bepaal kennis / vaardigheden die voorafgaand verworven moeten zijn Verschaf directe supervisie per EPA en bouw die geleidelijk af (niveau 1  2  3  4) Neem formele beslissing over bekwaamheid niveau 4 samen met 2 andere specialisten

40 Belang van bekwaamverklaring
Markering belangrijk moment in de opleiding Uiting van vertrouwen in het uitvoeren van professionele activiteit Overdracht van verantwoordelijkheid Documentatie van patiëntveilig werken: voor de trainee, opleiding, afdeling, patiënt en maatschappij

41 Mehta et al 2013

42 Bekwaamverklaring 42

43 Electronisch portfolio, gebaseerd op EPAs in de huisarts-geneeskunde
Met dank aan Dr Karen Schultz en Dr Jane Griffiths; Family Medicine Department of Queens University at Kingston, Ontario, Canada

44

45 Entrustment decisions / Bekwaamverklaringen
Incidentele bekwaamverklaringen (ad-hoc entrustment decisions) gebeuren dagelijks, sterk situationeel bepaald, geen belofte voor de toekomst Structurele bekwaamverklaringen (summative entrustment decisions) Gegronde beslissing, toestemmingsverklaring voor de toekomst Structurele bekwaamverklaringen betreffen Competentie + Persmissie + Taaktoewijzing (ability+right+duty to act)

46 Modes of trust in ad-hoc vs summative entrustment decisions
Presumptive trust [Aangenomen vertrouwen] Based on prior credentials without observation Guides ad-hoc entrustment decisions Initial trust [Initieel vertrouwen] Based on first impressions Grounded trust [Gegrond vertrouwen] Based or more systematic data collection Guides summative entrustment decisions Cruess & Cruess 2014; ten Cate et al, 2016

47 Informatiebronnen bruikbaar voor de voorbereiding van bekwaamverklaringen
Prior credentials Simulation and skills test Knowledge tests Short practice observations Long practice observations Sampled post-hoc results checks Case-based discussions Product evaluation Self-report

48 Focus: Presumptive trust – ad-hoc entrustment
Prior credentials Focus: Presumptive trust – ad-hoc entrustment Examples CV: diplomas, courses, exams, certificates Documented prior clinical experience Recommendations from trusted colleagues Training experience / current year or level of training National licensing exams Observed performance on comparable tasks

49 Simulation and skills tests
Focus: Presumptive trust – ad-hoc entrustment Examples Direct observation of the execution of the task in a simulated situation Simulation/CRM training and assessment

50 Knowledge (written or e-)tests
Focus: Presumptive and initial and grounded trust – ad-hoc and summative entrustment Examples Pre-interaction assessment in training Local exams - during training Longitudinal formative progress tests

51 Short practice observations
Focus: Initial and grounded trust – ad- hoc and summative entrustment Examples Direct observation by supervisors (MiniCEX /DOPS/OSATS) Patient presentations at morning rounds and handoffs Observed performance on comparable tasks Observation of trainee teaching Video-observation

52 Long Practice Observation
Focus: Grounded trust – summative entrustment Examples Multi-source feedback / observation Evaluation of a shift

53 Sampled post-hoc results check
Focus: Grounded trust – summative entrustment Examples In-between and subsequent checks of work Sampled checks on accuracy of information reported Prospective assignments with reflective rapports Significant event root cause analysis / gap analysis Evaluation of deliberately assigned patient safety task

54 Case-based discussion
Focus: Grounded trust – summative entrustment Examples What-if discussions to probe for the unexpected: Review of events during shifts End-of-the-day evaluations Post hoc case-based discussions including scenarios Questioning at the bedside Prospective assignments with reflective rapports

55 Focus: Grounded trust – summative entrustment
Product evaluation Focus: Grounded trust – summative entrustment Examples Audit of practice including patient handovers and electronic health record Self-initiated clinical or research projects

56 Focus: Initial and grounded trust – ad-hoc summative entrustment
Self-report Focus: Initial and grounded trust – ad-hoc summative entrustment Examples Prospective assignments with reflective rapports Guided self-reflection exercises and self-report in a portfolio Self-confidence or comfort measures

57 Literatuur Albanese, M., Challenges in using rater judgements in medical education. Journal of Evaluation in Clinical Practice, 6(3), pp.305–19. Brightwell, A. & Grant, J., Competency-based training: who benefits? Postgraduate medical journal, 89, pp.107–110. Brooks, M.A., Medical education and the tyranny of competency. Perspectives in biology and medicine, 52(1), pp.90–102. Dreyfus, H.L. & Dreyfus, S.E., Mind over Machine, New York: Free Press. Frank J, Sherbino J, (Eds). CanMEDS 2015 Physician Competency Framework. Ottawa, Ontario, Canada; 2015. George BC, Teitelbaum EN, Meyerson SL, Schuller MC, DaRosa DA, Petrusa ER, et al. Reliability, Validity, and Feasibility of the Zwisch Scale for the Assessment of Intraoperative Performance. J Surg Educ. Elsevier; 2014;71(6):e90–6. Gingerich, A. et al., Seeing the “black box” differently: assessor cognition from three research perspectives. Medical education, 48(11), pp.1055–68. Glass, J.M., Competency based training is a framework for incompetence. British Medical Journal, 348, p.g2909. Govaerts, M.J.B. et al., Broadening perspectives on clinical performance assessment: rethinking the nature of in-training assessment. Advances in health sciences education : 12(2):239–60. Grant, J., The Incapacitating Effects of Competence: A Critique. Advances in health sciences education  4(3), pp.271–277. Holmboe, E. & Hawkins, R., Practical guide to the evaluation of clinical competence 1st ed., Philadelphia, PA: Mosby Elsevier. Jonker, G., Hoff, R.G. & Ten Cate, O.T.J., A case for competency-based anaesthesiology training with entrustable professional activities: An agenda for development and research. European journal of anaesthesiology, pp.1–6. Available at: [Accessed July 10, 2014]. Kennedy, T.J.T. et al., Point-of-care assessment of medical trainee competence for independent clinical work. Academic Medicine, 83(10 Suppl), pp.S89–92. Lurie, S.J., Mooney, C.J. & Lyness, J.M., Commentary: pitfalls in assessment of competency-based educational objectives. Academic Medicine, 86(4), pp.412–4. Malone, K. & Supri, S., A critical time for medical education: the perils of competence-based reform of the curriculum. Advances in health sciences education  17(2): Mehta, N.B. et al., Just imagine: new paradigms for medical education. Academic medicine : journal of the Association of American Medical Colleges, 88(10), pp.1418–23. Mulder H, Ten Cate O, Daalder R, Berkvens J. Building a competency-based workplace curriculum around entrustable professional activities: The case of physician assistant training. Med Teach Jan;32(10):e453–9. O’Neill, O., What we don’t understand about trust, UK: TED Conferences, LLC. New York. Available at: Pangaro, L. & ten Cate, O., Frameworks for learner assessment in medicine: AMEE Guide No. 78. Medical teacher, 35(6), pp.e1197–210. Pusic, M. V. et al., Learning Curves in Health Professions Education. Academic Medicine, 2015 Early Online Talbot, M., Monkey see, monkey do: a critique of the competency model in graduate medical education. Medical education, 38(6), pp.587–92. Ten Cate, O., Entrustability of professional activities and competency-based training. Medical education, 39(12), pp.1176–7. Ten Cate, O. & Scheele, F., Competency-Based Postgraduate Training: Can We Bridge the Gap between Theory and Clinical Practice ? Academic Medicine, 82(6), pp.542–547. Ten Cate, O., Snell, L. & Carraccio, C., Medical competence: the interplay between individual ability and the health care environment. Medical Teacher, 32(8), pp.669–75. Ten Cate, O., Nuts and Bolts of Entrustable professional activities. Journal of graduate medical education, 5(1), pp.157–158. Ten Cate, O., AM Last Page : What Entrustable Professional Activities Add to a Competency-Based Curriculum. Academic Medicine, 89(4), p.691. Ten Cate O, Chen HC, Hoff RG, Peters H, Bok H, van der Schaaf MF, Curriculum development for the workplace using Entrustable Professional Activities (EPAs): AMEE Guide No Med Teach. 2015;37(12):983–2002. Ten Cate O, Hart D, Ankel F, Busari J, Englander R, Glasgow N, et al. Entrustment decision-making in clinical training. Acad Med. 2016;91(2):191–8. 2. Ten Cate O. Entrustment as Assessment: Recognizing the Ability, the Right and the Duty to Act. J Grad Med Educ. 2016;8(2):InPress. Warm EJ, Mathis BR, Held JD, Pai S, Tolentino J, Ashbrook L, et al. Entrustment and mapping of observable practice activities for resident assessment. J Gen Intern Med Aug;29(8):1177–82. and Warm EJ, Schauer D, Mathis BR, Tolentino J, Held J, Dell KD, Kinnear B, O’Toole J, Carlson S, Gay S, Hellmann M, Kelleher M, Lee C, Sall D. Entrustment of Milestones Mapped to Observable Practice Activities. poster. 2014 Weller, J.M. et al., Can I leave the theatre? A key to more reliable workplace-based assessment. British Journal of Anaesthesia, 112(March), pp.1083–1091.