Entrustable Professional Activities Toetsen en bekwaam verklaren RIO Masterclass Individualisering Medische Vervolgopleidingen - 2 maart 2016 Entrustable Professional Activities Toetsen en bekwaam verklaren Olle ten Cate Expertisecentrum voor Onderwijs en Opleiding UMC Utrecht

Competentiegericht opleiden en EPA’s 1 Competentiegericht opleiden en EPA’s

Hoofdkenmerken Competency-Based Medical Education Betere definitie van bekwaamheid Betere controle van bekwaamheid

Basiskenmerken van Competency-Based Medical Education Bredere definitie: communicatie, samenwerking, professioneel gedrag etc Focus op aangetoonde bekwaamheid, niet aangenomen bekwaamheid Verschuiving van vaste duur en inhoud, naar flexibiliteit, afgestemd op de persoon Frank et al, 2010

Waardering, maar ook kritiek 5

CanMEDS 2015 competentie raamwerk 746 onderdelen Role 161 key concepts 28 key competencies 116 enabling competencies 434 milestones (excl CPD) Medical expert 16 5 21 77 Communicator 27 18 66 Collaborator 3 8 47 Leader 19 4 13 68 Health Advocate 14 2 24 Scholar 39 85 Professional 25 67 6 6

Terug naar de basale vragen Welk werk moeten professionals doen? Wanneer vertrouwen we professionals in opleiding dit werk toe? Hoe bereiden we ze hierop voor? Hoe bepalen we of ze vertrouwd kunnen worden met zelfstandigheid?

EPA’s Taken/verantwoordelijkheden (units of professional practice) die alleen toevertrouwd worden aan voldoende competente professionals (in opleiding) Afgebakend in tijd Observeerbaar en beoordeelbaar Geschikt voor bekwaamverklaring Ten Cate 2005, 2013

EPA’s Entrustable: toe te vertrouwen – door collega’s, patiënten, maatschappij Professional: beroepen met buitengewone bevoegdheid Activities: taken die uitgevoerd moeten worden Ten Cate 2005, 2013

Competenties versus EPA’s persoonskenmerken Kennis, vaardigheid, attitude Vakkennis Begrip van gezondheids- zorgssysteem Communicatievaardigheid Organisatievaardigheid Professionele houding Wetenschappelijke houding Competenties werk-kenmerken Uit te voeren taken Patientontslag voor- bereiden Patienten adviseren Familiebijeenkomst leiden Behandelplan opstellen Centrale lijn invoeren Rescuscitatie toepassen EPA’s Risk of checklist approach 142 milestones PBLI on Evalue Ten Cate et al, 2010 10

EPA’s – competenties matrix Medical expert Communicator Collaborator Manager Health advocate Scholar Professional ++ + EPA1 EPA2 EPA3 EPA4 EPA5 competeties indirect aan te nemen Beoordeling gestoeld op EPAs Ten Cate & Scheele 2007

Past dit? Persoon met competenties Werk (EPA) dat gedaan moet worden

Vanaf wanneer is iemand ‘competent’? Drempelwaarde in groei naar zelfstandigheid Moment van initiële bekwaamverklaring Competentie groeit daarna verder 13

deliberate professional practice Groei van competentie expert proficient drempel van bekwaamheid competent advanced novice training deliberate professional practice Dreyfus & Dreyfus 1986; ten Cate et al, 2010 14 14 14

Competentie curves van trainee X EPA2 EPA4 EPA3 opleiding blijvende uitoefening EPA1 compe- tentie drem- pel Verantwoorde bekwaamverklaring EPA5 Ten Cate et al 2010

blijvende uitoefening Trainee Y EPA2 EPA4 EPA5 opleiding blijvende uitoefening EPA1 compe- tentie drem- pel Verantwoorde bekwaamverklaring EPA3 Verlies van bekwaamheid Ten Cate et al 2010

Competentiegericht opleiden vergt flexibiliteit – EPA’s kunnen dit bieden Intra-trainee variatie: bekwaamheid voor EPA’s op verschillende momenten Inter-trainee variatie: Aios verschillen van elkaar (in voorkennis, houding en leertempo) Context variatie (aard praktijk, werkplek, patiënten, omstandigheid, faciliteiten, personeel, leeromgeving) Individualisering werkplekcurriculum, voortgangs- gesprekken en monitoring bekwaamheden Ten Cate et al 2010

Vijf supervisieniveaus 5. supervisie aan anderen geven 4. uitvoeren zonder supervisie 3. uitvoeren onder indirecte supervisie 2. uitvoeren onder directe supervisie 1. niet uitvoeren ten Cate & Scheele, 2007 18

Individueel werkplekcurriculum ten Cate, 2014

7-item EPA beschrijving 1 Titel van de EPA 2 Specificatie en beperkingen 3 Belangrijkste competentiegebieden 4 Vereiste ervaring, kennis, vaardigheid, attitude voordat de activiteit zonder toezicht kan worden toevertrouwd 5 Bronnen van informatie om voortgang te monitoren en tot een bekwaamverklaring te komen 6 Niveau van toezicht waarop de bekwaamverklaring is gericht 7 Verloopdatum van de bekwaamverklaring ten Cate et al 2015, in press

Voorbeeld EPA 1 2 3 4 5 6 7 Includes: no more and no less than Routine check-up of the stable adult patient [early EPA for medical students] 2 Includes: no more and no less than Measuring vital parameters: heart rate, respiratory rate, temperature, blood pressure, O2 saturation Explaining all actions to the patient Reporting results to the health care team including interpretation, orally and/or written Context: ambulatory and inpatient setting Targeted transition point: first fulltime clinical clerkship to next clerkship Limitations: only with hemodynamically stable patients 18 years and older 3 X Medical Expert X Communicator X Collaborator   4 Knowledge: basic knowledge of anatomy including relevant arteries; normal values of vital parameters Skill: skill in using necessary devices to measure vital parameters; recognition of stable and unstable patients Attitude and behavior: professional communication with the patient; proactive alertness in case of adverse events; willingness to ask for help if needed Experience : all measurements done at least 5 times 5 Short practice observations: satisfactory observation of all measurements at least twice by experienced health care professionals (nurse, physician or other) Case-based discussions: one CBD with a qualified health care professional 6 Supervision Level: Indirect supervision (level 3) ultimately before the transition to the second fulltime clinical clerkship 7 Expiration: after one year without practice following summative entrustment decision

Functie van EPA’s Focus voor opleiden en beoordelen Grond voor bekwaamverklaringen Transparantie over actuele competentie Geleidelijke groei naar zelfstandigheid Flexibiliteit van opleiden

Operationalisatie van competentie Dynamisch Portfolio van actueel geldende EPA’s Competency-based medical education  Competency-based medical practice

Misverstanden over EPA’s “EPAs have become a label de jour for virtually everything”* Geen EPA als: Geen concrete taak is (“habits of life long learning’) Niet afzonderlijke taak is (“recognizing child abuse”) Het als leerdoel klinkt (“can evaluate and manage the high acuity and low complexity patient”) Niet geschikt is voor bekwaamverklaring (“designing a personal development plan”) *Douglas Jones, U of Colorado, in email 2015

Entrustment decisions als beoordeling 2 Entrustment decisions als beoordeling

Persistente beoordelingsproblemen Onbetrouwbaar / niet reproduceerbaar Generosity error Geringe discriminatie Halo-effecten Rater-dependency Competenties zijn te abstract om goed valide te beoordelen Albanese 2000, Govaerts et al 2007, Gingerich et al 2014, Lurie et al 2011

Oplossingsrichting Focus primair op EPA’s, en secundair op competenties Geen beoordeling “onvoldoende - zeer goed” maar: “hoeveel toezicht heeft iemand nodig?” Bekwaamverklaring per EPA bouwen op multipele observaties en informatiebronnen

Entrustment decisions en bekwaamverklaringen Construct-alignment: breng de denkwereld van de professional en beoordelaar bij elkaar; richt beoordeling op vereist supervisieniveau Hoeveel supervisie is er nodig? Kan X dit alleen af? Hoeveel controle is nodig?

Construct alignment

Psychologie van gebruikelijk beoordeling tijdens klinische stages Ze is aardig, werkt hard en het zal haar stimuleren als ik haar een goed cijfer geef Ik hoop zo dat hij me een 8 of 9 geeft

Psychologie van EPA-gebasserde beoordeling tijdens klinische stages Ze is aardig, werkt hard maar is het wel patiënt-veilig als ik haar voortaan alleen laat zonder supervisie? Ik hoop zo dat hij me een 8 of 9 geeft

Wat speelt bij een vertrouwensbeslissing? ABILITY: Competentie INTEGRITY: Eerlijkheid, openheid, goede bedoelingen (benevolence) RELIABILITY: Nauwkeurig en voorspelbaar werken HUMILITY: Eigen grenzen kennen; hulp vragen indien nodig Kennedy et al 2008, O’Neill 2013, ten Cate, 2016

Technologie Bekwaamverklaring baseren op een serie uiteenlopende formatieve beoordelingen Regelmatige beoordelingen zo goed mogelijk vangen met steun van technologie

Toward technology enhanced assessment 1 > 2 > 3 OBSERVER: TRAINEE: EPA: Dr John Smith SPECIFY Based on my observation(s), I suggest for this EPA the trainee may be ready after the next review to: 2. Act under direct supervision 3. Act under indirect 4. Act with only post-hoc report 5. Supervise juniors   NO Hesitate YES DATE: Provide feedback on each of the following domains of competence, relevant to this this EPA * Medical Expert * Communicator * Collaborator * Scholar * Leader * Health advocate * Professional CONFIRM AND SEND COMMUNICATOR Provide specific feedback. Try to include strengths and aspects that may benefit from improvement. Or record a feedback message ten Cate et al 2015, in press

Gebaseerd op ruim 188.500 datapunten over 105 AIOS interne geneeskunde over 2 jaar, bij 5-punts supervisie schaal voor EPA’s voor ACGME competentiegebieden U of Cincinnatti, Warm et al, 2014

Curriculumontwikkeling met EPA’s aanwijzingen voor superviserend specialist Definieer en omschrijf nauwkeurig EPA’s die geschikt zijn voor een PA Ontwerp samen met een PA in opleiding een individueel werkplek curriculum (5-8 EPA’s) Bepaal kennis / vaardigheden die voorafgaand verworven moeten zijn Verschaf directe supervisie per EPA en bouw die geleidelijk af (niveau 1  2  3  4) Neem formele beslissing over bekwaamheid niveau 4 samen met 2 andere specialisten

Belang van bekwaamverklaring Markering belangrijk moment in de opleiding Uiting van vertrouwen in het uitvoeren van professionele activiteit Overdracht van verantwoordelijkheid Documentatie van patiëntveilig werken: voor de trainee, opleiding, afdeling, patiënt en maatschappij

Mehta et al 2013

Bekwaamverklaring 42

Electronisch portfolio, gebaseerd op EPAs in de huisarts-geneeskunde Met dank aan Dr Karen Schultz en Dr Jane Griffiths; Family Medicine Department of Queens University at Kingston, Ontario, Canada

Entrustment decisions / Bekwaamverklaringen Incidentele bekwaamverklaringen (ad-hoc entrustment decisions) gebeuren dagelijks, sterk situationeel bepaald, geen belofte voor de toekomst Structurele bekwaamverklaringen (summative entrustment decisions) Gegronde beslissing, toestemmingsverklaring voor de toekomst Structurele bekwaamverklaringen betreffen Competentie + Persmissie + Taaktoewijzing (ability+right+duty to act)

Modes of trust in ad-hoc vs summative entrustment decisions Presumptive trust [Aangenomen vertrouwen] Based on prior credentials without observation Guides ad-hoc entrustment decisions Initial trust [Initieel vertrouwen] Based on first impressions Grounded trust [Gegrond vertrouwen] Based or more systematic data collection Guides summative entrustment decisions Cruess & Cruess 2014; ten Cate et al, 2016

Informatiebronnen bruikbaar voor de voorbereiding van bekwaamverklaringen Prior credentials Simulation and skills test Knowledge tests Short practice observations Long practice observations Sampled post-hoc results checks Case-based discussions Product evaluation Self-report

Focus: Presumptive trust – ad-hoc entrustment Prior credentials Focus: Presumptive trust – ad-hoc entrustment Examples CV: diplomas, courses, exams, certificates Documented prior clinical experience Recommendations from trusted colleagues Training experience / current year or level of training National licensing exams Observed performance on comparable tasks

Simulation and skills tests Focus: Presumptive trust – ad-hoc entrustment Examples Direct observation of the execution of the task in a simulated situation Simulation/CRM training and assessment

Knowledge (written or e-)tests Focus: Presumptive and initial and grounded trust – ad-hoc and summative entrustment Examples Pre-interaction assessment in training Local exams - during training Longitudinal formative progress tests

Short practice observations Focus: Initial and grounded trust – ad- hoc and summative entrustment Examples Direct observation by supervisors (MiniCEX /DOPS/OSATS) Patient presentations at morning rounds and handoffs Observed performance on comparable tasks Observation of trainee teaching Video-observation

Long Practice Observation Focus: Grounded trust – summative entrustment Examples Multi-source feedback / observation Evaluation of a shift

Sampled post-hoc results check Focus: Grounded trust – summative entrustment Examples In-between and subsequent checks of work Sampled checks on accuracy of information reported Prospective assignments with reflective rapports Significant event root cause analysis / gap analysis Evaluation of deliberately assigned patient safety task

Case-based discussion Focus: Grounded trust – summative entrustment Examples What-if discussions to probe for the unexpected: Review of events during shifts End-of-the-day evaluations Post hoc case-based discussions including scenarios Questioning at the bedside Prospective assignments with reflective rapports

Focus: Grounded trust – summative entrustment Product evaluation Focus: Grounded trust – summative entrustment Examples Audit of practice including patient handovers and electronic health record Self-initiated clinical or research projects

Focus: Initial and grounded trust – ad-hoc summative entrustment Self-report Focus: Initial and grounded trust – ad-hoc summative entrustment Examples Prospective assignments with reflective rapports Guided self-reflection exercises and self-report in a portfolio Self-confidence or comfort measures

Literatuur Albanese, M., 2000. Challenges in using rater judgements in medical education. Journal of Evaluation in Clinical Practice, 6(3), pp.305–19. Brightwell, A. & Grant, J., 2013. Competency-based training: who benefits? Postgraduate medical journal, 89, pp.107–110. Brooks, M.A., 2009. Medical education and the tyranny of competency. Perspectives in biology and medicine, 52(1), pp.90–102. Dreyfus, H.L. & Dreyfus, S.E., 1986. Mind over Machine, New York: Free Press. Frank J, Sherbino J, (Eds). CanMEDS 2015 Physician Competency Framework. Ottawa, Ontario, Canada; 2015. George BC, Teitelbaum EN, Meyerson SL, Schuller MC, DaRosa DA, Petrusa ER, et al. Reliability, Validity, and Feasibility of the Zwisch Scale for the Assessment of Intraoperative Performance. J Surg Educ. Elsevier; 2014;71(6):e90–6. Gingerich, A. et al., 2014. Seeing the “black box” differently: assessor cognition from three research perspectives. Medical education, 48(11), pp.1055–68. Glass, J.M., 2014. Competency based training is a framework for incompetence. British Medical Journal, 348, p.g2909. Govaerts, M.J.B. et al., 2007. Broadening perspectives on clinical performance assessment: rethinking the nature of in-training assessment. Advances in health sciences education : 12(2):239–60. Grant, J., 1999. The Incapacitating Effects of Competence: A Critique. Advances in health sciences education  4(3), pp.271–277. Holmboe, E. & Hawkins, R., 2008. Practical guide to the evaluation of clinical competence 1st ed., Philadelphia, PA: Mosby Elsevier. Jonker, G., Hoff, R.G. & Ten Cate, O.T.J., 2014. A case for competency-based anaesthesiology training with entrustable professional activities: An agenda for development and research. European journal of anaesthesiology, pp.1–6. Available at: http://www.ncbi.nlm.nih.gov/pubmed/24945750 [Accessed July 10, 2014]. Kennedy, T.J.T. et al., 2008. Point-of-care assessment of medical trainee competence for independent clinical work. Academic Medicine, 83(10 Suppl), pp.S89–92. Lurie, S.J., Mooney, C.J. & Lyness, J.M., 2011. Commentary: pitfalls in assessment of competency-based educational objectives. Academic Medicine, 86(4), pp.412–4. Malone, K. & Supri, S., 2010. A critical time for medical education: the perils of competence-based reform of the curriculum. Advances in health sciences education  17(2):242-246 Mehta, N.B. et al., 2013. Just imagine: new paradigms for medical education. Academic medicine : journal of the Association of American Medical Colleges, 88(10), pp.1418–23. Mulder H, Ten Cate O, Daalder R, Berkvens J. Building a competency-based workplace curriculum around entrustable professional activities: The case of physician assistant training. Med Teach. 2010 Jan;32(10):e453–9. O’Neill, O., 2013. What we don’t understand about trust, UK: TED Conferences, LLC. New York. Available at: http://www.ted.com/talks/onora_o_neill_what_we_don_t_understand_about_trust. Pangaro, L. & ten Cate, O., 2013. Frameworks for learner assessment in medicine: AMEE Guide No. 78. Medical teacher, 35(6), pp.e1197–210. Pusic, M. V. et al., 2015. Learning Curves in Health Professions Education. Academic Medicine, 2015 Early Online Talbot, M., 2004. Monkey see, monkey do: a critique of the competency model in graduate medical education. Medical education, 38(6), pp.587–92. Ten Cate, O., 2005. Entrustability of professional activities and competency-based training. Medical education, 39(12), pp.1176–7. Ten Cate, O. & Scheele, F., 2007. Competency-Based Postgraduate Training: Can We Bridge the Gap between Theory and Clinical Practice ? Academic Medicine, 82(6), pp.542–547. Ten Cate, O., Snell, L. & Carraccio, C., 2010. Medical competence: the interplay between individual ability and the health care environment. Medical Teacher, 32(8), pp.669–75. Ten Cate, O., 2013. Nuts and Bolts of Entrustable professional activities. Journal of graduate medical education, 5(1), pp.157–158. Ten Cate, O., 2014. AM Last Page : What Entrustable Professional Activities Add to a Competency-Based Curriculum. Academic Medicine, 89(4), p.691. Ten Cate O, Chen HC, Hoff RG, Peters H, Bok H, van der Schaaf MF, 2015. Curriculum development for the workplace using Entrustable Professional Activities (EPAs): AMEE Guide No. 99 . Med Teach. 2015;37(12):983–2002. Ten Cate O, Hart D, Ankel F, Busari J, Englander R, Glasgow N, et al. Entrustment decision-making in clinical training. Acad Med. 2016;91(2):191–8. 2. Ten Cate O. Entrustment as Assessment: Recognizing the Ability, the Right and the Duty to Act. J Grad Med Educ. 2016;8(2):InPress. Warm EJ, Mathis BR, Held JD, Pai S, Tolentino J, Ashbrook L, et al. Entrustment and mapping of observable practice activities for resident assessment. J Gen Intern Med. 2014 Aug;29(8):1177–82. and Warm EJ, Schauer D, Mathis BR, Tolentino J, Held J, Dell KD, Kinnear B, O’Toole J, Carlson S, Gay S, Hellmann M, Kelleher M, Lee C, Sall D. Entrustment of Milestones Mapped to Observable Practice Activities. poster. 2014 Weller, J.M. et al., 2014. Can I leave the theatre? A key to more reliable workplace-based assessment. British Journal of Anaesthesia, 112(March), pp.1083–1091.