Decentrale selectie bij geneeskunde: de loting voorbij? Amsterdam 11 november 2015 Janke Cohen-Schotanus

Theoretisch doel selectie: voorspelling over toekomstig gedrag student geschikt ongeschikt toelaten XXXXX selectie afwijzen XXXXX

Doel selectie: voorspelling over toekomstig gedrag Problemen: Wat is geschikt? beste dokters? beste studenten? student geschikt ongeschikt toelaten XXXXX selectie afwijzen XXXXX

Groningen 360 40 540 60 1000 kandidaten 90% geschikt 400 plaatsen student geschikt ongeschikt 360 40 400 toelaten loting afwijzen 540 60 600 900 100

1000 kandidaten 90% geschikt 400 plaatsen Groningen geschikt ongeschikt winst: 40 400 400 doorlaten 20 selectie afwijzen 500 100 600 900 100

Doel selectie: student geschikt ongeschikt selectie toelaten afwijzen Problemen: Wat is geschikt? beste dokters? beste studenten? 2. Waar gaat het om? - hoger rendement? - faculteiten hadden geen probleem student geschikt ongeschikt toelaten XXXXX selectie afwijzen XXXXX

Finale propedeuse rendementen (%) 8 medische faculteiten Actief leren en veel geprogrammeerde zelfstudietijd veel hoorcolleges 17 jaar Schmidt et al, 2009

Nominale propedeuse rendementen Wel een doorstroomprobleem: verschil in planning en organisatie van toetsing 8 medische faculteiten 19 jaar

Doel selectie: voorspelling over toekomstig gedrag Problemen: Wat is geschikt? beste dokters? beste studenten? 2. Waar gaat het om? - hoger rendement? - faculteiten hadden geen probleem 3. Wat levert het op? En wat leveren we in? student geschikt ongeschikt toelaten XXXXX selectie afwijzen XXXXX

Voorspellers succes GNK1 Persoonkenmerken: geslacht, leeftijd, afkomst, persoonlijkheid (conscientiousness en persistence), aanleg (aptitude) Cognitieve prestaties: lagere studiejaren in NL: eindexamencijfer Non-cognitieve prestaties: hogere studiejaren multiple mini-interviews (MMI) en situational judgement tests (SJT) 1. Siu & Reiter, 2009

Wat voorspelt niet1 individuele gesprekken referenties emotionele intelligentie test persoonlijkheidstest ‘personal statements’ motivatie/attitude/commitment metingen Faking good behavior2 1. Siu & Reiter, 2009, 2 Griffin ea 2012

Decentrale selectie in Nederland vanaf 1999 2000 AMC 2000 UMCU en LUMC (beide weer gestopt) 2001 ErasmusMC 2006 VuMC 2008 UMCG 2009 Radboud MC, LUMC 2010 MUMC 2015 allemaal

Decentrale selectie GNK 1e ronde: CV: schoolcijfers affiniteit met hulpverlening extra curriculaire activiteiten bijzondere prestaties (reflectie) opdrachten, SJT’s kennistoetsen (met of zonder voorbereiding) pre-university college

Decentrale selectie GNK 2e ronde: college plus toetsing rekentoets, begrijpend lezen, PubMED en anatomie interviews (gestructureerd) MMI’s Casper Situational Judgement Test schrijfopdrachten Nb. Bij nieuwe regels is 2e ronde niet meer goed organiseerbaar

Onderzoek effecten van selectie Algemeen probleem: je weet nooit hoe niet-geselecteerden het zouden hebben gedaan Unieke situatie Nederland: niet-geselecteerden werden door loting (voor een deel) toch toegelaten

Instroomgroepen 8+ geselecteerd na afwijzing ingeloot niet meegedaan aan selectie

Effecten van selectie GNK NL Lagere kans op uitval (ErasmusMC1) (Iets) hogere resultaten coschappen (ErasmusMC2) Verschillen verklaard door zelf-selectie en academische prestaties (Erasmus3) Meer extra-curriculaire activiteiten (AMC4) Non-cognitief betere prestaties jaar 1 (UMCG5) Studenten die niet meededen aan selectie scoren slechter (UMCG5) Motivatie statements niet voorspellend (VuMC6) Non-cognitieve selectie levert niets op (Erasmus7) Bias in SJT (UMCG8) In context geselecteerden doen het beter (Radboud9) 1/2/3. Urlings-Strop ea 2009, 2011, 2013, 4 Hulsman ea 2007, 5 Schripsema ea 2014, 6 Wouters ea 2014, 7 Lucieer ea 2015, 8 Schripsema ea in preparation, 9 De Visser ea, submitted

Selectie studies GNK NL Beperkingen: Veel verwachte effecten worden niet gevonden Effect sizes klein: hoe (klinisch) relevant zijn verschillen? Replicatie lukt niet goed Verschillende outputmaten Multi-site studies ingewikkeld en last van curriculum effecten (UMCG,VuMC,Erasmus)1 De cynicus: “we hebben de ene loting door de andere vervangen” (Iets) hogere resultaten coschappen (ErasmusMC1) Lagere kans op uitval (ErasmusMC2) Verklaard door zelf selectie en academische prestaties (Erasmus3) Meer extra-curriculaire activiteiten (AMC4) Non-cognitief betere prestaties jaar 1 (UMCG5) Studenten die niet meededen aan selectie scoren slechter (UMCG5) Motivatie statements niet voorspellend (VuMC6) Noncognitieve selectie levert niets op (Erasmus7) Bias in SJT (UMCG8) In context geselecteerden doen het iets beter (Radboud9) 1 Schripsema ea submitted

Waar hebben we het over? Selectie bij geneeskunde: veel geschikte kandidaten afwijzen “Winst” zeer mager Selectie geschikt om ongemotiveerden buiten de deur te houden?

Conclusie Selectie GNK - - ++ 20

Selectie & loten loten - - ++ Meest fair? 21

Nog meer problemen Bias in onze selectiemethode? - gender effecten (voordeel meisjes) - diversiteit (“role of cultural capital”, “medisch milieu”) - trainingsbureaus De student als eenheidsworst Wat voor dokters hebben we eigenlijk nodig? (macrodoelmatigheid)

De metafoor (selectie in topsport) Scouting in context (langs de velden, niet alleen aanvallers) De formule: talent x inzetbereidheid Geschikt = ego

De metafoor (bij geneeskunde) talent x inzetbereidheid Geschikt = ego Talent: prestaties VWO non-cognitieve prestaties affiniteit met gebieden van gnk waar meeste artsen nodig zijn Tonen van inzet door bijvoorbeeld ‘huiswerk’ voorafgaand aan selectie Ego: - mooie motivatie brieven leuke gesprekken met docenten fantastische referenties

Uitdagingen voor komende jaren Selecteer studenten die goed bij je programma passen, wijs studenten die niet-inzetbereid zijn af Staar je niet blind op (die paar) instrumenten met (een beetje) voorspellende waarde Fairness: deel plekken toewijzen door loting? Richt selectie vooral op de artsen die we nodig hebben (bijv. dokters die van oude mensen houden) Dus, geen eenheidsworst maar diversiteit

Welke dokters hebben we nodig?

Dank u