Decentrale selectie bij geneeskunde: de loting voorbij?

Presentatie over: "Decentrale selectie bij geneeskunde: de loting voorbij?"— Transcript van de presentatie:

1 Decentrale selectie bij geneeskunde: de loting voorbij?
Amsterdam 11 november 2015 Janke Cohen-Schotanus

2 Theoretisch doel selectie: voorspelling over toekomstig gedrag
student geschikt ongeschikt toelaten XXXXX selectie afwijzen XXXXX

3 Doel selectie: voorspelling over toekomstig gedrag
Problemen: Wat is geschikt? beste dokters? beste studenten? student geschikt ongeschikt toelaten XXXXX selectie afwijzen XXXXX

4 Groningen 360 40 540 60 1000 kandidaten 90% geschikt 400 plaatsen
student geschikt ongeschikt 360 40 400 toelaten loting afwijzen 540 60 600 900 100

5 1000 kandidaten 90% geschikt 400 plaatsen
Groningen geschikt ongeschikt winst: 40 400 400 doorlaten 20 selectie afwijzen 500 100 600 900 100

6 Doel selectie: student geschikt ongeschikt selectie toelaten afwijzen
Problemen: Wat is geschikt? beste dokters? beste studenten? 2. Waar gaat het om? - hoger rendement? - faculteiten hadden geen probleem student geschikt ongeschikt toelaten XXXXX selectie afwijzen XXXXX

7 Finale propedeuse rendementen (%)
8 medische faculteiten Actief leren en veel geprogrammeerde zelfstudietijd veel hoorcolleges 17 jaar Schmidt et al, 2009

8 Nominale propedeuse rendementen
Wel een doorstroomprobleem: verschil in planning en organisatie van toetsing 8 medische faculteiten 19 jaar

9 Doel selectie: voorspelling over toekomstig gedrag
Problemen: Wat is geschikt? beste dokters? beste studenten? 2. Waar gaat het om? - hoger rendement? - faculteiten hadden geen probleem 3. Wat levert het op? En wat leveren we in? student geschikt ongeschikt toelaten XXXXX selectie afwijzen XXXXX

10 Voorspellers succes GNK1
Persoonkenmerken: geslacht, leeftijd, afkomst, persoonlijkheid (conscientiousness en persistence), aanleg (aptitude) Cognitieve prestaties: lagere studiejaren in NL: eindexamencijfer Non-cognitieve prestaties: hogere studiejaren multiple mini-interviews (MMI) en situational judgement tests (SJT) 1. Siu & Reiter, 2009

11 Wat voorspelt niet1 individuele gesprekken referenties
emotionele intelligentie test persoonlijkheidstest ‘personal statements’ motivatie/attitude/commitment metingen Faking good behavior2 1. Siu & Reiter, 2009, 2 Griffin ea 2012

12 Decentrale selectie in Nederland vanaf 1999
2000 AMC 2000 UMCU en LUMC (beide weer gestopt) 2001 ErasmusMC 2006 VuMC 2008 UMCG 2009 Radboud MC, LUMC 2010 MUMC 2015 allemaal

13 Decentrale selectie GNK
1e ronde: CV: schoolcijfers affiniteit met hulpverlening extra curriculaire activiteiten bijzondere prestaties (reflectie) opdrachten, SJT’s kennistoetsen (met of zonder voorbereiding) pre-university college

14 Decentrale selectie GNK
2e ronde: college plus toetsing rekentoets, begrijpend lezen, PubMED en anatomie interviews (gestructureerd) MMI’s Casper Situational Judgement Test schrijfopdrachten Nb. Bij nieuwe regels is 2e ronde niet meer goed organiseerbaar

15 Onderzoek effecten van selectie
Algemeen probleem: je weet nooit hoe niet-geselecteerden het zouden hebben gedaan Unieke situatie Nederland: niet-geselecteerden werden door loting (voor een deel) toch toegelaten

16 Instroomgroepen 8+ geselecteerd na afwijzing ingeloot
niet meegedaan aan selectie

17 Effecten van selectie GNK NL
Lagere kans op uitval (ErasmusMC1) (Iets) hogere resultaten coschappen (ErasmusMC2) Verschillen verklaard door zelf-selectie en academische prestaties (Erasmus3) Meer extra-curriculaire activiteiten (AMC4) Non-cognitief betere prestaties jaar 1 (UMCG5) Studenten die niet meededen aan selectie scoren slechter (UMCG5) Motivatie statements niet voorspellend (VuMC6) Non-cognitieve selectie levert niets op (Erasmus7) Bias in SJT (UMCG8) In context geselecteerden doen het beter (Radboud9) 1/2/3. Urlings-Strop ea 2009, 2011, 2013, 4 Hulsman ea 2007, 5 Schripsema ea 2014, 6 Wouters ea 2014, 7 Lucieer ea 2015, 8 Schripsema ea in preparation, 9 De Visser ea, submitted

18 Selectie studies GNK NL
Beperkingen: Veel verwachte effecten worden niet gevonden Effect sizes klein: hoe (klinisch) relevant zijn verschillen? Replicatie lukt niet goed Verschillende outputmaten Multi-site studies ingewikkeld en last van curriculum effecten (UMCG,VuMC,Erasmus)1 De cynicus: “we hebben de ene loting door de andere vervangen” (Iets) hogere resultaten coschappen (ErasmusMC1) Lagere kans op uitval (ErasmusMC2) Verklaard door zelf selectie en academische prestaties (Erasmus3) Meer extra-curriculaire activiteiten (AMC4) Non-cognitief betere prestaties jaar 1 (UMCG5) Studenten die niet meededen aan selectie scoren slechter (UMCG5) Motivatie statements niet voorspellend (VuMC6) Noncognitieve selectie levert niets op (Erasmus7) Bias in SJT (UMCG8) In context geselecteerden doen het iets beter (Radboud9) 1 Schripsema ea submitted

19 Waar hebben we het over? Selectie bij geneeskunde: veel geschikte kandidaten afwijzen “Winst” zeer mager Selectie geschikt om ongemotiveerden buiten de deur te houden?

20 Conclusie Selectie GNK
- - ++ 20

21 Selectie & loten loten - - ++ Meest fair? 21

22 Nog meer problemen Bias in onze selectiemethode?
- gender effecten (voordeel meisjes) - diversiteit (“role of cultural capital”, “medisch milieu”) - trainingsbureaus De student als eenheidsworst Wat voor dokters hebben we eigenlijk nodig? (macrodoelmatigheid)

23 De metafoor (selectie in topsport)
Scouting in context (langs de velden, niet alleen aanvallers) De formule: talent x inzetbereidheid Geschikt = ego

24 De metafoor (bij geneeskunde)
talent x inzetbereidheid Geschikt = ego Talent: prestaties VWO non-cognitieve prestaties affiniteit met gebieden van gnk waar meeste artsen nodig zijn Tonen van inzet door bijvoorbeeld ‘huiswerk’ voorafgaand aan selectie Ego: - mooie motivatie brieven leuke gesprekken met docenten fantastische referenties

25 Uitdagingen voor komende jaren
Selecteer studenten die goed bij je programma passen, wijs studenten die niet-inzetbereid zijn af Staar je niet blind op (die paar) instrumenten met (een beetje) voorspellende waarde Fairness: deel plekken toewijzen door loting? Richt selectie vooral op de artsen die we nodig hebben (bijv. dokters die van oude mensen houden) Dus, geen eenheidsworst maar diversiteit

26 Welke dokters hebben we nodig?

27

28 Dank u