1 DE KROONJUWELEN VAN HET AC, SIMULATIES: VAN MARGINALE TOT GROTE BIJDRAGE. WAAROM AC en SJT WERKEN….soms meer, soms minder….van high naar low fidelity simulation… Rendel D. De Jong,

2 1.Uitgangspunten en bevindingen van Lievens en Patterson (2011), tegen de achtergrond van die van Hunter en Schmidt (1998). 2. De bevindingen in breder perspectief 3. Consequenties voor onderzoek en praktijk?

3 LIEVENS en PATTERSON (2011, JAP): Voor het eerst in een onderzoek gecombineerd: KENNIS-TEST (huisarts-diagnostische kennis) SJT (multiple-choice test omgang patienten/collega’s) AC-kroonjuwelen (rollenspellen dokter-patient, groepsdiscussie, postbak) Als predictoren van JOB PERFORMANCE (beginnende GP’s, vgl huisartsen, rating supervisor)

4 Algemene gedachte: Declarative Knowledge ( kennistoets Diagnostiek & Behandeling) Ass.Center JOB communication perform. etc, zie SJT rating Procedural Knowledge SJT, communication, empathy, Integrity, coping with pressure, probl.solving Idee: gedrag gedrag, high-fidelity>low-fidelity

5 Ontwikkeling instrumenten: -KNOWLEDGE TEST Item bank ontwikkeld door opleiders GP’s met grote ervaring, met item-schrijf-training door psychologen. Reliability.88 -SJT/AC “Job analysis”, door Critical Incidents Focus Groups, 35 ervaren GP’s, observatie 33 GP-patient consults, Critical Incident interviews met 21 patienten. Leidde tot identificatie van 11, uiteindelijk 6 ”Competency Domains”: Empathy, Communication, Problem Solving, Professional Integrity, Coping with Pressure & Clinical Expertise. Voor SJT op basis van de eerste 5 competency domains door 20 ervaren GP’s 50 items geproduceerd. Alpha-coefficienten Domain-schalen Voor AC zelfde domains gerepresenteerd in doctor-patient rollespel, groepsdiscussie, postbak. Hoogste alpha.32 !!?!? HOE KAN DAT OOIT WAT WORDEN qua VALIDITEIT??????

6 KENNIS TEST: “Clinical Problem Solving” (diagnostiek, mgt) Voorbeeld: dame 70 jr, verduisterd gezichtsvermogen, gewichtsverlies, pijn bij het kauwen, onlangs niet goed geworden… diagnose? Basilar migraine, Retinal detachment etc SJT “low fidelity simulation on the job tasks” Voorbeeld: in de avond blijkt dat meneer, 75 jr, door specialist voorgeschreven 7.5 mg methotrexate per dag, ipv per week Wat te doen? -vragen aan zuster: specialist wel vaker fouten gemaakt? -zelf dosis corrigeren -niets doen, zo laten -specialist thuis bellen AC “high fidelity simulations” -Rollenspel dokter-patient (acteur) -Groepsdiscussie “work-related issue” -”Written Planning Exercise” (“Postbak”?)

7 CRITERIUM PREDICTOR 1 PREDICTOR2

8 CRITERIUM PRED.1 PRED.2 Test met hoge Alpha-coeff., geen beste criterium validiteit Of: “false consensus”, “folie a deux” etc.. “illusory transitive memory”, “situational awareness” gedeeld maar fout levensgevaarlijk

9 CRITERIUM PREDICTOR1 PREDICTOR2 Prima criterium validiteit, alpha zero….

10 CRITERIUM PREDICTOR1 PREDICTOR2 Onenigheid, hopelijk inhoudelijk, tijd voor open consultatie, “speaking to the room”, assertiviteit

11 Uitkomsten: Declarative Knowledge ( kennistoets) Ass.Center 30 JOB perf. 43 rating 37 Procedural Knowledge SJT, communication, etc Correlaties…..volgens het verwachte patroon?

12 Enige aanvullende gegevens … -Hierarchische regressies (range restriction correctie): alle drie predictoren dragen bij, AC minst sterk, beta Rsq 1.Knowledge test Low Fidelity simulation (SJT) High Fidelity simulation (AC) Structural Equation Modeling: verwachte model partieele mediatie als beste keus uit de bus…(zie figuur). De veronderstelde latente AC en SJT factoren lijken betrouwbaar gemeten…. -AC voegt weinig toe boven de SJT wanneer het alleen om de klinische kant van de prestatie gaat

13 Uitkomsten: Declarative Knowledge ( kennistoets) 30(07) 36(19) 50 (78) Ass.Center 30(21) JOB perf. 43(66) rating 37(33) Procedural Knowledge SJT, communication, etc Correlaties (parameter estimates hypothesized model)

14 Conclusies Lievens & Patterson (2011) A. Practical Contributions: -”all three predictors valid in avanced level selection”, speciaal interessant: SJT niet minder valide dan “high-fidelity” simulation” AC…..”even somewhat higher” -Ook leuk: SJT prediceerd incrementeel boven kennistest -Ook dure “high fidelity” AC mogelijk zijn geld waard, als kandidaat moet tonen in staat te zijn procedurele kennis om te zetten in gedrag - High fidelity van belang bij non-cognitieve aspecten prestatie maw niet-clinisch (blijkt uit klein hoekje additionele analyses) I

15 Conclusies Lievens & Patterson (2011) B. Theoretical Contributions: -alle soorten simulaties hebben hun nut -oorspronkelijke model als volgt aan te passen: declarative ->procedural->AC performance-> job performance knowledge knowledge VANUIT HET PERSPECTIEF Schmidt & Hunter 1998…….enkele PUNTEN VAN REFLECTIE…….

16 REFLECTIE 1.Met betrekking tot de UITGANGSPUNTEN : -gedrag voorspelt gedrag, -high-fidelity simulations(AC, work sample zijn meer valide dan low-fidelity simulation valt eea af te dingen, want: a.Met rating werkprestatie als criterium wordt.37 validiteit alleen gevonden voor combinatie (oefeningen+”IQ”+Interview en correctie voor vermeende betrouwbaarheid van het criterium. is de criteriumvaliditeit slechts.17 (of “4 %) (nb hogere validiteit met criterium “career advancement”) b. Job Knowledge centraal in “theory of Job performance”, (S&H, 1998), op grond resultaten Schmidt ea, 1986… c. Meta-studies SJT->Job perf (Christian ea, 2010) Work Sample -> Job perf (Roth ea, 2005)

politie 4 november Meting Validiteit (r) Gecorrigeerd Multiple RΔRΔR% toename Intelligentie.51 Work sample % Interview (< struc) % Interview (> struc) % ACM % Integriteitstest % Conscientiousness % Schmidt, F. L. & Hunter, J. E. (1998). The validity and utility of selection methods in Personnel Psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124,

18 THEORIE van EFFECTIEF PRESTEREN Schmidt & Hunter, Psychological Bulletin, 1998 Algemene Intelligentie Job Knowledge Prestatie Moderator: complexiteit functie; hoe complexer, hoe sterker De predicerende werking van intelligentie.

19 Job knowledge test GMA (“IQ”) 46(46) 42(34) Rating (Job) Performance 37(09) Work sample Performance Schmid ea, oa JAP, 1986 armor crew, armor repair man supply specialist, cook, US Army. Correlaties (path-coefficients VET)

20 Conclusies Lievens & Patterson (2011) A. Practical Contributions: -”all three predictors valid in avanced level selection”, speciaal interessant: SJT niet minder valide dan “high-fidelity” simulation” AC…..”even somewhat higher” EERDER OMGEKEERDE TE VERWACHTEN??? TE VERKLAREN: HOGE VALIDITEIT AC…. -Ook leuk: SJT prediceerd incrementeel boven kennistest -Ook dure “high fidelity” AC mogelijk zijn geld waard, als kandidaat moet tonen in staat te zijn procedurele kennis om te zetten in gedrag - High fidelity van belang bij non-cognitieve aspecten prestatie maw niet-clinisch (blijkt uit klein hoekje additionele analyses) I

21 REFLECTIE vanuit perspectief ontwikkelingen in SJT: Uit meta-studie Christian ea (2010) komt naar voren: -merendeel onderzoekers behandelen SJT alsof ze een enkel construct “situational judgement” meten, geen specifieke constructen, (met specifieke KSAO’s). Gunstige Uitzonderingen: teamwork-skills, leiderschapsvaardigheden. (Morgeson, 2005, Mumford ea 2008). Paradox: team skills niet alleen predictief voor contextual, ook task performance

22 WAAROM PREDICEERT TEAMWORK KNOWLEDGE TASK PERFORMANCE (rating supervisor)???? Morgeson et al., 2005, arbeiders staalfabriek Teamwork knowledge sjt (Campion ea) (mede gebaseerd op resultaten onderzoek conflict hantering).

23

24 REFLECTIE vanuit perspectief ontwikkelingen in SJT: Algemene probleem in selectie psychologie, focus op methode, in plaats constructs, inhoud (Schmitt & Chan, 2006, Christian ea, 2010) beperkt ook de sterkte van de theoretische bijdrage van Lievens en Patterson (2011), punt het aangepaste model… Theoretical Contributions vlgs Lievens en Patterson: 1. -alle soorten simulaties hebben hun nut wel op deze manier: inhoudsdeskundige constructeurs 2. -aangepaste model: declarative ->procedural->AC performance-> job performance knowledge knowledge Niet zo gelukkig, evenmin idee methode als latente trek

25 HOE VERDER?? -Bij ontwikkelen en toepassing SJT’s (AC) simulaties, zowel in het kader van selectie als ontwikkeling, meer diepgaande job analyse, expliciteren werkprocessen (van procedureel naar declaratief en vice versa) en de daarbij benodigde KSAO’s. Vermijden “usual suspects”, dimensies “plannen en organiseren” etc Eigenlijke KSAO’s daardoor “lost in translation”