Begripsvaliditeit van AC-Dimensies: Een Meta-Analyse Marise Ph. Born, Nanja J. Kolk, en Henk van der Flier Afdeling Arbeids- en Organisatiepsychologie Vrije Universiteit Amsterdam Presentatie AC groep 13/11/2000 gebaseerd op: Born, M.Ph., Kolk, N.J., & Van der Flier, H. (2000) A meta-analysis of Assessment Center construct validity. Paper gepresenteerd op de 15th annual conference of the Society for Industrial and Organizational Psychology, New Orleans, April.

Samenvatting Deze meta-analyse van 34 begripvaliditeits (BG)- studies leverde – een gecorrigeerde convergente validiteit (CV) van 0.35 – een gecorrigeerde discriminante validiteit (DV) van 0.69 Binnen de groep studies speciaal ontworpen om de BG te verbeteren, resulteerde meta-analyse in een verbeterde DV (0.56) Echter, CV werd nauwelijks beïnvloed, (0.41), behalve als het beoordelingsproces werd aangepast (0.64)

Literatuuroverzicht AC’s slagen er niet in een goede BV te laten zien :  beoordelingen op dezelfde dimensies in verschillende opdrachten correleren laag  lage convergente validiteit  beoordelingen op verschillende dimensies in dezelfde opdracht correleren hoog  lage discriminante validiteit Veel pogingen gedaan om discriminante en convergente validiteit te verbeteren. Effect bekeken van o.a.:  dimensiekenmerken (observeerbaarheid, transparantheid…)  beoordelingsformat  vorm en inhoud van opdrachten  beoordelingsproces

Doel Dit paper probeert een antwoord te vinden op de volgende drie vragen: (a) Hoe laag is de begripsvaliditeit van het AC? (b) Hebben pogingen daartoe de BV inderdaad verbeterd? (c) Zijn er veelbelovende onderzoeksroutes?

Methode Opzoeken Literatuur –43 studies van , gepubliceerd en ongepubliceerd –9 studies eruit (7 lab studies met slechts enkele kandidaten and vele assessoren; 2 studies met onvolledige statistische informatie) Coderen van 34 Studies (N=8756; 39 coëfficiënten) –20 puur descriptieve studies –14 studies wilden BG verbeteren (11 studies een controle en experimentele groep; 3 studies alleen een experimentele groep)

–De 14 studies werden gecodeerd voor het AC-aspect dat was gemanipuleerd: beoordelingsformat, beoordelingsprocess, dimensiekenmerken, en opdrachtvorm en -inhoud Analysemethode –Stauffer’s 1996 MetaDOS programma –Correctie voor steekproeffouten: versie van wegingssysteem van Huffcutt et al. (1996) –Puntschatting van 0.80 voor attenuatiecorrectie –Drie homogeniteitsindices voor uitkomstenverdeling

Resultaten (a): Hoe Laag Is de Begripsvaliditeit?  Een niet te lage convergente validiteit: gecorrigeerde convergente validiteit = 0.35 (90% CI from ). Dus redelijke binnen- dimensie-tussen-opdrachten correlaties  Erg zwakke discriminante validiteit: gecorrigeerde discriminante validiteit = 0.69 (90% CI van ). Dus binnen opdrachten een hoge samenhang tussen dimensies

Resultaten (b): Leveren Pogingen daartoe een Verbeterde BV?  Convergente validiteit verbeterde van 0.35 tot 0.51  Echter, slechts wijziging in rating process is hiervoor verantwoordelijk (r c =0.64)  Aldus verhogen van CV is misleidend (zie discussie). Andere design modificaties geen betekenisvol effect (r c =0.41)  Discriminante validiteit verbeterde van 0.69 tot Modificaties in beoordelingsformat, dimensie-kenmerken, en beoordelingsproces evenveel effect

Resultaten (c ): Zijn er Veelbelovende Onderzoeksroutes?  Onze keuze: verdere verbetering DV (CV lijkt plafond-waarde te hebben bereikt, muv agv het wijzigen van het beoordelingsproces)  We maximaliseerden onafhankelijkheid tussen dimensies: AC-dimensies uit primaire studies verdeeld in interpersoonlijke stijl en performance stijl categorieën (Shore et al., 1990) Resultaat: verdere verbetering van DV van 0.56 naar Zoals verwacht, werd de CV niet beïnvloed

Discussie  Beste schatting convergente validiteit is 0.40  Uitzondering is wijziging in AC beoordelingsproces  Wijziging in beoordelingsproces  onbedoelde rater halo over opdrachten  Een niet-verbeterde CV: plafond effect conventionele AC-design?  Substantiële verbetering DV - wellicht verdere verbetering DV in toekomst?

Toekomstig Onderzoek  We stellen voor: een mtmm-onderzoeksdesign waarin voor elke kandidaat-dimensie-opdracht combinatie een verschillende groep assessoren  Dit design bevat geen ongewenste common method variance (rater halo) over opdrachten en over dimensies binnen opdrachten  Een optioneel design voor hogere CV komt uit Cervone (1999): kandidaten kiezen op voorhand hun opdrachten, volgens hun eigen oordeel over de relevantie

Conclusie  Convergente en discriminante validiteit worden beïnvloed door ongelijke kenmerken van het AC design  Het Campbell en Fiske (1959) criterium, i.e. een directe vergelijking van convergente en discriminante validiteit, pas strikt nemen totdat de vergelijking een eerlijke is