Begripsvaliditeit van AC-Dimensies: Een Meta-Analyse Marise Ph. Born, Nanja J. Kolk, en Henk van der Flier Afdeling Arbeids- en Organisatiepsychologie.

Presentatie over: "Begripsvaliditeit van AC-Dimensies: Een Meta-Analyse Marise Ph. Born, Nanja J. Kolk, en Henk van der Flier Afdeling Arbeids- en Organisatiepsychologie."— Transcript van de presentatie:

1 Begripsvaliditeit van AC-Dimensies: Een Meta-Analyse Marise Ph. Born, Nanja J. Kolk, en Henk van der Flier Afdeling Arbeids- en Organisatiepsychologie Vrije Universiteit Amsterdam Presentatie AC groep 13/11/2000 gebaseerd op: Born, M.Ph., Kolk, N.J., & Van der Flier, H. (2000) A meta-analysis of Assessment Center construct validity. Paper gepresenteerd op de 15th annual conference of the Society for Industrial and Organizational Psychology, New Orleans, 14-16 April.

2 Samenvatting Deze meta-analyse van 34 begripvaliditeits (BG)- studies leverde – een gecorrigeerde convergente validiteit (CV) van 0.35 – een gecorrigeerde discriminante validiteit (DV) van 0.69 Binnen de groep studies speciaal ontworpen om de BG te verbeteren, resulteerde meta-analyse in een verbeterde DV (0.56) Echter, CV werd nauwelijks beïnvloed, (0.41), behalve als het beoordelingsproces werd aangepast (0.64)

3 Literatuuroverzicht AC’s slagen er niet in een goede BV te laten zien :  beoordelingen op dezelfde dimensies in verschillende opdrachten correleren laag  lage convergente validiteit  beoordelingen op verschillende dimensies in dezelfde opdracht correleren hoog  lage discriminante validiteit Veel pogingen gedaan om discriminante en convergente validiteit te verbeteren. Effect bekeken van o.a.:  dimensiekenmerken (observeerbaarheid, transparantheid…)  beoordelingsformat  vorm en inhoud van opdrachten  beoordelingsproces

4 Doel Dit paper probeert een antwoord te vinden op de volgende drie vragen: (a) Hoe laag is de begripsvaliditeit van het AC? (b) Hebben pogingen daartoe de BV inderdaad verbeterd? (c) Zijn er veelbelovende onderzoeksroutes?

5 Methode Opzoeken Literatuur –43 studies van 1980 - 2000, gepubliceerd en ongepubliceerd –9 studies eruit (7 lab studies met slechts enkele kandidaten and vele assessoren; 2 studies met onvolledige statistische informatie) Coderen van 34 Studies (N=8756; 39 coëfficiënten) –20 puur descriptieve studies –14 studies wilden BG verbeteren (11 studies een controle en experimentele groep; 3 studies alleen een experimentele groep)

6 –De 14 studies werden gecodeerd voor het AC-aspect dat was gemanipuleerd: beoordelingsformat, beoordelingsprocess, dimensiekenmerken, en opdrachtvorm en -inhoud Analysemethode –Stauffer’s 1996 MetaDOS programma –Correctie voor steekproeffouten: versie van wegingssysteem van Huffcutt et al. (1996) –Puntschatting van 0.80 voor attenuatiecorrectie –Drie homogeniteitsindices voor uitkomstenverdeling

7 Resultaten (a): Hoe Laag Is de Begripsvaliditeit?  Een niet te lage convergente validiteit: gecorrigeerde convergente validiteit = 0.35 (90% CI from 0.20 - 0.52). Dus redelijke binnen- dimensie-tussen-opdrachten correlaties  Erg zwakke discriminante validiteit: gecorrigeerde discriminante validiteit = 0.69 (90% CI van 0.52 - 0.87). Dus binnen opdrachten een hoge samenhang tussen dimensies

8 Resultaten (b): Leveren Pogingen daartoe een Verbeterde BV?  Convergente validiteit verbeterde van 0.35 tot 0.51  Echter, slechts wijziging in rating process is hiervoor verantwoordelijk (r c =0.64)  Aldus verhogen van CV is misleidend (zie discussie). Andere design modificaties geen betekenisvol effect (r c =0.41)  Discriminante validiteit verbeterde van 0.69 tot 0.56. Modificaties in beoordelingsformat, dimensie-kenmerken, en beoordelingsproces evenveel effect

9 Resultaten (c ): Zijn er Veelbelovende Onderzoeksroutes?  Onze keuze: verdere verbetering DV (CV lijkt plafond-waarde te hebben bereikt, muv agv het wijzigen van het beoordelingsproces)  We maximaliseerden onafhankelijkheid tussen dimensies: AC-dimensies uit primaire studies verdeeld in interpersoonlijke stijl en performance stijl categorieën (Shore et al., 1990) Resultaat: verdere verbetering van DV van 0.56 naar 0.44. Zoals verwacht, werd de CV niet beïnvloed

10 Discussie  Beste schatting convergente validiteit is 0.40  Uitzondering is wijziging in AC beoordelingsproces  Wijziging in beoordelingsproces  onbedoelde rater halo over opdrachten  Een niet-verbeterde CV: plafond effect conventionele AC-design?  Substantiële verbetering DV - wellicht verdere verbetering DV in toekomst?

11 Toekomstig Onderzoek  We stellen voor: een mtmm-onderzoeksdesign waarin voor elke kandidaat-dimensie-opdracht combinatie een verschillende groep assessoren  Dit design bevat geen ongewenste common method variance (rater halo) over opdrachten en over dimensies binnen opdrachten  Een optioneel design voor hogere CV komt uit Cervone (1999): kandidaten kiezen op voorhand hun opdrachten, volgens hun eigen oordeel over de relevantie

12 Conclusie  Convergente en discriminante validiteit worden beïnvloed door ongelijke kenmerken van het AC design  Het Campbell en Fiske (1959) criterium, i.e. een directe vergelijking van convergente en discriminante validiteit, pas strikt nemen totdat de vergelijking een eerlijke is