Validiteit van EVC-procedures Karine Janssens – Universiteit Gent An Peeters – Associatie K.U.Leuven 31 januari 2008

VALIDITEIT Validiteit = meten wat je wilt weten Wat wil je weten: visie & keuzes Meten: technische aspecten van het instrument Doel van de beoordeling  validiteitseisen

VALIDITEIT = transparante & samenhangende VISIE : COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE

VALIDITEIT = transparante & samenhangende VISIE : Definitie Leertheorie Visie intern/extern gedragen COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE

VALIDITEIT = transparante & samenhangende VISIE : Beroepscontext vs opleidingscontext Professioneel vs academisch Relevant en representatief COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE

VALIDITEIT = transparante & samenhangende VISIE : Herkennen Formatief Didactisch Oriëntering Erkennen Summatief Assessment Certificering COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE

VALIDITEIT = transparante & samenhangende VISIE : Taal Cultuur Gender Leerstijl Vertrouwdheid met de context (beroep vs opleiding) Begeleiding COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE

VALIDITEIT = transparante & samenhangende VISIE : Procedure Instrumenten - Validiteit - Betrouwbaarheid Assessoren COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE

VALIDITEIT = transparante & samenhangende VISIE : COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE CIVIEL EFFECT Gedeeld door stakeholders

VALIDITEIT = transparante & samenhangende VISIE : Validiteit = geldigheid Betrouwbaarheid = stabiliteit = herhaalbaarheid COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE

Betrouwbaarheid & validiteit Algemene principes Assessment center methode Meerdere instrumenten Meerdere beoordelaars Aandacht voor betrouwbaarheid en validiteit in elke fase van instrumentontwikkeling Is vaak een afweging

Betrouwbaarheid Definitie Een assessment is betrouwbaar als het bij een herhaalde afname dezelfde resultaten geeft Betrouwbaarheid = stabiliteit = herhaalbaarheid D.w.z. bij herhaalde meting  dezelfde resultaten 1. Over de tijd heen 2. Bij verschillende beoordelaars Zoniet, spreken we van een onbetrouwbare beoordeling

Betrouwbaarheid 1. Verschillen in prestatie over de tijd Oorzaak van onbetrouwbaarheid toevallige schommelingen in prestatie doorheen de tijd Bronnen bij de kandidaat (vb. schommelingen in concentratie) bij de testsituatie (vb. volgorde van vragen) Aanpak Hoe betrouwbaarheid over de tijd heen verhogen? - de testsituatie zoveel mogelijk standaardiseren

Betrouwbaarheid 2. Verschillen tussen beoordelaars Oorzaak niet elke beoordelaar beoordeelt op dezelfde manier = belangrijkste oorzaak van onbetrouwbaarheid Bronnen: beoordelaarseffecten Halo-effect Sequentie-effecten Beoordelingstendenties Contaminatie-effecten  Meestal onbewust!

Betrouwbaarheid Aanpak Concretiseren van de beoordelingscriteria competenties concretiseren in concreet waarneembaar gedrag Standaardiseren van de beoordeling Ondubbelzinnige beoordelingscriteria vastleggen (beoordelingslijst of schema) Duidelijk niveau vastleggen Duidelijk modelantwoord maken Scoringsvoorschriften Training van de beoordelaars Strikt toepassen van de beoordelingscriteria Beoordelaarseffecten tegengaan Na aparte scoring: assessorenoverleg

Validiteit Definitie Een instrument is valide als op basis van de resultaten geldige conclusies kunnen getrokken worden over de competentie die men wil meten Validiteit = geldigheid Is de score indicatief voor de werkelijke competentie van de kandidaat? Vier aspecten 1. Inhoudsvaliditeit 2. Constructvaliditeit 3. Criteriumvaliditeit 4. Face-validiteit

Validiteit 1. Inhoudsvaliditeit = is het instrument representatief voor (alle aspecten van) de competentie? Inhoudsvaliditeit  generaliseerbaarheid score op het instrument  competentie in zijn geheel Aanpak (kan vooraf op ingegrepen worden!) Representatieve testsituatie kiezen Authentieke testsituatie (opm. authenticiteit standaardisatie) Alle aspecten van de competentie opnemen die men wil waarborgen Normen vastleggen, eigen aan niveau dat men wil testen Meerdere contexten kiezen Aangepast instrument kiezen, naargelang de competentie

Validiteit 2. Constructvaliditeit = meten we enkel de competentie of ook andere (storende) factoren Voorbeeld: portfolio + interview en verbale vaardigheden Aanpak Zoals in ACM, meerdere instrumenten voor één competentie Niet holistisch beoordelen Niet teveel competenties en beoordelingscriteria in één instrument (max. 7 chuncks)

Validiteit 3. Criteriumvaliditeit = discrimineert het instrument voldoende tussen de betere en de mindere kandidaat Hoe criteriumvaliditeit nagaan? Kan pas achteraf Vergelijken van de scores op het instrument en de scores op een gerelateerd instrument Vergelijkingsinstrument? Combinatie van opleidingsonderdelen waarin competentie wordt aangeleerd Doelgroep? Criterium is de opleiding, dus best bij studenten

Validiteit 4. Face-validiteit = het ook voor de kandidaat duidelijk dat de test de beoogde competenties meet? Belangrijk voor de legitimatie van het instrument, want verhoogt transparantie Nadeel: Kan sociale wenselijkheidsantwoorden stimuleren Kan algemene validiteit van de test drukken Conclusie: Facevaliditeit is belangrijk, maar andere soorten validiteit zijn minstens even belangrijk Facevaliditeit alleen is onvoldoende voor validiteit

Voorbeeld EVC in HO Toepassen van de traditionele casustoets op EVC-assessment als beoordelingsmethode Slechts één casus Waarin meerdere competenties gelijk aan bod komen Die exhaustief en nauwkeurig moet worden opgelost = zeer goed voor didactische doeleinden MAAR geeft problemen bij assessment van EVC Welke problemen? M.b.t. de competentie  cognitie versus gedrag M.b.t. competentiecontext  inhoudspecificiteit M.b.t. doel van de beoordeling  summatief M.b.t. achtergronden van de kandidaat  ervaren professionals, geen beginners

Voorbeeld EVC in HO Inhoudsspecificiteit = prestatie op een casus blijkt niet zomaar generaliseerbaar naar andere casussen Correlatie tussen verschillende casussen blijken erg laag (zie bv. Swanson, 1978) Eén casus afnemen is dus niet representatief voor hele competentie Probleemoplossing is geen generieke competentie, maar varieert qua inhoudsdomein (bv. Kuipers, 2003; Schmidt, Norman en boshuizen, 1990)  Meerdere korte casussen met representatieve steekproef van inhouden

Voorbeeld EVC in HO Potentiële onderschatting van ervaren professionals Experts hebben hun kennis georganiseerd in uitgebreide en goed georganiseerde netwerken van concepten, dit in tegenstelling tot beginners (vb. Glaser & Chi, 1983) Hierdoor verloopt probleemoplossing bij ervaren professionals Automatisch, door triggering, snel en minder bewust Directer De analyse van het probleem bevat vaak reeds de oplossing

Voorbeeld EVC in HO Potentiële onderschatting van ervaring professionals Eén casus die exhaustief en nauwkeurig moet worden opgelost Onderschatting van ervaren professionals Omdat ze stappen overslaan in hun redenering en hier wel op beoordeeld worden Oplossingen zelf blijken wel vaak superieur aan die van beginnende beroepsbeoefenaars Beginners scoren vaak beter of gelijk aan experts op dergelijke casussen (vb. Grant &Marsden, 1988) Dergelijke casussen blijken zeer sterk samen te hangen met gewone kennistoetsen (tot r=1) (vb. Norcini, Swanson, Grosso & Webster 1985) Bovendien blijkt expertise zeer domeinspecifiek

Voorbeeld EVC in HO Beoordelingsmethode aanpassen Meerdere korte casussen Beoordelen van key-features (kernbeslissingen, essentiële elementen) Grotere generaliseerbaarheid Meer gerichte meting (validiteit)

VALIDITEIT = transparante & samenhangende VISIE : EVC  HVC COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE Betrouwbaarheid - Stabiliteit - Herhaalbaarheid Validiteit - Inhoud - Construct - Criterium - Face

Contact An Peeters Tel 016 32 09 06 An.Peeters@associatie.kuleuven.be Karine Janssens Tel 09 264 70 26 Karine.Janssens@UGent.be