De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Validiteit van EVC-procedures Karine Janssens – Universiteit Gent An Peeters – Associatie K.U.Leuven 31 januari 2008.

Verwante presentaties


Presentatie over: "Validiteit van EVC-procedures Karine Janssens – Universiteit Gent An Peeters – Associatie K.U.Leuven 31 januari 2008."— Transcript van de presentatie:

1 Validiteit van EVC-procedures Karine Janssens – Universiteit Gent An Peeters – Associatie K.U.Leuven 31 januari 2008

2 VALIDITEIT Validiteit = meten wat je wilt weten  Wat wil je weten: visie & keuzes  Meten: technische aspecten van het instrument Doel van de beoordeling  validiteitseisen

3 VALIDITEIT = transparante & samenhangende VISIE : COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE

4 VALIDITEIT = transparante & samenhangende VISIE : COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE Definitie Leertheorie Visie intern/extern gedragen

5 VALIDITEIT = transparante & samenhangende VISIE : COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE Beroepscontext vs opleidingscontext Professioneel vs academisch Relevant en representatief

6 VALIDITEIT = transparante & samenhangende VISIE : COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE Herkennen Formatief Didactisch Oriëntering Erkennen Summatief Assessment Certificering

7 VALIDITEIT = transparante & samenhangende VISIE : COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE Taal Cultuur Gender Leerstijl Vertrouwdheid met de context (beroep vs opleiding) Begeleiding

8 VALIDITEIT = transparante & samenhangende VISIE : COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE Procedure Instrumenten - Validiteit - Betrouwbaarheid Assessoren

9 VALIDITEIT = transparante & samenhangende VISIE : COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE Gedeeld door stakeholders CIVIEL EFFECT

10 VALIDITEIT = transparante & samenhangende VISIE : COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE Validiteit = geldigheid Betrouwbaarheid = stabiliteit = herhaalbaarheid

11 Betrouwbaarheid & validiteit Algemene principes Assessment center methode  Meerdere instrumenten  Meerdere beoordelaars Aandacht voor betrouwbaarheid en validiteit in elke fase van instrumentontwikkeling Is vaak een afweging

12 Betrouwbaarheid Definitie Een assessment is betrouwbaar als het bij een herhaalde afname dezelfde resultaten geeft Betrouwbaarheid = stabiliteit = herhaalbaarheid D.w.z. bij herhaalde meting  dezelfde resultaten 1. Over de tijd heen 2. Bij verschillende beoordelaars Zoniet, spreken we van een onbetrouwbare beoordeling

13 Betrouwbaarheid 1. Verschillen in prestatie over de tijd Oorzaak van onbetrouwbaarheid toevallige schommelingen in prestatie doorheen de tijd Bronnen  bij de kandidaat (vb. schommelingen in concentratie)  bij de testsituatie (vb. volgorde van vragen) Aanpak Hoe betrouwbaarheid over de tijd heen verhogen? - de testsituatie zoveel mogelijk standaardiseren

14 Betrouwbaarheid 2. Verschillen tussen beoordelaars Oorzaak niet elke beoordelaar beoordeelt op dezelfde manier = belangrijkste oorzaak van onbetrouwbaarheid Bronnen: beoordelaarseffecten  Halo-effect  Sequentie-effecten  Beoordelingstendenties  Contaminatie-effecten  Meestal onbewust!

15 Betrouwbaarheid Aanpak Concretiseren van de beoordelingscriteria  competenties concretiseren in concreet waarneembaar gedrag Standaardiseren van de beoordeling  Ondubbelzinnige beoordelingscriteria vastleggen (beoordelingslijst of schema) Duidelijk niveau vastleggen Duidelijk modelantwoord maken Scoringsvoorschriften Training van de beoordelaars  Strikt toepassen van de beoordelingscriteria  Beoordelaarseffecten tegengaan  Na aparte scoring: assessorenoverleg

16 Validiteit Definitie Een instrument is valide als op basis van de resultaten geldige conclusies kunnen getrokken worden over de competentie die men wil meten Validiteit = geldigheid Is de score indicatief voor de werkelijke competentie van de kandidaat? Vier aspecten 1. Inhoudsvaliditeit 2. Constructvaliditeit 3. Criteriumvaliditeit 4. Face-validiteit

17 Validiteit 1. Inhoudsvaliditeit = is het instrument representatief voor (alle aspecten van) de competentie? Inhoudsvaliditeit  generaliseerbaarheid score op het instrument  competentie in zijn geheel Aanpak (kan vooraf op ingegrepen worden!) Representatieve testsituatie kiezen Authentieke testsituatie (opm. authenticiteit standaardisatie) Alle aspecten van de competentie opnemen die men wil waarborgen Normen vastleggen, eigen aan niveau dat men wil testen Meerdere contexten kiezen Aangepast instrument kiezen, naargelang de competentie

18 Validiteit 2. Constructvaliditeit = meten we enkel de competentie of ook andere (storende) factoren Voorbeeld: portfolio + interview en verbale vaardigheden Aanpak  Zoals in ACM, meerdere instrumenten voor één competentie  Niet holistisch beoordelen  Niet teveel competenties en beoordelingscriteria in één instrument (max. 7 chuncks)

19 Validiteit 3. Criteriumvaliditeit = discrimineert het instrument voldoende tussen de betere en de mindere kandidaat Hoe criteriumvaliditeit nagaan?  Kan pas achteraf  Vergelijken van de scores op het instrument en de scores op een gerelateerd instrument  Vergelijkingsinstrument? Combinatie van opleidingsonderdelen waarin competentie wordt aangeleerd  Doelgroep? Criterium is de opleiding, dus best bij studenten

20 Validiteit 4. Face-validiteit = het ook voor de kandidaat duidelijk dat de test de beoogde competenties meet? Belangrijk voor de legitimatie van het instrument, want verhoogt transparantie Nadeel:  Kan sociale wenselijkheidsantwoorden stimuleren  Kan algemene validiteit van de test drukken Conclusie:  Facevaliditeit is belangrijk, maar andere soorten validiteit zijn minstens even belangrijk  Facevaliditeit alleen is onvoldoende voor validiteit

21 Voorbeeld EVC in HO  Toepassen van de traditionele casustoets op EVC- assessment als beoordelingsmethode Slechts één casus Waarin meerdere competenties gelijk aan bod komen Die exhaustief en nauwkeurig moet worden opgelost = zeer goed voor didactische doeleinden MAAR geeft problemen bij assessment van EVC  Welke problemen? 1. M.b.t. de competentie  cognitie versus gedrag 2. M.b.t. competentiecontext  inhoudspecificiteit 3. M.b.t. doel van de beoordeling  summatief 4. M.b.t. achtergronden van de kandidaat  ervaren professionals, geen beginners

22 Voorbeeld EVC in HO Inhoudsspecificiteit = prestatie op een casus blijkt niet zomaar generaliseerbaar naar andere casussen Correlatie tussen verschillende casussen blijken erg laag (zie bv. Swanson, 1978) Eén casus afnemen is dus niet representatief voor hele competentie Probleemoplossing is geen generieke competentie, maar varieert qua inhoudsdomein (bv. Kuipers, 2003; Schmidt, Norman en boshuizen, 1990)  Meerdere korte casussen met representatieve steekproef van inhouden

23 Voorbeeld EVC in HO Potentiële onderschatting van ervaren professionals  Experts hebben hun kennis georganiseerd in uitgebreide en goed georganiseerde netwerken van concepten, dit in tegenstelling tot beginners (vb. Glaser & Chi, 1983)  Hierdoor verloopt probleemoplossing bij ervaren professionals Automatisch, door triggering, snel en minder bewust Directer De analyse van het probleem bevat vaak reeds de oplossing

24 Voorbeeld EVC in HO Potentiële onderschatting van ervaring professionals  Eén casus die exhaustief en nauwkeurig moet worden opgelost  Onderschatting van ervaren professionals Omdat ze stappen overslaan in hun redenering en hier wel op beoordeeld worden Oplossingen zelf blijken wel vaak superieur aan die van beginnende beroepsbeoefenaars Beginners scoren vaak beter of gelijk aan experts op dergelijke casussen (vb. Grant &Marsden, 1988) Dergelijke casussen blijken zeer sterk samen te hangen met gewone kennistoetsen (tot r=1) (vb. Norcini, Swanson, Grosso & Webster 1985) Bovendien blijkt expertise zeer domeinspecifiek

25 Voorbeeld EVC in HO Beoordelingsmethode aanpassen  Meerdere korte casussen  Beoordelen van key-features (kernbeslissingen, essentiële elementen)  Grotere generaliseerbaarheid  Meer gerichte meting (validiteit)

26 VALIDITEIT = transparante & samenhangende VISIE : COMPETENTIE competentieCONTEXT DOEL vd beoordeling achtergronden vd KANDIDAAT beoordelingsMETHODE Betrouwbaarheid - Stabiliteit - Herhaalbaarheid Validiteit - Inhoud - Construct - Criterium - Face E VC  H VC

27 Contact An Peeters Tel Karine Janssens Tel


Download ppt "Validiteit van EVC-procedures Karine Janssens – Universiteit Gent An Peeters – Associatie K.U.Leuven 31 januari 2008."

Verwante presentaties


Ads door Google