03/04/2017 Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers, leerstoelgroep educatie- en competentiestudies, WUR (judith.gulikers@wur.nl)

Wat gaan we doen? CGO vraagt ‘andersom denken’ 03/04/2017 CGO vraagt ‘andersom denken’ Performance assessment / authentiek assessment Ontwerpen van een AA: Stappenplan Stiggins 5-dimensionale model authentiek beoordelen Rubrics: hoe, waarom (niet)? CGO zegt in principe alleen maar WAT een leerling aan het einde van de opleiding moet kunnen. CGO an sich zegt niks over HOE het onderwijs en de beoordeling ingericht moet zijn om dit te bereiken. Dat is wel belangrijk om te weten. Dit is bv. Waar in het MBO ook veel strijd over is.

Andersom denken Vakken Inhoud Onderwijs: lessen Toetsen 03/04/2017 Vakken Inhoud Onderwijs: lessen Toetsen Beroepsrelevante, herkenbare uitkomsten (= competenties) Beoordelings- criteria en situatie voor assessment In traditioneel onderwijs gaat het erom dat leerlingen de vakken doorlopen en de inhoud die hierin aan bod komt tot zich nemen en na afloop van dit onderwijs in een schriftelijke toets laten zien dat ze hebben geleerd wat in het onderwijs is verteld of in de boeken stond In CGO zijn beroepsrelevante en herkenbare uitkomsten het startpunt van een opleiding. Een student moet op enig moment laten zien dat hij aan deze uitkomsten voldoet. Onderwijs is in principe ondersteunend: Wat moet het onderwijs aanbieden om leerlingen te helpen zich richting deze uitkomsten te ontwikkelen. TEvens is in competentiegericht onderwijs veel aandacht voor formatieve assessments gericht op groei en ontwikkeling van de student. Dit soort assessments is cruciaal in doorlopende leerljnen. 4C kan bijdragen aan het formuleren van beoordelingscriteria die gebruikt kunnen worden voor zowel summatieve als formatieve assessments Onderwijs: Leeractviteiten

Competentiegericht beoordelen 03/04/2017 CGO zegt iets over het wat niet over het hoe Wat gebaseerd op de SHL competenties / werkprocessen Wat moet terugkomen in beoordelingscriteria De geschikte toetsmethode hierbij is, is pas vervolgvraag Maar: binnen CGO filosofie wel andere doelen voor “toetsen” andere “toets”kenmerken hoog gewaardeerd én bepaalde beoordelingsvormen passen beter bij competentiegerichte filosofie CGO zegt in principe alleen maar WAT een leerling aan het einde van de opleiding moet kunnen. CGO an sich zegt niks over HOE het onderwijs en de beoordeling ingericht moet zijn om dit te bereiken. Dat is wel belangrijk om te weten. Dit is bv. Waar in het MBO ook veel strijd over is.

Cruciale vraag in CGO 03/04/2017 Om te beoordelen of iemand goed kan functioneren in de beroepspraktijk, wat moet er dan allemaal getoetst worden? En als we dat dan weten: Hoe maken we dan een goede toets hiervoor? Hoe laten we de praktijk op een goede manier terug komen in de toetsing?

Inkomertje 1……………… Competentie? 03/04/2017 “Koe Bertha is al twee dagen niet opgestaan, haar poep is dunner dan het moet zijn en je meent iets te zien aan haar vacht en ogen. De boer is er niet. Wat nu?” Beschrijf de handelingen die je zou uitvoeren. Waar hou je rekening mee? Kan op grond hiervan gezegd worden dat deze toekomstige verpleegkundige deze taak goed zal uitvoeren? Maw. dat zij competent is in het verschonen en verplaatsen van patiënten in een ziekenhuisbed?

Competente dierenverzorger? 03/04/2017 ‘Kennis over’ is niet genoeg voor competentie uitspraak Observatie van daadwerkelijke handelen nodig (actie) Interactie met koe in de stal en overleg met de boer (context) Bewust handelen? Deze opdracht beoordeelt alleen “Kennis over”, dit is niet voldoende voor competentie. Mist bijvoorbeeld motorische aspecten van de handeling, communicatie richting patiënt (context) Moeten kijken of student dit gedrag daadwerkelijk goed kan uitvoeren  performance assessment

Inkomertje 2 …….. Competentie?? 03/04/2017 Vind je het praktische gedeelte van het rijexamen een goed examen? Waarom wel? Waarom niet? Korte plenaire discussie over voor- en nadelen van deze ‘toetsvorm’

Competente automobilist? 03/04/2017 Half uurtje goed rijden kan toevalstreffer zijn Niet alle activiteiten behorende bij goed autorijden aan bod gekomen Niet alle voorkomende situaties gedekt Bewust handelen? Routine? Toevalstreffer: kan dat? En hoe kun je de kans hierop verkleinen? Al deze mogelijke bezwaarpunten komen dadelijk weer aan bod als we drie belangrijke kwaliteitsaspecten van competentiegericht beoordelen zullen bespreken

WAT wil je toetsen? Piramide van Miller 03/04/2017 Does Performance assessment in vivo: Praktijkbeoordeling, video….. Shows how Performance assessment in vitro: Observatie, simulaties………….... Authenticiteit Knows how Contextueel rijke toetsen: MCQ, open vragen, mondeling….. Miller beschrijft beroepsbekwaamheid in 4 lagen Onderste lagen zijn voorwaardelijk voor de bovenste Afh. Van welke laag je wilt toetsen kies / ontwikkel je een toets PA zit op het niveau van “shows how” en “does”. Om te kiezen voor PA moet het doel van de toetsing dus ook ‘shows’ of ‘does’ zijn. Shows how: vaardigheid in het toepassen van kennis Does: toepassen in complexe werkelijkheid  transfer van school naar werk Knows = pure feitenkennis Knowshow = gebruiken van kennis voor probleemoplostaken Knows Feitgerichte toetsen: MCQ, open vragen, mondeling…..

Performance assessment (PA) 03/04/2017 Laag 3 / 4 van Miller Beoordelen of iemand kan functioneren in de beroepspraktijk Demonstreren van gedrag: ACTIE In betekenisvolle situatie: IN CONTEXT Achterliggende gedachte: als iemand goed gedrag laat zien bezit hij/zij de onderliggende KVA’s Performance assessment is uitvoeren van gedrag Laag 3: Gesimuleerd Laag 4: in het echt. Wordt ook vaak Proeve van bekwaamheid genoemd Soms wordt onderscheid PA en PvB zo geduid: In PA kan uitgelokt worden en in PvB is dat juist niet de bedoeling Andere keuze: keuze maken voor beoordelen van Daadwerkelijke gedrag (mijn mening) Output van dit gedrag (reflectie op gedrag) (anderen , bv. streatmans) Beide keuzes zijn ook weer afhankelijk van het doel, de soort competentie, praktische mogelijkheden ed.

Performance assessment gekaderd 03/04/2017 Te beoordelen gedrag is: reactie op natuurlijke gang van zaken reactie op uitlokking In vitro In vivo Assessor is: expliciet aanwezig impliciet Proeve van bekwaamheid Performance assessment Retrospectieve beoordeling Mystery guest Controle op conducteurs UTRECHT – Kantoorbedienden en andere medewerkers van de NS kijken in de trein de conducteur op de vingers. Het NS-personeel houdt bij hoe vaak een conducteur kaartjes controleert en of er voldoende informatie bij vertragingen wordt gegeven. Voorbeeld: Beoordelingen tijdens de LIO (leraar in opleiding)-stage Op niveau 3 en 4 heb je eigenlijk vier globale assessmentvormen. Die worden op hun beurt bepaald door twee dimensies: De eerste dimensie heeft te maken met de vraag of de kandidaat zich bewust is van de aanwezigheid van een assessor. Dit bepaalt namelijk of je maximaal of typisch gedrag te zien krijgt. De tweede dimensie heeft te maken met de vraag of het gedrag het gevolg is van de natuurlijke loop der dingen of heel doelgericht wordt uitgelokt door de assessmenttaak. Dat laatste is natuurlijk minder echt: je geeft als het ware een hint om in actie te komen. Bij performance assessment is meestal de assessor expliciet aanwezig en wordt de beoordelingssituatie ingericht met vaak bewuste onderdelen die bepaald gedrag moeten uitlokken. Voorbeeld: 360 graden feedback

Niet denken vanuit methode 03/04/2017 Het maken van PA mag niet het doel op zich zijn! WAT wil ik gaan beoordelen? Is PA de goede vorm hierbij? Beroepsonderwijs: toetsen relevant voor praktijk  Authentiek beoordelen Cruciaal criterium Inspectie: Is de gekozen beoordelingsvorm passend? Performance assessment is uitvoeren van gedrag Laag 3: Gesimuleerd Laag 4: in het echt. Wordt ook vaak Proeve van bekwaamheid genoemd Soms wordt onderscheid PA en PvB zo geduid: In PA kan uitgelokt worden en in PvB is dat juist niet de bedoeling Andere keuze: keuze maken voor beoordelen van Daadwerkelijke gedrag (mijn mening) Output van dit gedrag (reflectie op gedrag) (anderen , bv. streatmans) Beide keuzes zijn ook weer afhankelijk van het doel, de soort competentie, praktische mogelijkheden ed.

authentiek??? Wat maakt een assessment 03/04/2017 Wat maakt een assessment authentiek??? “The criterion for a good test is its congruence with reality” Wiggins (1993, p. 206)

Hoe nu aan de slag? 03/04/2017 4-stappenplan van Stiggins voor systematisch ontwerpen van performance assessments 5 dimensionaal model voor authentieke toetsing Gulikers (2005) Begin: Wat is de beroepspraktijk? Hoe ziet deze eruit? Denken vanuit praktijk  kritische situaties  competenties  criteria  vertaling naar criteria op niveau van student EN in concreet observeerbaar gedrag  ontwikkelen van taken waarin de gedragingen (uit de criteria) beoordeeld kunnen worden. Door stappenplan van Stiggins te gebruiken wordt het ontwerp van een PA systematisch doordacht en vastgelegd. Dit is goed voor het inzicht zelf, Goed doordachte toetsen : sturen leergedrag van studenten maar ook voor bv. verantwoording richting KCE

Toetsspecificatieplan: Redenen voor beoordeling 4 stappen 03/04/2017 Toetsspecificatieplan: Redenen voor beoordeling Prestatiespecificatie: Welke prestatie moet geëvalueerd worden en onder welke condities Opdrachten: creëren van mogelijkheid geven tot demonstreren van competent gedrag Beoordelingsplan: om beoordeling zo expliciet, gemotiveerd en betrouwbaar mogelijk te maken Vb van opdracht ontwerpschema. In stap 3 kun vanuit dit schema verschillende combi’s maken die leidend zijn voor het ontwikkelen van opdrachten

Stap 1: Toetsspecificatieplan 03/04/2017 Doel en functie van beoordeling: summatief en/of formatief? Inrichten van onderwijstraject (EVC)? Specificeer de studenten (aantal, niveau) Wie zijn de beoordelaars en de beslissers? Relevante randvoorwaarden? Waarom ga je toetsen? Vroeger alleen voor certificering = toetsing van leren = summatief Tegenwoordig veel nadruk op verbeteren van leerproces = toetsing voor leren = formatief

Stap 2: prestatiespecificatie 03/04/2017 WAT wil je gaan beoordelen? WAT moet student laten zien? Wat is beroepspraktijk van deze opleiding? Kritische beroepssituatie benoemen Rollen van opleiding benoemen Welke competentie(s) zijn hierin nodig? Maar hoe krijgt dit vorm in een concreet assessment? Gebruik van 5-dimensionale model : 5 assessment aspecten kunnen meer / minder op beroepspraktijk (referentiesituatie) lijken Je wilt een assessment gaan maken dat overeenkomstig is met de beroepspraktijk en van de leerling vraagt te functioneren zoals dat in deze situatie ook gebeurd. Je moet dus duidelijk hebben wat die beroepspraktijk is: wellke taken/rollen zitten hierin en welke competenties zijn hierin nodig? Vervolgens moet je assessment deze competenties gaan aanspreken door van studenten te vragen te laten zien dat ze die rollen/taken kunnen uitvoeren

5-dimensionaal model voor authenticiteit 03/04/2017 5-dimensionaal model voor authenticiteit Uitgangspunt van dit model: Er zijn meerdere kenmerken van een assessment die meer of minder op de beroepspraktijk kunnen lijken Er zijn meerdere aspecten van een assessment, of van een leersituatie die de authenticiteit bepalen. Dit is het 5DM wat handvatten kan bieden voor assessment, maar ook voor instructie/leertaken Authentieke beoordeling & Authentieke instructie

Overeenkomstig de beroepspraktijk: 5 dimensies 03/04/2017 Overeenkomstig de beroepspraktijk: 5 dimensies Taak: opdracht die leerling moet uitvoeren Fysieke context: omgeving/situatie waarin taak moet worden uitgevoerd Sociale context: samenwerkings- en hulp (on)mogelijkheden Vorm: leer- / assessmentmethode, onafhankelijk van inhoud Criteria: punten waarop leerling wordt beoordeeld Authenticiteit is méér dan alleen een fysieke context! Op de vragen dus: Is in de bpv automatisch authentiek  NEE is in school automatische niet authentiek  NEE ER IS MEER

Vervolg stap 2: Opdrachtenschema 03/04/2017 Welke criteria gebruikt praktijk voor goed handelen in beroepssituatie? Vertaal criteria naar niveau van de student en in concreet waarneembaar gedrag Welke taken passen bij deze criteria? In welke context? Vraagt dit samenwerking / hulp? Gaat het om een product of proces? (vorm)

Stap 3: Ontwerp van opdrachten 03/04/2017 Uitlokken van gedrag? Wil je gaan uitlokken of juist niet? Transparant maken in assessmentopdracht Assessment programma: 1 PA genoeg om gehele kritische beroepssituatie te beoordelen? Meerdere PA’s nodig? Combineren met andere toetsvormen? Competentie assessment programma (Baartman, et al 2004); Protocol portfolio scoring (Straetmans, 2004) Hoe waarheidsgetrouw moet assessment zijn? Afhankelijk van doel, soort competentie, een praktische mogelijkheden, plaats in de opleiding (bv. jaar 1 of jaar 4) Welke info wil je  toetsvormen

Stap 4: beoordelingsplan 03/04/2017 Beoordelingscriteria Beoordelen van gedrag vraagt om beoordelingscriteria gericht op observeerbaar gedrag!! Gebruik van rubrics leent zich goed: niveaus van gedrag Welk type score is nodig? Holistisch of analystisch Transparant maken voor alle partijen! Procedure zo goed mogelijk vastleggen, duidelijk communiceren, beoordelaars trainen. Probleem bij PA is vaak dat er geen goed/fout is, dus iedereen kan anders interpreteren. Beoordeling toch zo objectief mogelijk proberen te maken. Voor meer gestandaardiseerde en eerlijke beoordeling gebruik maken van performance rubrics. Tegenwoordig ook steeds meer gebruik gemaakt van self-, peer assessment of 360 graden beoordeling

Stap 4: beoordelingsplan, vervolg 03/04/2017 Beoordelaars Wie beoordeelt / hoeveel beoordelaars? Zelf-assessment / peer-assessment onderdeel? Training nodig voor assessoren? Beoordelingsprocedure Hoe verloopt beoordelingsproces / hoe komt eindoordeel tot stand? (zwak punt!) Hoe verloopt feedback?

Gereedschapskist Ontwikkeld door: APS, CPS, KPC groep, CITO en ECS/WUR 03/04/2017 Ontwikkeld door: APS, CPS, KPC groep, CITO en ECS/WUR Meer info: Judith.gulikers@wur.nl

Rubric: wat is het? 03/04/2017 = beschrijving van een aantal concreet te observeren gedragsniveaus (van eenvoudiger naar complexer) op een beoordelingscriterium Verschillende soorten schalen Anayltisch / holistisch Kwalitatief / kwantitatief

Competentie: samenwerken Beoordelingscriterium: luisteren naar anderen 03/04/2017 Nooit Soms Vaak Vrijwel altijd

Competentie: leiding geven Beoordelingscriterium: omgaan met kritiek 03/04/2017 Competentie: leiding geven Beoordelingscriterium: omgaan met kritiek 1 Student kan niet tegen kritiek en reageert agressief / verdedigend 2 Student negeert kritiek en gaat eigen gang 3 Student luistert naar kritiek van anderen maar doet er niets mee 4 Student doet actief iets met kritiek om eigen gedrag te verbeteren NIET “ omgaan met kritiek” is beoordelinsaspect bij competenties: “effectief omgaan met feedback” Wat zien we hier: 4-puntsschaal Kwalitatieve schaalankers Dit soort kwalitatieve presetatiecriteria kunnen ook goed ingezet worden voor formatieve assessments, ze kunnen de groei of ontwikkeling van studenten beter in kaart brengen. Kwalitieve schaalankers zijn hier geschikter voor dan kwantitatieve schaalankers (vorig voorbeeld). Echter kwalitatieve schaalankers zijn veel moeilijker en tijdsrovender om te maken dan kwantitatieve schalen Het kiezen voor soort presetatie-indicatoren heeft dus ook weer te maken met wat je DOEL is met het assessment. Is het bijvoorbeeld een doel om veel informatieve feedback terug te geven zodat de leerling verder kan ontwikkelen (is er dus een formatief doel?) dan zijn dit soort kwalitatieve prestatie-indicatoren wellicht beter.

Competentie: samenwerken in team Beoordelingscriterium: Actieve inzet tonen 03/04/2017 Neemt initiatieven 1 2 3 4 5 Wacht af Zegt tijdig wat hij/zij wil Komt achteraf met kritiek Neemt voorzittersrol of ondersteunt deze Houdt zich niet aan vergaderprocedures Geeft steeds aan wat gedaan moet worden Gaat eigen gang

Voordelen / mogelijkheden van Rubrics 03/04/2017 Communicatie instrument: transparantie voor leerlingen / beoordelaars Ontwikkelen en voorbereiden van leerlingen Trainen van beoordelaars: zelfde intrepretatie geven Objectievere beoordeling Geven van feedback Zeer waardevol voor: Aansluiting onderwijs – formatief / summatief assessen (zwak!!) Gebruiken bij alle beoordelingsvormen

Maar gaat niet vanzelf Rubric maken is erg tijdsintensief 03/04/2017 Rubric maken is erg tijdsintensief Vraagt samenwerking en afstemming tussen betrokkenen Alles willen objectiveren kan niet Valkuil: terug naar gedetailleerd beoordelen ipv holistisch Nog niet vaak in onderwijs / formatief gebruikt Gevaar van wildgroei aan rubrics Zoeken naar een goede balans!