Toetsbeleid aan de faculteit Architectuur Anneleen Claassen Dienst Onderwijsprofessionalisering en -Ondersteuning KU Leuven

Nota toetsbeleid Begrippen en uitgangspunten Inventarisatie Kwaliteitscriteria voor elke opleiding Opleidingsspecifieke visie op toetsen Facultaire visie op evaluatie

Afstemming op de leerresultaten Visie faculteit Suggesties Vragen? Vorige visitatierapporten: overwicht van bepaalde examens? Mapping: welke lr gekoppeld aan welke evaluatie(vormen), worden alle lr geëvalueerd? ECTS-fiches: zie overzicht dienst onderwijs welke evaluatievormen worden gekozen en waarom? gesloten boek open boek paper take-home oefening met beoordeling medewerking tijdens contactmomenten verslag presentatie selfassessment/peerassessmen t Gezien evaluatie erop gericht is na te gaan in welke mate de studenten de vooropgestelde leerresultaten bereikt hebben en hun studeergedrag samenhangt met de wijze van evalueren, is de afstemming tussen leerresultaten, leeractiviteiten en evaluatie uitermate belangrijk. In dit blokje wordt nagegaan of en hoe deze afstemming vorm krijgt en bewaakt wordt in de opleiding

Kwaliteit van toetsen Visie faculteit Suggesties Vragen? What’s in a name? Kwaliteitseisen Evaluatiecriteria Cesuur Peer-feedback (peer-review) Om ervoor te zorgen dat evaluaties zo valide, betrouwbaar en voor de studenten inzichtelijk mogelijk verlopen, beschikt de opleiding best over een adequaat systeem van toetsing. Dit aspect peilt naar de manier waarop aan kwaliteitszorg wordt gedaan en de stappen die de opleiding neemt om kwaliteitsvolle evaluatie te bevorderen.

Evaluatiecriteria - verbetersleutels Wat? Elementen waarop het beoordelingsproces wordt gebaseerd - vaak weergegeven in een verbetersleutel Opsomming van goede antwoord(elementen) soms ook gedeeltelijk goede of foute antwoorden terugkerende fouten, taal- of spellingsfouten, … Maximumscore per (deel)vraag Weging en cesuur Richtlijn voor beoordelaar Op voorhand opstellen, nadien nog verfijningen of aanpassingen mogelijk

Schriftelijk examen (kennen & begrijpen) Examenvraag Wat is het verschil tussen een negatieve bekrachtiging en een negatieve straf? Geef van elk begrip een voorbeeld. Verbetersleutel Score en deelscores (o.a. slaaggrens) Evaluatiecriteria: wat moet er wel en niet in In de praktijk bestaan er verschillende soorten verbetersleutels. Welk type het beste past, is afhankelijk van het soort examen(vraag) en de doelen die je nastreeft. CESUUR! 2 voorbeelden voor zelfde vraag: beperkte: moeilijk in te schatten wanneer iets correct/incorrect is uitgebreide: elementen, score, wanneer 3 punten te behalen (als ook vb geven, hoewel niet in vraag vermeld, voor discussie vatbaar) Enkel concepten toelichten = ½ punten voor theorie en definitie Tip: Eigen voorbeeld geven of één dat besproken werd in de les?

Mondeling examen (kennen & begrijpen) Examenvraag Wat is het verschil tussen een negatieve bekrachtiging en een negatieve straf? Verbetersleutel Of: Blad met inhoudelijke kernitems Overkoepelende vaardigheden Ruimer, niet altijd gedetailleerd op te stellen Wel: overkoepelende elementen die je wil horen of die studenten moeten aantonen (bijv. concept toelichten, voorbeeld geven…) Alternatief: Eventueel werken met kleurcoderingen: voor elke student een blad voorzien waarop enkele kernitems staan weergegeven die je verwacht te horen in het antwoord van de student, eventueel aangevuld met enkele meer overkoepelende vaardigheden die je mee in rekening brengt (denk aan originaliteit van een antwoord, vlotheid van spreken over de leerinhoud, verdedigen van een standpunt, …). Op dit blad kan je tijdens het gesprek aantekeningen maken en een voorlopig cijfer toekennen. Voorbeeld docent tijdens mondeling examen groen: de student heeft dat uit zichzelf gezegd • blauw: ik heb ernaar gevist • rood: flater, uitspraak die toont dat hij er volledig naast zit Functie

Papers en opdrachten (kritische ingesteldheid) Examenvraag Beargumenteer volgende stelling: “De opkomst van China betekent het einde van de Pax Americana, en is geen goede zaak voor Europa.” Verbetersleutel Evaluatie-criteria Bij een paper of (artistieke of vrije) opdracht is het moeilijk om een eensluidend antwoord te formuleren. Toch is het ook hier belangrijk om van tevoren vast te leggen waarop je de student zal beoordelen. In dit geval zal je eerder werken met iets ruimere evaluatiecriteria, die gebaseerd zijn op de leerdoelen van het opleidingsonderdeel. Deze criteria kunnen aangevuld worden met niveaus of standaarden, waarmee je aangeeft op welke verschillende manieren een criterium kan worden ingevuld (bijv. wanneer is een paper goed, zeer goed of onvoldoende, wanneer is er niet voldaan, etc.) en hoe je dus de prestaties van de studenten zal beoordelen. Tijdens het beoordelen ga je na hoe goed of in welke mate een student een bepaald criterium (of een geheel van criteria) heeft bereikt. Je weegt met andere woorden af welke (kwalitatief omschreven) standaard het best aansluit bij de geleverde prestatie van de student. Op basis hiervan ken je het overeenkomstig oordeel (punt) toe. Deze combinatie van evaluatiecriteria en niveaus/standaarden wordt weergegeven in rubrics.   Niveaus

Pro’s en contra’s van beide voorbeelden? 

Kwalitatieve invulling Nog andere voorbeelden, van universiteit Waterloo Kwalitatieve invulling

Evaluatiecriteria – Slaaggrens bepalen Wanneer slaagt een student voor je OPO? als hij de helft van de vragen correct beantwoordt als hij alle vragen voor de helft correct beantwoordt als hij over het algemeen een goede indruk nalaat als hij slaagt op elk van de onderdelen/ola’s …

Evaluatiecriteria & verbetersleutels Waarom? (Bloxham et al, 2011; Sadler, 2005) Grotere objectiviteit in beoordeling (cfr. betrouwbaarheid) Gestandaardiseerde werkwijze – studenten gelijk behandelen Houvast voor (beginnende) beoordelaar – biedt houvast Intern overleg en afstemming Verhoogde transparantie Beoordelingsproces wordt zichtbaar Geven richting aan de student Handig om feedback te geven Worden er effectief verbetersleutels gebruikt? Zien deze er gelijkaardig uit? Stimuleren dat deze sleutels worden opgesteld? Zo ja, hoe? Zicht krijgen op de kwaliteit van de gehanteerde sleutels?

Peers inschakelen Wat? Waarom? Onderlinge feedback op examens tussen gelijken (peers) met kwaliteits- verbetering als doel Cfr. wetenschappelijke review van artikels Waarom? ‘Meer ogen zien vaak meer’ Onderlinge professionalisering Extra informatie op opleidingsniveau Peer review is vooral gekend in de context van wetenschappelijke artikels en ‘peer reviewed journals’, waarbij een wetenschappelijk artikel vooraleer het gepubliceerd wordt een peerreviewproces moet doorlopen. Tijdens zo’n proces bekijken vakgenoten (‘peers’) of het artikel aan bepaalde kwaliteitseisen voldoet en dus waardevol is om opgenomen te worden in het tijdschrift. Deze peer reviews garanderen de lezer dat de gepubliceerde artikels aan bepaalde standaarden voldoen. Ook in het onderwijs -en in het bijzonder voor examens- kan peer review een interessante werkwijze zijn. Of het nu gaat om het schrijven van een artikel, lesgeven of het opstellen van examens, telkens kan onderlinge feedback van peers of gelijken je helpen om de kwaliteit ervan te optimaliseren. Peer review laat toe op voorhand al enkele aspecten onder de loep te nemen, zodat de kwaliteit van je examen ook vooraf al kan worden vastgesteld. ‘Meer ogen zien vaak meer’ Een collega-expert of peer die al dan niet betrokken is bij je opleidingsonderdeel, kan een geschikte partner zijn om de kwaliteit van je examen na te gaan. Met meerdere personen naar eenzelfde product kijken, levert bovendien extra invalshoeken op of brengt fouten of onduidelijkheden aan het licht die je zelf misschien over het hoofd ziet. Een kritische vriend kan je helpen om fouten of onduidelijkheden uit de examens te halen, kan nagaan of het examen voldoet aan vooropgestelde kwaliteitseisen, zoals betrouwbaarheid en validiteit of suggesties aanreiken ter optimalisatie. Onderzoek naar peer review bij meerkeuze-examens (Bunmi, S. & Zimitat, C., 2011) toont bijvoorbeeld aan dat het reviewproces “increased content validity of test items, reduced technical flaws and improved overall item quality because ambiguity in question interpretation was detected, multiple answers or lack of a one-best-answer were picked up, items tested higher cognitive learning abilities and suggestions were proffered to strengthen the test items before they were administered to the students.”   Onderlinge professionalisering Peer review biedt kansen om te leren van elkaar. Door ervaringen en tips uit te wisselen, vergroot je je kennis over evaluatie en word je je bewuster van het belang van kwaliteitsvol evalueren. Ook kan er zo een opener overlegcultuur ontstaan waarbij collega’s sneller bij elkaar aankloppen, elkaar om raad vragen of spontaner ervaringen uitwisselen. Extra informatie op opleidingsniveau Ook op opleidingsniveau kan peer review meer informatie geven over hoe het er in de concrete praktijk aan toe gaat en krijg je zicht op de kwaliteit van de verschillende evaluatiepraktijken. Opleidingsonderdelen die volgen op elkaar of parallel gegeven worden en dus inhoudelijk aan elkaar gelinkt zijn, kan het wel heel interessant zijn om naar elkaars examens te kijken en een idee te krijgen welke leerinhouden bevraagd worden en hoe dit gebeurt.

Voorbeeld richtvragen

Feedback & activeren Visie van de faculteit Suggesties Vragen? Wanneer krijgen studenten feedback? Wordt er gewerkt met feedbackformulieren? Wie geeft feedback? Meer info: www.kuleuven.be/onderwijs/evalueren/feedback/feedback   Met ‘feedback’ wordt alle informatie bedoeld die studenteninzicht geven in hun eigen leerproces of hun functioneren, waardoor hun leren efficiënter wordt. Feedback kan afkomstig zijn van het didactisch team, medestudenten of geautomatiseerd verlopen en kan tussentijds of na examens voorzien worden. Vele varianten zijn mogelijk, zoals bijvoorbeeld collectieve nabesprekingen van oefeningen, voorbeeldexamenvragen bespreken in een hoorcollege , schriftelijke individuele feedback op een draftversie van een paper, lijst met veelvoorkomende fouten op Toledo plaatsen, … Vragen: Wat is feedback Wanneer bach/master Goede voorbeelden in de clusters?

Opleiding 'Lesgeven aan de KU Leuven' 17 & 20 oktober2014 17 & 20 oktober 2014 Opleiding 'Lesgeven aan de KU Leuven' Opleiding 'Lesgeven aan de KU Leuven'

Ontwerpopdrachten Organisatie, informatie & studieplanning

Opvolging Eigen analyse uitvoeren: per cluster of opleiding? Inventarisatie Positieve aspecten toelichten met exemplarische voorbeelden Actiepunten formuleren voor mindere punten Projectgroep (eind januari) Bespreking sterktes en zwaktes Ondersteuningsnoden bespreken