Als opleiding aan de slag rond evaluatie Onderwijsdag AUHL Lies Laga – Hogeschool PXL

Wie ben ik? Lies Laga – Lies.Laga@pxl.be Stafmedewerker dienst onderwijs PXL Evaluatie – bachelorproef - leerlijn onderzoek-… PXL- PHL: 2009-2016 KULeuven: 1998-2009 Wie ben ik?

Wie zijn jullie? Deelnemers PXL: 7 Deelnemers UHasselt: 15 Deelnemers PCVO: 3 Wie zijn jullie?

Wat gaan we doen? Korte intro Voorbeelden van oefeningen rond evaluatie Individuele oefening: hoe denk ik het aan te pakken? Peer-overleg en –feedback in kleinere groepen Korte terugkoppeling in plenum Wat gaan we doen?

Waarom aan de slag rond evaluatie? Resultaat verklaart dat student ‘iets’ (niet) kan  moet kwaliteitsvol zijn Stuurt leren van student aan moet ‘juiste’ leren uitlokken Waarom aan de slag rond evaluatie?

Waarom als team aan de slag rond evaluatie? Opleiden = teamgebeuren  evaluatie = teamgebeuren Gemeenschappelijk gedragen visie op toetsing is essentieel Gemeenschappelijk referentiekader opbouwen Belang voor analyseren, verbeteren en borgen van de kwaliteit Aandachtspunt bij kwaliteitsmodellen Belang van teamleren = leren van en met elkaar als team Opbouwen van gemeenschappelijk referentiekader Uitklaren verschillende meningen, opvattingen, verwachtingen, etc. Leren van individuele teamleden + teamontwikkeling  Teamleren als middel om (nog) beter te leren functioneren (samen te werken) als team Waarom als team aan de slag rond evaluatie?

Succesfactoren onderwijsteam (Dekkers, 2009) Eigenaarschap Leiderschap en volgerschap Teamleren en teamontwikkeling Structuur en inrichting Interactie met de omgeving Succesfactoren onderwijsteam (Dekkers, 2009) Bron: Dekkers, M.A.F. (2009). Aan de slag met onderwijsteams in het voortgezet onderwijs. Een praktisch boek over de succesfactoren van onderwijsteams in het voortgezet (Nederland) en secundair (Vlaanderen) onderwijs in een activerende onderwijsomgeving. Nuenen: OAB

Sluijsmans, Joosten-ten Brinke & van Schilt-Mol, 2015 Toetspiramide

Toetsitems (o.a. examenvragen, opdrachten) Kwaliteit = Systematisch ontwerpproces (voorbereiding, ontwerpen, evaluatie) Kwaliteitskenmerken (relevantie, objectiviteit, efficiëntie, specificiteit) Mogelijke oefeningen als team: Peer-review: toetsitems van eigen teamleden (en studentenantwoorden) bespreken en constructief feedback geven. Als team en/of voor opleidingsonderdelen die elkaar inhoudelijk opvolgen Belang van richtlijnen / criteria Als team richtlijnen opstellen voor toetsitems: wat is specifiek relevant voor deze opleiding? Als team integratieopdrachten voor studenten ontwikkelen. Als team itemanalyse maken van afgenomen examen Mogelijke alternatieve toetsitems (andere instellingen, literatuur, etc. ) bespreken in team Toetsitems (o.a. examenvragen, opdrachten)

Kwaliteit = Kwaliteitscriteria (validiteit, betrouwbaarheid, transparantie, …) Systematisch doorlopen toetscyclus Mogelijke oefeningen als team: Peer-review van toetsen van collega’s Afstemming doelstellingen?, kwaliteitsvol?, efficiënte organisatie?, …. Aan de hand van concreet werk van studenten gezamenlijk indicatoren uitwerken/verfijnen Bij meerdere beoordelaars (bv. bachelor- en masterproeven, projecten, stages, portfolio’s, etc.) Voor OLOD’s die bijdragen aan leerlijnen Formatieve functie van evaluaties Opstellen richtlijnen om beoordelaarseffecten te verminderen In vakgroepen bespreken toetsmatrijzen per OLOD Toetsen (schriftelijk, mondeling, opdrachten, papers, presentaties, portfolio’s, etc.)

Toetscyclus Ontwerpen Construeren items/opdrachten Construeren toets Toetsmatrijs Construeren items/opdrachten Construeren toets Vaststellen cesuur Afname Beoordelen Analyseren Interpreteren en beslissen Evalueren Toetscyclus

Voorbeeld analytische rubric Bron: SAM-schaal

Belang van overleg bij opstellen criteria Onderzoek Prof. Sue Bloxham (University of Cumbria, UK) ‘five potential reasons were identiefied that link judgement about specific elements of assignements to potential variation in grading. Using different criteria to those published Assessors have different understanding of shared criteria Assessors have a different sense of appropriate standards for each criterion The constructs/criteria are complex in themselves, even comprising varioous sub-crteria which are hidden to view Assessors value and weight criteria differently in their judgements. Emphesise pre-teaching moderation – Discussion of assessment tasks, criteria and exemplars. Bron: http://transformingassessment.com/sites/default/files/files/TA_webinar_4_ nov_2015_slides.pdf Belang van overleg bij opstellen criteria

Toetsprogramma (doordacht geheel van evaluaties) Kwaliteit = Weergegeven in kwaliteitscriteria toetsprogramma Invloed op leerproces Kwaliteit afzonderlijke toetsen Mogelijke oefeningen als team: Opstellen evaluatiematrix en als team kritisch bekijken ahv kwaliteitscriteria: stand van zaken: per OLOD wat, wie , wanneer, hoe, waarom wordt geëvalueerd? Aftoetsen aan kwaliteitscriteria Benchmarking met andere opleidingen: wat is zinvol voor eigen opleiding? Toetsprogramma (doordacht geheel van evaluaties)

Voorbeelden van kwaliteitscriteria toetsprogramma Dijkstra & Baartman (2011) KIT: Kwaliteitsinstrument toetsprogramma http://www.kwaliteit-toetsprogramma.nl/ Voorbeelden van kwaliteitscriteria toetsprogramma

Kwaliteit = Duidelijkheid wenselijke resultaten en interventies Inbedding in de context Onderbouwing van wenselijke interventies (geïnformeerd door eigen én andere context) Mogelijke oefeningen als team: Brainstorm visie op evalueren: wat betekent ‘goed evalueren’ voor het team? Vertalen naar waarom evalueren, wie evalueert, wat evalueren we, hoe evalueren, wanneer evalueren? SWOT-analyse met het hele team van de huidige manier van evalueren in de opleiding Polsen naar onduidelijkheden bij het team en deze vertalen naar richtlijnen Formuleren van gedragen richtlijnen (cfr. toetsitems en toetsen) … Toetsbeleid (visie op evaluatie in opleiding, duiding toetsprogramma en richtlijnen voor kwaliteit en organisatie)

Kwaliteit = Duidelijkheid van rollen, taken en bevoegdheden Denken en handelen vanuit processen (andere niveaus) Efficiëntie Mogelijke oefeningen als team: In kaart brengen van rollen, taken, bevoegdheden en verantwoordelijkheden SWOT analyse rond efficiëntie van toetsproces Examenrooster, indienen antwoordmodellen, voorzien van lokalen, toezichthouden, verdeling mondelinge examenuren, feedbackmomenten voor studenten, publicatie van de punten, …… Toetsorganisatie (duidelijke rollen, taken, bevoegdheden en verantwoordelijkheden; samenwerken en logistiek)

Toetsbekwaamheid (focus op evalueren om te beslissen én te leren; ) Kwaliteit = Summatieve versus formatieve functie ≠ bekwaamheden nodig ≠ evaluatievormen  ≠ bekwaamheden Vakbekwaamheid, pedagogische bekwaamheid en vakdidactische kennis ≠ rollen en functies  ≠ bekwaamheden Professionaliseringsinitiatieven Lerende gemeenschap  informeel leren Mogelijke oefeningen als team: Actieonderzoek : eigen evaluatiepraktijk als onderwerp van onderzoek Participerend ontwerpen: samen evaluatieopdrachten ontwerpen (al dan niet voorafgegaan door korte vorming) Peer-feedback Evalueren samen met collega’s Visie op toetsing ontwikkelen , beleid maken Professionaliseringsinitiatieven afbakenen: waar hebben we nood aan?  Quiz over evalueren en toetsen Welke competenties missen we in ons team? Maandelijkse evaluatietip op teamvergaderingen Toetsbekwaamheid (focus op evalueren om te beslissen én te leren; )

Dekkers, M.A.F. (2009). Aan de slag met onderwijsteams in het voortgezet onderwijs. Een praktisch boek over de succesfactoren van onderwijsteams in het voortgezet (Nederland) en secundair (Vlaanderen) onderwijs in een activerende onderwijsomgeving. Nuenen: OAB Dijkstra, A. & Baartman, L (2011). Zelfevaluatie van de kwaliteit van assessment. [Gedownload op 11 januari 2016 van http://www.ou.nl/documents/10815/82460a3b-ed92-413d-81cc- 36f6462ee2ff ] Sluijsmans, D., Joosten-ten Brinke, D. & Schilt-Mol, T., van (Red.)(2015). Kwaliteit van toetsing onder de loep. Handvatten om de kwaliteit van toetsing in het hoger onderwijs te analyseren, verbeteren en borgen. Antwerpen-Apeldoorn: Garant Meer info?