Kwaliteit van toetsing onder de loep

Presentatie over: "Kwaliteit van toetsing onder de loep"— Transcript van de presentatie:

1 Kwaliteit van toetsing onder de loep
De Toetsing Getoetst

2 toelichting programma waarom De Toetsing Getoetst kennismaking
introductie De Toetsing Getoetst aan de slag…

3 Opzet 4 dagdelen De Toetsing Getoetst
dagdeel 1 en 2: introductie methodiek en inzicht krijgen in de stand van zaken rondom toetsing binnen de opleiding (wat doen we), bepalen positie en ambitie (uitgaande van wat we doen: in welke fase van ontwikkeling bevinden we ons, in welke fase willen we ons bevinden en welke doelen kunnen we onszelf daartoe stellen) dagdeel 3: prioriteren en uitwerken van doelen dagdeel 4: presenteren van de opbrengsten van De Toetsing Getoetst binnen de opleiding Uitgangspunten: Vormgeven van een kwaliteitszorgsysteem voor toetsing binnen de eigen instelling Uitgaan van eigenaarschap Doel: Opleidingen in staat stellen de kwaliteit van toetsing systematisch te analyseren, verbeterplannen t.a.v. toetskwaliteit vast te stellen en de kwaliteit van toetsing duurzaam te borgen

4 Waarom De Toetsing Getoetst
Hier licht de aanvrager vanuit de opleiding toe waarom de opleiding deelneemt aan De Toetsing Getoetst. Er wordt ten minste aandacht besteed aan paragraaf 2 van het werkboek (die door de aanvrager voorafgaand aan deze bijeenkomst is ingevuld en g d naar alle deelnemers).

5 Kennismaking Deelnemers stellen elkaar voor door antwoord te geven op de vragen: wat zijn de taken mbt toetsing van de collega? wat is zijn specifieke expertise? De collega die voorgesteld is geeft vervolgens aan of dit juist is en geeft aanvullend antwoord op de vragen: wat kun je brengen? wat hoop je te halen?

6 Kwaliteit van toetsing - geoperationaliseerd
Duurzaam werken aan de kwaliteit van toetsing AISHE-methodiek/EFQM-INK-model Kwaliteit van inhoud/uitvoering 5 toetsentiteiten Toelichting uit werkboek: De afgelopen jaren is de kwaliteit van toetsing in het hoger onderwijs aan een kritisch oog onderworpen en staan binnen opleidingen vragen centraal als: Wat betekent kwaliteit van toetsing? Wanneer is het systeem van toetsing adequaat? Hoe goed is ons systeem van toetsen? Waar liggen verbeterpunten? Hoe houden we eigenaarschap over ons systeem van kwaliteitszorg? Om een antwoord te kunnen geven op deze vragen is in 2011 door het Lectoraat Toetsen en Beoordelen en de Service Unit Onderwijs & Onderzoek (SU O&O) van de Hogeschool van Arnhem en Nijmegen het initiatief genomen om een methodiek te ontwikkelen waarmee betrokkenen in het hoger de kwaliteit van toetsing kunnen analyseren, verbeteren en borgen. Op basis van wetenschappelijke en praktische bevindingen over toetskwaliteit en analysemodellen voor kwaliteit is door het lectoraat Toetsen en Beoordelen, de SU O&O en het lectoraat Duurzaam Beoordelen gewerkt aan een prototype van de methodiek. toelichting uit artikel over Toetsing Getoetst: Bij het definiëren van ‘voldoende’ kwaliteit, moet onderscheid gemaakt worden tussen enerzijds het duurzaam werken aan de kwaliteit van toetsing en anderzijds het geven van een kwalitatief goede invulling aan toetsing. Er wordt duurzaam gewerkt aan het realiseren van kwaliteit op alle lagen van de piramide als alle relevante actoren in de opleiding vanuit een middellangetermijnperspectief volgens de PDCA-cyclus activiteiten uitvoeren die zijn geïntegreerd in lopende processen binnen de opleiding. Het realiseren van een kwalitatief goede invulling aan het ontwerp, de uitvoering en de borging van de verschillende piramidelagen is uitsluitend mogelijk door het vaststellen van kwaliteitscriteria voor deze lagen. Aangezien opleidingen zelf verantwoordelijk zijn voor het vaststellen van deze criteria en hier ook eigen keuzes in kunnen, of zelfs moeten maken, kan de inhoudelijke invulling van wat verstaan wordt onder een ‘kwalitatief goede invulling’ per opleiding verschillen. Voor het realiseren van kwaliteit wordt opleidingen aanbevolen om te streven naar ten minste de systeem-georiënteerde fase. In deze fase is de kans dat de kwaliteit van bijvoorbeeld toetsen of het toetsprogramma berust op toeval of op de kwaliteiten van die professionele docent die hiermee individueel aan de slag is gegaan immers het kleinst: in de systeem-georiënteerde fase zijn er gezamenlijk kwaliteitscriteria vastgesteld, wordt er ontworpen en geëvalueerd aan de hand van deze criteria en vinden alle toetsingsprocessen in samenhang plaatst. Echter, gezien de context van het hoger beroepsonderwijs, waar opleidingen en beroepenveld zich gezamenlijk verantwoordelijk zouden moeten voelen voor het vaststellen en bereiken van de eindkwalificaties van de opleiding, en gezien de maatschappelijke waarde van de diploma’s die binnen het hoger beroepsonderwijs worden uitgegeven, zouden opleidingen voor het realiseren van duurzaam werken aan de kwaliteit van toetsing moeten streven naar de maatschappij-georiënteerde fase: in deze fase worden zowel het beroepenveld als maatschappelijke partners - zoals collega-instellingen en externe experts - daar waar relevant betrokken bij de inrichting van het onderwijs en de toetsing hiervan. Bron: Van Schilt-Mol, T., Sluijsmans, D., Peters, M., De Beer, F. &, Jakobs, L. (2016). De touwtjes in handen: toetskwaliteit in het hbo. Tijdschrift OnderwijsInnovatie, 4.

7 Duurzaam werken aan toetsing: ontwikkelingsfasen EFQM/INK-model
activiteiten-georiënteerd proces-georiënteerd systeem-georiënteerd keten-georiënteerd maatschappij-georiënteerd ontwikkeling wordt gekenmerkt door: betrokkenheid van (relevante) actoren integratie van activiteiten visie op (ontwerp/uitvoerings)termijn De ontwikkelingsfase waarin een opleiding zich bevindt geeft aan in welke mate de opleiding duurzaam werkt aan de kwaliteit van toetsing Uitgangspunten AISHE methodiek De AISHE methodiek is een instrument om te meten in hoeverre opleidingen er in slagen het thema duurzame ontwikkeling in te bedden in hun onderwijs. Belangrijke uitgangspunten voor de methodiek zijn eigenaarschap over de uitkomsten van de analyse en het stimuleren van de motivatie verbeteringen te willen implementeren. Basis voor de methodiek is een model voor kwaliteitsmanagement, ontwikkeld door de European Foundation for Quality Management (EFQM), en uitgebreid door het Instituut Nederlandse Kwaliteit (INK), het ‘EFQM-INK-model’ (Oakland, 1993). Uitgangspunt voor dat model is dat een organisatie zich ten aanzien van een aantal criteria kan bevinden in een bepaalde ontwikkelingsfase. Het model definieert vijf van zulke fasen. De criteria waarop deze vijf ontwikkelingsfasen betrekking hebben zijn van uiteenlopende aard. Het gaat o.a. om thema’s rond beleid en strategie, personeelsmanagement, management van processen en de behaalde resultaten. Bij de AISHE-methode gaat het om 20 criteria, gegroepeerd in vijf aandachtsgebieden. Deze zijn, in navolging van het EFQM-model, gebundeld in drie categorieën, gebaseerd op de ‘Deming-cirkel’ voor kwaliteitsmanagement: ‘PLAN’ – ‘DO’ – ‘CHECK’ – ‘ACT’, oftewel: voorbereiden - uitvoeren - controleren – bijstellen. Zowel het EFQM-model als het INK model zijn erkende methoden die breed worden toegepast binnen de kwaliteitszorg in Europa (zie bijvoorbeeld Hardjono en Hes, 1999). De AISHE-methode heeft de volgende kenmerken die ook voor een methodiek om toetskwaliteit vast te stellen van belang zijn: Er wordt uitgegaan van fasen van ontwikkeling; activiteiten-georiënteerd systeem-georiënteerd proces-georiënteerd keten-georiënteerd maatschappij-georiënteerd De relatie met de PDCA cyclus van Deming; Er wordt gebruik gemaakt van één set van criteria die alle betrokkenen hanteren; Door zelfevaluatie komen opleiding tot een positie- en ambitiebepaling.

8 Toelichting ontwikkelingsfasen
maak in tweetallen kloppende setjes van de kaarten zijn de ontwikkelingsfasen duidelijk?

9 AISHE/EFQM* Activiteiten-georiënteerd: individuele actor in de opleiding, ad-hoc, losse activiteiten Proces-georiënteerd: relevante actoren in de opleiding, incidenteel, procesmatig, activiteiten in samenhang Systeem-georiënteerd: alle relevante actoren in de opleiding, middellange termijn beleid, systematisch, structureel, activiteiten in samenhang Keten-georiënteerd: alle relevante actoren in de keten, middellange termijn beleid, systematisch, structureel, activiteiten in samenhang Maatschappij-georiënteerd: alle relevante actoren in de maatschappij, lange termijn beleid, systematisch, structureel, activiteiten in samenhang *Gebaseerd op: Expertgroep HBO (2004). Methode voor kwaliteitsverbetering van het hoger onderwijs naar het EFQM-model.

10 Kwaliteit van inhoud/uitvoering: 5 toetsentiteiten
Toelichting Toetstaken Een toetstaak is een item of opdracht binnen een toets waarmee studenten worden uitgedaagd hun kennis en vaardigheden te tonen. Toetsen Een toets is een meetinstrument dat in het onderwijs wordt ingezet om na te gaan of de doelen van onderwijs door studenten worden en zijn bereikt. Toetsprogramma Een toetsprogramma is een bewuste en beargumenteerde combinatie van toetsvormen, passend bij de doelen en opbouw van een opleiding. Toetsbeleid Met toetsbeleid wordt het geheel aan vastgestelde afspraken, zowel inhoudelijk als procedureel, over toetsen en beoordelen bedoeld. Toetsorganisatie Toetsorganisatie verwijst naar de wijze waarop docenten, examencommissie, toetscommissie, management en ondersteunende medewerkers doelgericht met elkaar samenwerken om de gewenste toetskwaliteit te realiseren. Toetsbekwaamheid Toetsbekwaamheid is de deskundigheid die bij opleidingen aanwezig moet zijn om te zorgen voor kwaliteit van toetsing op alle lagen van de kwaliteitspiramide.

11 3 elementen per toetsentiteit
Lagen Elementen TOETSORGANISATIE TOETSBEKWAAMHEID TOETSEN -toets/toetstaken -toetsprogramma -toetsbeleid KWALITEITS-CRITERIA Welke criteria worden gebruikt om de toetsorganisatie in te richten? Welke criteria worden gebruikt om toetsbekwaamheid vast te stellen? Welke criteria worden gebruikt om toetskwaliteit vast te stellen? ONTWERP Hoe zit het bouwwerk van de toetsorganisatie in elkaar? Hoe wordt professionalisering m.b.t. toetsing ingericht? Hoe worden toets/toetstaken, toetsprogramma, toetsbeleid ontworpen? KWALITEITS-BORGING Hoe wordt de kwaliteit van de toetsorganisatie geborgd? Hoe wordt de kwaliteit van de toetsbekwaamheid geborgd? Hoe wordt de kwaliteit van de toets/toetstaken, toetsprogramma en toetsbeleid geborgd? Voor iedere toetsentiteit is een set van drie elementen benoemd op basis waarvan een analyse kan worden uitgevoerd. Het eerste element, kwaliteitscriteria, gaat over de vraag welke criteria de opleiding gebruikt om de kwaliteit van de toetsentiteit vast te stellen. Vragen die hierbij aan de orde komen zijn bijvoorbeeld: Welke criteria worden gebruikt om de kwaliteit van toetsen en toetstaken vast te stellen? Wat zijn de richtlijnen bij het opstellen van het toetsbeleid? Het tweede element, ontwerp, is gericht op de vraag hoe de vijf toetsentiteiten aan de hand van deze kwaliteitscriteria zijn ontworpen. Vragen die bij de analyse kunnen worden gesteld zijn: Hoe worden toetsen en toetstaken ontworpen en door welke actoren? Hoe worden docenten geprofessionaliseerd in toetsbekwaamheid? Het derde element, kwaliteitsborging, richt zich op de wijze waarop de kwaliteitsborging van de toetsentiteiten wordt ingericht. Voorbeelden van vragen zijn: Wie stelt vast of interventies uit het toetsbeleid zijn behaald? Hoe worden verbeteracties geformuleerd en geïmplementeerd?

12 Bespreking kwaliteit per toetsentiteit
Wanneer is er sprake van duurzaam werken aan de kwaliteit hiervan? Bij de bespreking van de kwaliteit van iedere toetsentiteit wordt de terminologie van de ontwikkelingsfasen steeds gebruikt. Deze fasen vormen, samen met de vijf toetsentiteiten, en de hierbinnen onderscheiden drie elementen, de kern van De Toetsing Getoetst (en komen samen in het toetsweb).

13 Toetsorganisatie Wat is het?
Toetsorganisatie verwijst naar de wijze waarop docenten, examencommissie, toetscommissie, management en ondersteunende medewerkers doelgericht met elkaar samenwerken om de gewenste toetskwaliteit te realiseren. In een opleiding waar duurzaam gewerkt wordt aan de kwaliteit van de toetsorganisatie: worden de juiste actoren betrokken bij het ontwerpen en evalueren van de volledige toetsorganisatie, en vindt dit ontwerp en deze evaluatie plaats aan de hand van vastgestelde kwaliteitscriteria vinden de verschillende toetsprocessen (ontwikkelen toetsen/toetstaken, ontwikkelen toetsbeleid, ontwikkelen toetsprogramma, ontwikkelen toetsbekwaamheid) in samenhang plaats weten de actoren binnen toetsing van zichzelf en elkaar wat hun taken, rollen en verantwoordelijkheden binnen alle toetsprocessen zijn Kwaliteit van de toetsorganisatie wordt bepaald door twee aspecten, te weten (1) het positioneren en rolvast met elkaar samenwerken van de verschillende actoren en (2) procesdenken en proceshandelen. Binnen een toetsorganisatie spelen verschillende actoren een rol. Het is van groot belang dat deze actoren weten hoe zij ten opzichte van elkaar gepositioneerd zijn en hoe onderlinge afstemming over de taken, bevoegdheden en verantwoordelijkheden vorm kan krijgen. In Tabel 9.11 zijn de belangrijkste actoren opgenomen. Hierbij wordt beknopt hun rol beschreven. Tabel 9.11 Actoren binnen een toetsorganisatie. Actoren Beschrijving van de rol Docenten Docenten zijn verantwoordelijk voor het primaire proces, inclusief de toetsing. Bij het uitvoeren van de toetscyclus werken zij samen met collega’s. Wanneer docenten eindverantwoordelijk zijn voor één of meerdere fasen uit de toetscyclus worden zijn examinatoren genoemd. Opleidingsmanagement Het opleidingsmanagement zorgt dat er een gemeenschappelijk toetsbeleid en een samenhangend toetsprogramma is dat sturend is voor de ontwikkeling van toetsen. Binnen de kaders geven zij docenten voldoende professionele ruimte om toetsen te ontwikkelen en beoordelen, zij nemen wel verantwoording af over de wijze waarop deze ruimte is ingevuld. Daarnaast is het aan het management te stimuleren dat toetsontwikkelaars en examinatoren geëquipeerd zijn voor hun rol. Leden van examencommissie De examencommissie is verantwoordelijk voor de borging van toetskwaliteit. De commissie moet controleren of er altijd toetskwaliteit wordt geleverd en adviseert het management over te nemen maatregelen. De commissie benoemt examinatoren en spreekt hen aan op geleverde toetskwaliteit. Toetsexperts Toetsexperts kunnen (als ondersteunend staforgaan) docenten ondersteunen bij het ontwikkelen van toetsen en het management adviseren over de toetskwaliteit van de opleiding, informatie verschaffen over structurele kwaliteitsproblemen en ondersteunen bij het ontwikkelen en implementeren van toetsbeleid. Ondersteunende medewerkers Ondersteunende medewerkers zijn betrokken bij een of meerdere stappen in het toetsproces, bijvoorbeeld bij het opstellen van toetsroosters en surveilleren. Werkveld en externe deskundigen Het werkveld (bijvoorbeeld beroepenveldcommissie, stagebedrijven, alumni) valideert de doelstellingen van de opleiding en wordt daarom ook betrokken bij de validiteitsvraag rondom toetsing: zijn toetsen en het eindwerk qua inhoud en niveau voldoende om te kunnen vaststellen dat opleidingsdoelen zijn behaald. Externen nemen als lid deel aan de examencommissie. Collega-opleidingen wisselen expertise uit en doen aan ‘benchmarking’. Naast het positioneren en rolvast samenwerking van verschillende factoren zijn ook procesdenken en proceshandelen van belang voor de kwaliteit van een toetsorganisatie. Binnen een toetsorganisatie zijn drie hoofdprocessen te onderscheiden: (1) het ontwerpen van het toetsbeleid, (2) het ontwerpen van het toetsprogramma en (3) het ontwerpen van een toets inclusief de toetstaken. Daarnaast zijn er ondersteunende processen die mede de kwaliteit van toetsing bepalen, zoals het opstellen van toetsroosters, het aanwijzen van examinatoren, het verlenen van vrijstellingen en het professionaliseren van examinatoren. Procesdenken en proceshandelen leiden tot een toename van effectiviteit en efficiëntie. Omdat procesmanagement te vaak gezien wordt als controlerend en beknotting van professionele ruimte moeten alleen die zaken gestandaardiseerd worden die cruciaal en noodzakelijk zijn om kwaliteit te kunnen garanderen. Binnen deze kaders moet er vervolgens maximale ruimte worden ingebouwd voor de deskundigheid van professionals, zodat creativiteit en vakmanschap maximaal worden benut. Er zijn vier criteria te benoemen aan de hand waarvan kan worden vastgesteld of een proces goed is ingericht. In onderstaande tabel (Tabel 9.12) worden deze kort toegelicht. Tabel 9.12 Criteria waaraan een goed ingericht proces voldoet. Criteria Toelichting op de criteria Het proces is gericht op het behalen van doelen. Bij de ontwerp van elk proces dient helder te zijn welk resultaat moet worden opgeleverd en welke middelen nodig zijn om dat te bereiken. Aan de basis van een proces ligt een PDCA-cyclus waarin permanent bewaakt wordt of het beoogde resultaat behaald wordt. Het proces past binnen het geheel aan activiteiten. Een proces staat niet op zichzelf: er is geen sprake van één proces met een eigen kwaliteitscyclus (PDCA) maar van vele in elkaar grijpende cycli op strategisch, tactisch en operationeel niveau. Afstemming van processen is daarmee cruciaal. De (vooraf) gestelde kwaliteitsnormen kunnen te allen tijden worden behaald Kwaliteitsnormen die gesteld kunnen worden aan de processen zijn: (1) volledigheid en juistheid (is het proces zo ingericht dat er geleverd kan worden conform gestelde normen), (2) tijdigheid (is het proces zo ingericht dat resultaten worden geleverd binnen de gestelde doorlooptijd), (3) rechtmatigheid (is het proces ingericht conform geldende eisen vanuit relevante wet- en regelgeving) en (4) efficiëntie (leveren alle activiteiten in het proces een toegevoegde waarde). De risico’s zijn afdoende afgedekt Voorafgaand aan een proces moet worden nagedacht over mogelijke risico’s en maatregelen om deze te beheersen.

14 Toetsbeleid Wat is het? Met toetsbeleid wordt het geheel aan vastgestelde afspraken, zowel inhoudelijk als procedureel, over toetsen en beoordelen bedoeld. toetskader: het beleidsstuk op hogeschoolniveau toetsplan: het beleidsstuk op opleidingsniveau In een opleiding waar duurzaam gewerkt wordt aan de kwaliteit van toetsbeleid: worden de juiste actoren betrokken bij het ontwerpen en evalueren van het toetsplan, en vindt dit ontwerp en deze evaluatie plaats aan de hand van vastgestelde kwaliteitscriteria wordt het toetsplan geschreven vanuit een opleidingsvisie op toetsing en kwaliteit, en wordt aangesloten bij geldende kaders bevat het toetsplan interventies (gerichte acties) die op basis van structurele analyses zijn vastgesteld Kwaliteit van toetsbeleid wordt bepaald door drie aspecten, te weten (1) het beschrijven van interventies, (2) de context waarin toetsbeleid wordt ingebed en (3) het belang van ‘evidence-informed’ toetsbeleid. In het toetsbeleid op zowel instellings- als opleidingsniveau worden doelen en resultaten nagestreefd. Om deze te behalen, moeten gerichte acties, ook wel interventies, worden uitgevoerd. Deze kunnen procesmatig of inhoudelijk zijn. Een procesmatige interventie is gericht op de organisatie rondom toetsen en beoordelen en heeft tot doel om zeker te stellen dat de organisatorische aspecten van toetsing bijdragen aan de kwaliteit van toetsing. Een inhoudelijke interventie is gericht op bepaalde kwaliteitsaspecten van toetsen en beoordelen en heeft tot doel het garanderen van de afgesproken kwaliteit en/of het initiëren van vernieuwingen. Hierbij kan onderscheid gemaakt worden naar ‘traditionele’ interventies gericht op kwaliteitsaspecten als validiteit en betrouwbaarheid en ‘innovatieve’ interventies gericht op structurele vernieuwing van de onderwijspraktijk. Naast het beschrijven van interventies is de kwaliteit van toetsbeleid ook mede afhankelijk van de context waarin toetsbeleid wordt ingebed. De context bevat vijf aspecten: de externe vereisten, de interne samenhang, de ondersteuning van de implementatie, de monitoring en evaluatie, en de samenhang van het toetsbeleid met andere beleidsgebieden. In onderstaande tabel (Tabel 9.9) worden deze beknopt toegelicht. Tabel 9.9 Aspecten van de context waarin het toetsbeleid wordt ingebed Aspecten Beschrijving van de aspecten Externe vereisten Binnen het toetsbeleid moet worden aangesloten bij externe vereisten (zoals het versterken van de onafhankelijkheid en deskundigheid van de examencommissie, het verscherpen van de eisen aan de kwaliteit van toetsing en het versterken van de externe validiteit van toetsing). Om in te spelen op deze maatregelen en aan te tonen dat zij ‘in control’ zijn dienen hoge scholen/universiteiten te beschikken over een toetskader dar richtinggevend is voor opleidingen. Interne samenhang Toetsbeleid wordt op verschillende niveaus gedefinieerd, dit gebeurt in onderlinge samenhang. Aanbevolen wordt uit te gaan van een instellingsbreed toetskader dat opleidingen uitwerken in een toetsplan. Ondersteuning implementatie In het toetskader is opgenomen hoe opleidingen worden ondersteund bij het opstellen van toetsplannen en het uitvoeren van de interventies. Voorbeelden hiervan zijn formats voor het toetsplan en jaarverslag examencommissie, en faciliteren van trainingen, advisering en coaching. Monitoring en evaluatie In het toetskader en toetsplan wordt beschreven op welke termijn en op welke wijze het toetsbeleid wordt geëvalueerd. Bij monitoring gaat het om inzicht in de voortgang van de interventies, bij evaluatie om het meten van effecten van het toetsbeleid. Samenhang toetsbeleid andere beleidsgebieden Het toetsbeleid moet een consistent en sluitend geheel vormen met relevante beleidsstukken op alle niveaus: er moet sprake zijn van zowel horizontale samenhang (consistentie in beleid binnen beleidsniveaus) als verticale samenhang (consistentie in beleid tussen verschillende beleidsniveaus). Tot slot wordt de kwaliteit van toetsbeleid beïnvloed door de mate waarin er sprake is van ‘evidence-informed’ beleid. Dit betekent dat de bewezen effecten van toetsbeleid van anderen worden gebruikt voor het ontwerp en de implementatie van het eigen toetsbeleid. In de context van onderwijs is evidentie dat een interventie elders, in een bepaalde setting, voor een bepaalde doelgroep, op een bepaald moment een significant effect had, niet zonder meer van toepassing op andere instellingen (Onderwijsraad, 2003). Daarom moet worden bepaald of wat in een andere context werkt (‘evidence-informed’) ook in de eigen situatie gaat werken. Hiervoor kan gebruik gemaakt worden van een horizontal search (bepalen van ondersteunende factoren die bij een interventie die in één of meerdere contexten effectief is gebleken) en een vertical search (afwisselend abstraheren en weer concretiseren van de interventie om na te gaan of dezelfde factoren ook in de eigen situatie een rol spelen) (Cartwright & Hardie, 2012).

15 Toetsprogramma Wat is het?
Een toetsprogramma is een bewuste en beargumenteerde combinatie van toetsvormen, passend bij de doelen en opbouw van een opleiding. In een opleiding waar duurzaam gewerkt wordt aan de kwaliteit van het toetsprogramma: worden de juiste actoren betrokken bij het ontwerpen en evalueren van het toetsprogramma, en vindt dit ontwerp en deze evaluatie plaats aan de hand van vastgestelde kwaliteitscriteria wordt het toetsprogramma zowel horizontaal als verticaal ontworpen wordt een beargumenteerde balans gezocht tussen de meest geschikte toetsvormen (op basis van de opleidingskwalificaties, de formatieve en summatieve functies van toetsen, en de hoeveelheid toetsen of de informatie die nodig is om betrouwbare uitspraken te kunnen doen over een student) en de uitvoerbaarheid van het programma De kwaliteit van een toetsprogramma wordt bepaald door een tweetal aspecten, te weten (1) de kwaliteitscriteria voor toetsprogramma’s en (2) de kwaliteit van afzonderlijke toetsen. De kwaliteit van een toetsprogramma is te relateren aan verschillende kwaliteitscriteria. Op de eerste plaats zijn dit de psychometrische criteria als betrouwbaarheid en validiteit. Vanwege de directe relatie tussen toetsing en onderwijs zijn daarnaast ook criteria die gericht zijn op het stimuleren van het leerproces van de student van belang (Baartman, Bastiaens, Kirschner, & Van der Vleuten, 2007a). Er moet, met andere woorden, ook expliciet aandacht besteed worden aan de formatieve functie van toetsprogramma’s en de functies (formatief of summatief) van de afzonderlijke toetsen. Input voor de kwaliteit en het ontwerpen van toetsprogramma’s is te vinden in de ontwerprichtlijnen voor toetsprogramma (Dijkstra, et al., 2012), de zeven principes van Assessment 2020 (Boud and Associates, 2010, zie ook Tabel 1.1) en de tien kenmerken van duurzaam beoordelen (Sluijsmans, 2010). Op de tweede plaats is de kwaliteit van een toetsprogramma te relateren aan de kwaliteit van de in het toetsprogramma opgenomen toetsen: als toetsen deel uitmaken van een groter programma, kan de kwaliteit van de afzonderlijke toets worden beschouwd binnen het totaal van de kwaliteit van het toetsprogramma (Van der Vleuten & Schuwirth, 2005). Iedere toets bepaalt binnen het totale programma een stukje van de validiteit. Dit betekent concreet dat niet iedere toets (alle aspecten van) een opleidingskwalificatie hoeft te dekken, zolang de dekking van alle opleidingskwalificaties in het totale toetsprogramma gerealiseerd wordt.

16 Toets(tak)en Wat is het?
Een toets is een meetinstrument dat in het onderwijs wordt ingezet om na te gaan of de doelen van onderwijs door studenten worden en zijn bereikt. Een toetstaak is een item of opdracht binnen een toets waarmee studenten worden uitgedaagd hun kennis en vaardigheden te tonen. In een opleiding waar duurzaam gewerkt wordt aan de kwaliteit van toetsen/toetstaken: worden de juiste actoren betrokken bij het ontwerpen en evalueren van de toetsen en toetstaken, en vindt dit ontwerp en deze evaluatie plaats aan de hand van vastgestelde kwaliteitscriteria worden bij het ontwerpen een toetscyclus en ontwerpproces volledig doorlopen Kwaliteit van toetsen wordt bepaald door drie aspecten, te weten (1) het voldoen aan kwaliteitscriteria, (2) het (optimaal) doorlopen van de stappen in de toetscyclus en (3) communicatie over en samenwerking bij het construeren van toetsen. Bij het construeren van toetsen moet rekening gehouden worden met verschillende kwaliteitscriteria, waaronder validiteit en betrouwbaarheid. Een toets is valide als de toets meet wat beoogt wordt te meten. Hierdoor is de toets betekenisvol en bruikbaar en zijn de consequenties die uit de toetsscores getrokken worden gerechtvaardigd. Een toets is betrouwbaar als de resultaten op de toets een afspiegeling zijn van de daadwerkelijke capaciteiten van een student. Vanwege accuratesse en consistentie van standaarden, criteria en besluiten door de tijd heen en tussen beoordelaars, is er sprake van herhaalbaarheid van prestaties of toetsscores op een toets. In literatuur over toetskwaliteit worden naast de basiscriteria validiteit en betrouwbaarheid ook andere criteria onderscheiden. Onderstaande tabel (Tabel 9.3) geeft een overzicht van deze criteria. Tabel 9.3 Kwaliteitscriteria van toetsen (op basis van Eggen, 2009; Evers, Lucassen, Meijer, & Sijtsma, 2010; Gerritsen-van Leeuwenkamp, 2012; Linn, 1990; Messick, 1995; Tillema, Leenknecht, & Segers, 2011; Van Berkel et al., 2014) Beschrijving van de kwaliteitscriteria Kwaliteitscriteria Validiteit Er is sprake van accuratesse en consistentie van standaarden, criteria en besluiten door de tijd heen en tussen beoordelaars. Betrouwbaarheid Met toetsen wordt gemeten wat beoogd wordt te meten. De toets is betekenisvol en bruikbaar en dat de conclusies die uit de toetsscores worden getrokken zijn gerechtvaardigd. Objectiviteit Toetsen zijn bruikbaar om te hanteren. Bruikbaarheid Bij de score-interpretatie is rekening gehouden met positieve en negatieve gevolgen die de toetsen op het onderwijs kunnen hebben. Consequenties De beoordelaar oefent geen invloed uit op de hoogte van de score en de uiteindelijke beoordeling. Transparantie De toetsinhoud en de resultaten op een toets zijn inhoudelijk beargumenteerd en te rechtvaardigen tegenover de student. Motiveerbaarheid De toetsen geven de student persoonlijke feedback over de sterke punten en verbeterpunten. Feedback De toetsen en de bijbehorende procedures zijn duidelijk en begrijpelijk voor alle betrokken deelnemers. Ondersteuning Teksten in de toets zijn zorgvuldig geformuleerd. Formulering De student ontvangt op aanvaardbare termijn antwoord op inhoudelijke en procedurele vragen over toetsen. De doelen en criteria van een toets zijn realiseerbaar voor gekwalificeerde studenten op het betreffende competentieniveau. Realiseerbaarheid Daarnaast moet bij het construeren van toetsen een toetscyclus doorlopen worden, waarbij elke stap uit de cyclus een bijdrage levert aan het realiseren van kwaliteit van de toets (Downing & Haladyna, 2006). De toetscyclus bestaat uit tien stappen. In Tabel 9.4 worden de stappen van de cyclus beknopt toegelicht. Tabel 9.4 Stappen uit de toetscyclus Beschrijving van de stappen Stappen 1. Ontwerp Vijf basisvragen staan centraal: waarom wordt er getoetst, wat wordt er getoetst, wanneer wordt er getoetst, wie is betrokken bij de toetsing en hoe wordt er getoetst. Door het beantwoorden van deze vragen worden het gebruiksdoel van de toets, de doelgroep, de functie en de toetsinhoud beschreven. De leerdoelen of constructdeelonderwerpen schematisch gerangordend met daarbij de (cognitieve) gedragscomponent die van de student wordt verwacht, zodanig dat een overzicht ontstaat van de verdeling van toetsvragen en opdrachten over de inhoud, contexten en beheersingsniveaus. 2. Toetsmatrijs/opdracht-ontwerpschema 4. Construeren toets Op een systematische manier worden toetstaken ontworpen, waarbij de toetstaakcyclus (bestaande uit de stappen systematische voorbereiding, uitvoering en evaluatie) doorlopen wordt. 3. Toetstaken Op basis van de toetsmatrijs wordt de toets samengesteld. Naast de toetstaken worden ook de instructie en het correctie- of beoordelaarsvoorschrift toegevoegd De cesuur wordt vastgesteld. Hierbij wordt bepaald of er sprake is van relatief beoordelen (studenten worden onderling vergeleken) of absoluut beoordelen (bepalen of een student minimaal competent is) en wordt rekening gehouden met aspecten als de plaats en functie van de toets in het toetsprogramma en de eisen vanuit het werkveld. 5. Vaststellen cesuur De toets wordt afgenomen. Bij schriftelijke toetsen en opdrachten die met directe observatie kunnen worden beoordeeld is voor de afname een gestandaardiseerde omgeving en de aanwezigheid van een beoordelaar of surveillant vereist. Voor opdrachten die beoordeeld worden op basis van een proces dat leidt tot een product zijn duidelijke instructies en een omschrijving van de aard en het maximum aan begeleidingsactiviteiten belangrijk. 6. Toetsafname De toets wordt beoordeeld. Voor toetsen met open vragen en opdrachten is een systematische methode van scoring en beoordeling vastgelegd in een protocol. 7. Beoordelen 8. Analyseren Het analyseren van de toets geeft inzicht in de mate waarin toetsen betrouwbaar zijn en in de mate waarin verschillende toetstaken bijdragen aan deze betrouwbaarheid. Bij opdrachten levert de analyse ook inzicht op over de manier waarop beoordelingscriteria zijn gehanteerd en over eventuele beoordelaarseffecten. Deze informatie wordt, samen met informatie over het afnameproces en de kwaliteit van de toets en toetstaken, gebruikt om de voorlopige cesuur ofwel aan te passen ofwel definitief te maken Alle stappen van de toetscyclus worden geëvalueerd. 9. Evalueren Het derde voor toetsen relevante aspect is de communicatie over en samenwerking bij het construeren van toetsen. Communicatie over de verschillende stappen uit de toetscyclus bevordert transparantie en zorgt voor draagvlak. Voor het verhogen van de kwaliteit van de toets is het van belang collega’s in de opleiding, studenten en werkveld te betrekken en waar mogelijk en haalbaar bij iedere stap uit de cyclus gebruik te maken van het ‘vierogenprincipe’.

17 Toetsbekwaamheid Wat is het?
Toetsbekwaamheid is de deskundigheid die bij opleidingen aanwezig moet zijn om te zorgen voor kwaliteit van toetsing op alle lagen van de kwaliteitspiramide. In een opleiding waar duurzaam gewerkt wordt aan de kwaliteit van toetsbekwaamheid: worden de juiste actoren betrokken bij het ontwerpen en evalueren van toetsbekwaamheid, en vindt dit ontwerp en deze evaluatie plaats aan de hand van vastgestelde kwaliteitscriteria wordt toetsbekwaamheid bepaald op basis van een opleidingsvisie op toetsing en kwaliteit worden de vereiste bekwaamheden van de actoren binnen toetsing in kaart gebracht, rekening houdend met rolspecifieke taken, verantwoordelijkheden en bevoegdheden van toetsbekwaamheid wordt bepaald door een zestal aspecten. In Tabel 9.15 zijn deze aspecten, inclusief beknopte toelichting, weergegeven. Tabel 9.15 Aspecten van toetsbekwaamheid die van belang zijn voor het borgen van kwaliteit Aspecten Toelichting op de aspecten Verschillende functies van toetsen vereisen specifieke toetsbekwaamheid. Toetsen hebben verschillende functies: de formatieve functie, de summatieve functie en de duurzame functie. Met name de formatieve en summatieve functie stellen aanvullende eisen aan de toetsbekwaamheid van docenten, zoals het ontwerpen van op ontwikkel- en leerproces gerichte beoordelingsmodellen en het geven van effectieve feedback. Iedere toetsvorm vereist specifieke toetsbekwaamheid. Het type toets i bepalend voor de toetsbekwaamheid die van examinatoren wordt verwacht. Wanneer specifieke toetsen aanvullende toetsbekwaamheid vereisen (zoals complexe toetsvormen als beroeps- en praktijkopdrachten), is het aan te raden aparte profielen hiervoor te ontwikkelen aan de hand waarvan een examencommissie examinatoren kan benoemen. Toetsbekwaamheid veronderstelt vakbekwaamheid, pedagogische en vakdidactische kennis. Toetsbekwaamheid wordt sterk bepaald door vakbekwaamheid of domeindeskundigheid: vakbekwaamheid is nodig om een oordeel te kunnen geven en criteria te bepalen aan de hand waarvan het oordeel onderbouwd wordt en is noodzakelijk om onder meer studentprestaties te analyseren, feedback te geven en instructie aan te passen, pedagogische en vakdidactische kennis is bepalend voor het vaststellen van begrip van studenten en het daarop adequaat kunnen handelen. Toetsbekwaamheid vereist samenwerking vanuit rolspecifieke taken, verantwoordelijkheden en bevoegdheden. Om toetsbekwaamheid te vergroten is samenwerking nodig tussen alle actoren, hierbij kan bijvoorbeeld worden gedacht aan samenwerking tussen het opleidingsmanagement en de examencommissie om de inzet van de juiste examinatoren voor een toets te borgen. Het ontwikkelen van toetsbekwaamheid vraagt om effectieve professionaliseringsaanpakken. Effectieve professionaliseringsactiviteiten om de toetsbekwaamheid te ontwikkelen zijn (1) het inbedden van opdrachten in praktijkgerichte werkvormen met een cyclisch karakter gericht op de eigen onderwijspraktijk, (2) participerend ontwerpen en (3) bij toetsing betrokken actoren (docenten, werkveld, studenten) elkaar feedback laten geven op toetsontwerpen, de afname van toetsen en de wijze van geven van feedback. Het ontwikkelen van toetsbekwaamheid vraagt om een professionele leergemeenschap. In een professionele leergemeenschap is er sprake van een gemeenschappelijk visie op leren en toetsen, waarbij ruimte wordt genomen om de overtuigingen en percepties over leren en toetsen met elkaar te delen en van elkaar te leren. Wanneer opleiders in een professionele gemeenschap samen leren kan dit een positieve uitwerking hebben op toetskwaliteit en toetsbekwaamheid.

18 metafoor - touwtrekken
voorafgaand vaststellen wie verantwoordelijk willen zijn voor welke laag

19 Duurzame kwaliteit van toetsing: het toetsweb
Kwaliteit van toetsing kan worden geoperationaliseerd aan de hand van het toetsweb. Het toetsweb bestaat uit de vijf entiteiten van toetskwaliteit - toets(tak)en, toetsprogramma, toetsbeleid, toetsorganisatie en toetsbekwaamheid. Deze vijf zijn verbonden met elkaar én ook met de kern van het web. Binnen deze entiteiten wordt onderscheid gemaakt naar de elementen kwaliteitscriteria (welke criteria worden gebruikt om bijvoorbeeld de toetsorganisatie in te richten en om de kwaliteit vast te stellen), ontwerp (hoe wordt bijvoorbeeld professionalisering ingericht) en kwaliteitsborging (hoe wordt de kwaliteit van bijvoorbeeld het toetsbeleid geborgd). Vanuit elk van de vijf entiteiten kan worden gewerkt naar duurzame toetskwaliteit via vijf ontwikkelingsfasen, waarvoor aangesloten is bij de vijf kwaliteitsfasen van het AISHE-model: 1) activiteiten-georiënteerd, 2) proces-georiënteerd, 3) systeem-georiënteerd, 4) keten-georiënteerd en 5) maatschappij-georiënteerd. Kenmerkend binnen deze fasen is een ontwikkeling in de wijze waarop actoren ingezet worden (van individuele acties naar acties waarbij alle relevante actoren betrokken zijn), een ontwikkeling in het langetermijndenken (van ad hoc naar een langetermijnstrategie) en een ontwikkeling in de integratie van processen in het onderwijsproces (van losstaande activiteiten naar activiteiten die bewust in samenhang worden uitgevoerd). In het toetsweb is de buitenste ring is de activiteiten-georiënteerde fase, de binnenste ring de maatschappij-georiënteerde fase. Hierdoor kan een opleiding als het ware omhoog klimmen: hoe verder de opleiding klimt, hoe dichter ze bij de kern - het duurzaam werken aan kwaliteit - komen. Voor ieder knooppunt in het toetsweb is een beknopte omschrijving geschreven waarin geschetst wordt op welke wijze de kwaliteitsprocessen ingericht zijn voor die betreffende toetsentiteit. Deze kern is de verbindende schakel in het web: zowel de toetsentiteiten als de ontwikkelingsfasen beïnvloeden de stabiliteit van deze kern. Het web symboliseert de kwetsbaarheid van het geheel: te veel of te weinig aandacht voor één entiteit of te weinig aandacht voor de onderlinge verbondenheid van de entiteiten kan de kern van het web verstoren. Maar ook een disbalans in de fasen van ontwikkeling per toetsentiteit kan de kern uit het midden halen. Bij de Toetsing Getoetst kijken de deelnemers per toetsentiteit eerst waar ze nu staan, vervolgens waar ze zouden willen staan (ontwikkelingsfase). Deze posities worden in het web geel en blauw gekleurd.

20 ‘Voldoende’ kwaliteit?
realiseren van kwaliteit ten minste systeem-georiënteerd maatschappij-georiënteerd maatschappelijke waarde van diploma’s afstemming met hbo kwalitatief goede invulling van kwaliteit gedeelde visie op toetsing gezamenlijk invulling van kwaliteitscriteria toelichting uit artikel over Toetsing Getoetst: Bij het definiëren van ‘voldoende’ kwaliteit, moet onderscheid gemaakt worden tussen enerzijds het duurzaam werken aan de kwaliteit van toetsing en anderzijds het geven van een kwalitatief goede invulling aan toetsing. Er wordt duurzaam gewerkt aan het realiseren van kwaliteit op alle lagen van de piramide als alle relevante actoren in de opleiding vanuit een middellangetermijnperspectief volgens de PDCA-cyclus activiteiten uitvoeren die zijn geïntegreerd in lopende processen binnen de opleiding. Het realiseren van een kwalitatief goede invulling aan het ontwerp, de uitvoering en de borging van de verschillende piramidelagen is uitsluitend mogelijk door het vaststellen van kwaliteitscriteria voor deze lagen. Aangezien opleidingen zelf verantwoordelijk zijn voor het vaststellen van deze criteria en hier ook eigen keuzes in kunnen, of zelfs moeten maken, kan de inhoudelijke invulling van wat verstaan wordt onder een ‘kwalitatief goede invulling’ per opleiding verschillen. Voor het realiseren van kwaliteit wordt opleidingen aanbevolen om te streven naar ten minste de systeem-georiënteerde fase. In deze fase is de kans dat de kwaliteit van bijvoorbeeld toetsen of het toetsprogramma berust op toeval of op de kwaliteiten van die professionele docent die hiermee individueel aan de slag is gegaan immers het kleinst: in de systeem-georiënteerde fase zijn er gezamenlijk kwaliteitscriteria vastgesteld, wordt er ontworpen en geëvalueerd aan de hand van deze criteria en vinden alle toetsingsprocessen in samenhang plaatst. Echter, gezien de context van het hoger beroepsonderwijs, waar opleidingen en beroepenveld zich gezamenlijk verantwoordelijk zouden moeten voelen voor het vaststellen en bereiken van de eindkwalificaties van de opleiding, en gezien de maatschappelijke waarde van de diploma’s die binnen het hoger beroepsonderwijs worden uitgegeven, zouden opleidingen voor het realiseren van duurzaam werken aan de kwaliteit van toetsing moeten streven naar de maatschappij-georiënteerde fase: in deze fase worden zowel het beroepenveld als maatschappelijke partners - zoals collega-instellingen en externe experts - daar waar relevant betrokken bij de inrichting van het onderwijs en de toetsing hiervan. Bron: Van Schilt-Mol, T., Sluijsmans, D., Peters, M., De Beer, F. &, Jakobs, L. (2016). De touwtjes in handen: toetskwaliteit in het hbo. Tijdschrift OnderwijsInnovatie, 4.

21 verdeling van de lagen over het kernteam - touwtrekken
piramidelaag Lid kernteam Toetsen/toetstaken Toetsprogramma Toetsbeleid Toetsorganisatie Toetsbekwaamheid

22 Aan de slag met De Toetsing Getoetst
Vaststellen huidige en gewenste positie: lezen introductieparagraaf werkboek maken procesbeschrijving van huidige situatie maken procesbeschrijving van gewenste situatie vaststellen huidige fase van ontwikkeling benoemen gewenste fase van ontwikkeling

23 Aandachtspunten procesbeschrijving
voor iedere piramidelaag afzonderlijk (werkboek paragraaf 3.2/4.2/5.2/6.2/7.2) maak zo veel mogelijk gebruik van terminologie van ontwikkelingsfasen benoem indien mogelijk: actoren (in functies) kwaliteitscriteria en/of aangeven waar deze zijn vastgelegd bewijslast

24 stop! 1 2 3 4 5 Aan de slag! 45 minuten

25 Bespreken beschrijvingen
Per toetsentiteit: maximaal 5 minuten toelichten 20 minuten discussie bereiken consensus over positie en ambitie individuele brainstorm over mogelijke doelen (per doel 1 post-it)

26 Inventariseren doelen
plak de doelen op de muur en groepeer deze direct per toetsentiteit: doelen bekijken (5 minuten) doelen plenair bespreken (10 minuten)

27 Aanvullen/bijstellen beschrijving en uitwerken doelen
per toetsentiteit: leg de besproken doelen vast in het werkboek (3.3/4.3/5.3/6.3/7.3) pas n.a.v. de discussie eventueel de beschrijvingen aan (3.2/4.2/5.2/6.2/7.2)

28 Werkboek mailen naar: [vul hier het adres van de moderator in of het adres van het lid van het kernteam dat de werkboeken zal samenvoegen]

29 Prioriteren doelen: kijkkader
denk individueel na over de vraag: wat vind ik belangrijk bij het prioriteren van de doelen? bespreek dit in tweetallen wissel dit plenair uit en benoem alleen nieuwe aspecten

30 Prioriteren doelen Welke doelen moeten gezien het kijkkader worden geprioriteerd? Selecteer hierbij maximaal 3 doelen!

31 werk de doelen uit in het werkboek (8.4)
Uitwerken doelen vorm 2- of 3-tallen werk de doelen uit in het werkboek (8.4) bespreek de uitwerking plenair stel eventueel de uitwerking bij

32 Terugkoppelingsbijeenkomst
maak gezamenlijk de poster bespreek plenair de vragen uit het werkboek (9.2) om de komen tot een invulling van de terugkoppelingsbijeenkomst