Werken aan een & aanpak ECTS-fiches.

Presentatie over: "Werken aan een & aanpak ECTS-fiches."— Transcript van de presentatie:

1 Werken aan een toetsbeleid@FEB & aanpak ECTS-fiches

2 Toetsbeleid @ FEB "Incentives" o Visitatie 2004 o Invoering van plagiaatdetectiesysteem o Universitaire nota 2010 o Visitatie 2011 o Nieuwe visitatieprotocol voor visitaties ‘nieuwe stijl’ o “Kleine kwaliteit” Klachten & Beroepsprocedures Examencontracten

3 Werken aan een toetsbeleid KU Leuven kader Visie op evaluatie Toetsbeleid = een samenhangend stelsel van kwaliteitszorg waarin maatregelen en voorzieningen zijn getroffen om de kwaliteit van de toetsing en examinering te bewaken en te bevorderen.

4 Visie op evaluatie De faculteit garandeert dat studenten doorheen de opleidingen op regelmatige basis feedback aangereikt krijgen over hun eigen kennen en kunnen, om zo het leerproces te bevorderen. De gekozen evaluatievormen doorheen de opleidingen zijn in overeenstemming met en geschikt voor de toetsing van de leerresultaten van de opleidingen en de leerdoelen van de opleidingsonderdelen. Er zijn facultaire richtlijnen rond de evaluatie van de masterproef en stage die aan alle betrokkenen worden gecommuniceerd en via een bevoegd orgaan worden bewaakt. Deze richtlijnen omvatten aspecten over aansluiting van de evaluatiecriteria bij de leerdoelen, duidelijke proces- en productcriteria, beoordelingsprocedures en tussentijdse feedback. Werken aan een toetsbeleid KU Leuven kader De POC bewaakt op een systematische manier de kwaliteit van de examens, spreekt betrokkenen aan op hun verantwoordelijkheid en stuurt bij indien nodig. Op deze manier garandeert de POC dat examens betrouwbaar, valide en transparant verlopen. De praktische en organisatorische regelingen van evaluaties (examen- ombudsen, facultaire aanvullingen OER, vervroegde examenplanning, enz.) staan op punt. Er is een neergeschreven visie op evaluatie, gedragen door de verschillende betrokkenen en geïmplementeerd in de opleidingen.

5 Visie op evaluatie Werken aan een toetsbeleid Actiepunt voor FEB@Leuven De POC bewaakt op een systematische manier de kwaliteit van de examens, spreekt betrokkenen aan op hun verantwoordelijkheid en stuurt bij indien nodig. Op deze manier garandeert de POC dat examens betrouwbaar, valide en transparant verlopen.

6 Kenmerken goede evaluatie Validiteit Betrouw- baarheid Trans- parantie Evalueren Evalueren wat je wil evalueren Representeren van je doelen Vermijden van toevalsfactoren Informatie Organisatie Janssens (2010); Clement & Laga (2006); Van Berkel & Bax (2006)

7 Kenmerken goede evaluatie 1. VALIDITEIT Validiteit Evalueren

8 Hoe waarborgen? -> Evalueren we wat we willen evalueren ? Samenstelling van het examen  Link leerdoelen en evaluatie  afstemmingsoefening  Evenwichtige verdeling leerdoelen en/of leerinhouden van het opleidingsonderdeel  toetsmatrijs Clement & Laga (2006); Van Berkel & Bax (2006)

9 Vraag Wat zijn de effecten van roken op de publieke gezondheid? Leerdoel Studenten kunnen op basis van hun kennis over de effecten van roken concrete maatregelen formuleren en deze naar waarde beoordelen. Hoe waarborgen? Afstemmingsoefening – link doelen en evaluatie

10 Alternatief 1 voor examenvraag: Welke aanbevelingen zou je geven opdat een campagne ‘stop met roken’ de publieke gezondheid zal verbeteren? Beargumenteer en licht je keuze toe. Alternatief 2 voor examenvraag: Selecteer 2 recente maatregelen i.v.m. de impact van roken. Welke zullen het meeste/minste impact hebben? Waarom? Stel aanbevelingen op voor het beleid om de maatregel te versterken. Gebaseerd op Carroll J. (2008). Course design and assessment strategies for dealing with student plagiarism. Beschikbaar www.bioscience.heacademy.ac.uk/ftp/events/leic080408/carroll.pdfwww.bioscience.heacademy.ac.uk/ftp/events/leic080408/carroll.pdf Leerdoel Studenten kunnen op basis van hun kennis over de effecten van roken concrete maatregelen formuleren en deze naar waarde beoordelen.

11 Hoe waarborgen? Toetsmatrijs INHOUDELIJKE INVULLING VAN HET OPO / LEERSTOFONDERDELEN Hfdst 1Hfdst 2Hfdst 3Hfdst 4Enz. LEERDOELEN VAN HET OPO Leerdoel 1 Leerdoel 2 Leerdoel 3 Enz. Opdracht 1: Link leerdoelen van het OPO – leerstofonderdelen Geef in onderstaande tabel via een gekleurd vakje aan welk leerdoel nagestreefd wordt met welk inhoudelijk thema/ hoofdstuk.

12 Hoe waarborgen? Toetsmatrijs INHOUDELIJKE INVULLING VAN HET OPO / LEERSTOFONDERDELEN Hfdst 1Hfdst 2Hfdst 3Hfdst 4Enz. LEERDOELEN VAN HET OPO Leerdoel 1 nr. 1 Leerdoel 2 nr. 2 Leerdoel 3 nr. 3 Enz. Opdracht 2: Link leerdoelen van het OPO – leerstofonderdelen - examenvragen Geef in onderstaande tabel met het nummer van de examenvraag aan op welke onderdelen van de leerstof, i.c. welke doelstellingen, de vragen uit een examen zijn gericht

13 Hoe waarborgen? Toetsmatrijs - Voorbeelden

14

15

16

17

18

19 Voordelen van het werken met toetsmatrijzen Opstellen van een toetsmatrijs neemt niet veel tijd in beslag Het leidt snel tot volgende mogelijke vaststellingen: Sommige leerinhouden, waar een expliciet leerdoel aan gekoppeld is, worden niet bevraagd in het examen => mogelijke actie: bekijken of het aangewezen is om dit wel te bevragen Sommige leerinhouden, waar geen leerdoel aan gekoppeld is, worden wel bevraagd in het examen => mogelijke actie: leerdoel hierover formuleren of examenvraag schrappen Sommige examenvragen toetsen iets anders dan wat er in het leerdoel wordt aangegeven (zie voorbeeld i.v.m. effecten van roken) => mogelijke actie: leerdoel herformuleren (gebruik van een ander ‘actief werkwoord’) of aanpassen van examenvraag

20 Kenmerken goede evaluatie 2. BETROUWBAARHEID Evalueren Betrouw- baarheid Evalueren

21 Hoe waarborgen? Clement & Laga (2006); Van Berkel & Bax (2006) -> Worden de resultaten zo weinig mogelijk beïnvloed door allerlei toevalsfactoren ? Samenstelling van het examen  Helder en eenduidige vragen  Mix in moeilijkheidsgraad vragen Omstandigheden  Instructies, beschikbare tijd, omgeving Wijze van beoordelen  Nauwkeurigheid en objectiviteit – antwoordmodel

22 Kenmerken goede evaluatie 3. TRANSPARANTIE Trans- parantie Evalueren

23 -> Is er tijdig en duidelijk gecommuniceerd aan studenten? Organisatie  Afspiegeling doelstellingen (vorm / inhoud) → aanvaardbaarheid  Werktijd, gebruik ‘hulplijnen’  Waarde, weging … score in groter geheel Informatie  Heldere toelichting over verloop  Explicitering van verwachtingen en beoordelingscriteria  Voorbeeld examenvragen, ECTS-fiche Hoe waarborgen?

24 ECTS-fiche: rubriek toelichting bij evaluatievorm Enkele suggesties Het examenresultaat is een gewogen cijfer dat als volgt wordt bepaald. Het onderdeel 'Individuele opdrachten' en 'Groepsopdrachten' wordt respectievelijk voor 60% en 40% verrekend in het eindresultaat. Binnen het onderdeel 'Individuele opdrachten' worden de opdrachten tijdens het semester voor 50% verrekend en wordt de eindpaper voor 50% verrekend in het onderdeelresultaat. De student krijgt 20 minuten de tijd om het mondelinge examen voor te bereiden. Het examen is gesloten boek en bestaat uit open vragen, inclusief toepassingsvragen (cases). Studenten die niet deelnamen aan het practicum mogen geen examen afleggen. Studenten die in de eerste zittijd een onvoldoende haalden op het deel 'groepswerk' dienen voor de derde examenperiode een individuele schriftelijke vervangopdracht te maken Hoe waarborgen? Voorbeeld van duidelijke communicatie

25 TO DO – Wat ? Uitwerken van een toetsbeleid, met focus dit academiejaar op kwaliteitsbewaking Nieuwe toepassing ECTS – fiches vanaf 15 april => screening van alle fiches + inhoud volledig op punt stellen -> beide processen aan elkaar linken

26 TO DO – Hoe ? STAP 1: elke docent vult voor elk opleidingsonderdeel de toetsmatrijs in (zie ppt + zie good practices + korte nota met opdracht)  Door deze oefening reflecteert elke docent over de kernaspecten van zijn opleidingsonderdeel (leerdoelen, inhoud en evaluatie) en dus ook over de kerntopics in de ECTS-fiches STAP 2: elke docent kijkt in de maand mei de eigen ECTS-fiches na in de nieuwe toepassing in KU Loket en stelt de inhoud volledig op punt met specifieke aandacht voor o leerdoelen (  informatie in de rijen van de toetsmatrijs) o inhoud (  informatie in de kolommen van de toetsmatrijs) o evaluatie (  informatie in de cellen van de toetsmatrijs)

27 TO DO – Timing ? week van 15 april: o nieuwe toepassing voor ECTS-fiches gaat online o technische en inhoudelijke handleiding wordt ter beschikking gesteld door de centrale diensten o stafdienst onderwijs maakt een facultaire vertaalslag van de handleiding + werkt good practice ECTS-fiches uit. donderdag 25 april van 9.00-11.00u: briefing van aanspreekpunten per OG/leerlijn + toelichting bij de handleidingen en good practices + elk aanspreekpunt krijgt stafmedewerker toegewezen

28 TO DO – Timing ? week van 29 april: o vice-decaan onderwijs stuurt een mailing naar alle docenten i.v.m. herwerking van de ECTS-fiches met bijhorende timing. maand mei: OG/leerlijn organiseert een overleg met docenten i.v.m. de 2 opdrachten (toetsmatrijzen + herwerking ECTS-fiches) Deadline voor aanpassing ECTS-fiches door docenten = 31 mei maand juni: stafmedewerkers kijken de herwerkte ECTS- fiches na en keuren goed