Studiedag SoE 23 oktober 2014 Kwaliteit van evaluatie bewaken op opleidingsniveau: werken met een toetsdossier Mezelf voorstellen Opleiding voorstellen Curriculumvernieuwing – vertrokken van baco’s – semester herdacht – OPO’s geselecteerd Uitgangspunten: semesters – meer samenwerking tussen collega’s – beheersen van GIT-trajecten – opbouw kennis, vaardigheden en attitiudes naar competenties – stage – persoonlijk leertraject – visie op leren: competentiegericht – leren van ervaring – leren van anderen – zelfsturend leren - autonomie

Wat zou je zeggen als je dit verbetert? 1 foutje Bijna goed Impact van feedback

Analfabeet slaagt voor toelatingsexamens twee universiteiten RIO DE JANEIRO – in Brazilië is een analfabeet geslaagd in de toelatingsexamens van twee verschillende privé-universiteiten. De 27-jarige bakker Severino da Silva slaagde voor een toelatingsexamen aan de faculteit letteren. De man die momenteel in een parochie in de noordelijke buurt van Rio De Janeiro leert lezen, klikte per toeval, zoals in de loterij de juiste A,B,C,D en E aan in een multiple-choice proef. Vorige week raakte de bakker op ongeveer dezelfde manier toegelaten tot de rechtsfaculteit van een grote universiteit in Rio. Zijn percentage goede antwoorden ontsloeg de man van een geschreven proef. (De standaard on-line, 18 december 2001) Meten we wat we willen meten? Eerste stap: visie op leren – visie op evalueren – afstemmen met team

Casussen per 3- 4 bespreken

Context Vooraf visie KHBO – strategisch plan – aandachtspunt toetsen kwaliteit van evaluatie bewaken – theoretisch kader enquêtes rond kwaliteit examens Curriculumvernieuwing Competentiegericht werken VKS6 Toetscommissie Naar visieontwikkeling op opleidingsniveau aanvulling assessment – validiteit en betrouwbaarheid Talentgericht begeleiden

Toetsbeleid op opleidingsniveau = Aanvulling op kader van de hogeschool en departement OER Regelingen rond examenplanning Communicatie Gemeenschappelijk kader Kwaliteit van evaluaties Betrouwbaarheid Validiteit Doelen: afstemmen van begrippenkader – professionaliseren van collega’s in bewaken van kwaliteit van toetsen

Checklist toetsbeleid Verantwoordelijkheden afbakenen Hogeschool Studiegebied Opleiding Kwaliteit bewaken op elk niveau http://www.utwente.nl/ces/toetsing/Examencommissies/Toetsbeleid%20UT/Checklist%20_Toetsbeleid/ Checklist toetsbeleid ter inspiratie

Prioriteit van de opleiding Toetsdossier als actiepunt Proefvisitatie Doelen: Afstemmen op een theoretisch kader Professionaliseren Kwaliteitszorg Format ontwikkelen Toetscommissie Afstudeervakken Nieuwe opleidingsonderdelen

Vertrekken van ECTS Verband tussen competenties – doelen – inhouden Komen tot selectie van vakinhouden in functie van doelen en competenties Kiezen van werkvormen Kiezen van materiaal en media - cursusontwikkeling

Format ECTS-fiche TABEL 1: verband tussen competenties – doelen – inhouden Toetsvorm Schriftelijke toets: examen + verbetersleutel + cesuur Mondeling examen / opdracht: opgaven + verbetersleutel +feedbackdocument + cesuur evaluatiedocument: 4 rubrieken (onvoldoende – voldoende – goed – excellent) Doelen vertaald in gedragsindicatoren TABEL 2: Examenopgaven rubriceren volgens Miller

Voorbeeld tabel 1 : onderdelen OPO – BACO’s – doelen (vb. PLT1) Competenties Begeleider van leerprocessen (1.7-1.7) Opvoeder (2.3-2.5) Inhoudelijk expert (3.1-3.2) Inhouden Schrijfvaardigheden   *Het methodisch schrift kunnen schrijven, zowel op het bord als op papier. Computervaardigheden *Bij het opmaken van werkbladen rekening houden met de kenmerken van een doelpubliek. *Een lesvoorbereiding of werkblad maken m.b.v. een tekstverwerkings-programma. *Met behulp van ICT werkbladen opmaken die inhoudelijk aansluiten bij het onderwerp van de les.

Voorbeeld tabel 1: competenties – doelen – VKS6 (vb Voorbeeld tabel 1: competenties – doelen – VKS6 (vb. onderzoeksopdracht)   Basiscompetenties VKS MF = mentor, formulier DFR = docent, formulier rapport DFP = docent, formulier presentatie Innovator Schoolteam Onderwijsgemeen schap Kennis en inzicht Vaardigheden Onderzoeksvaardi gheden Handelen Autonomie Verantwoordelijkh eid De student heeft een onderzoekende houding. Hij is nieuwsgierig en alert, gaat actief op zoek naar leerkansen en stelt de onderwijspraktijk in vraag. MF x De student plant onderzoeksactiviteiten. Hij zet praktijkrelevante acties op in functie van het beantwoorden van de onderzoeksvraag. DFR

Evaluatie-opgaven rubriceren volgens Miller Weten Weten hoe Tonen Doen Totaal % Examenvraag 1 X 5% Examenvraag 2 10% Opdracht 50% Mondeling examen 100%

Piramide van Miller

Voorbeeld module brede zorg – 3BALO Doel B C V K S Onvoldoende Voldoende Goed Zeer goed De student kan een ontwikkelende visie op zorg beargumenteren vanuit praktijkvoorbeelden, literatuur (theoretische kaders) en onderzoek.   3 5 6 8 1 2 De visie op zorg wordt onsamenhangend naar voor gebracht. De visie op zorg is voldoende gestructureerd. De visie op zorg is goed gestructureerd. De visie op zorg is zeer goed gestructureerd en wordt op een originele manier voorgesteld. De student kan een ontwikkelende visie op zorg niet beargumenteren vanuit praktijkvoorbeelden, literatuur (theoretische kaders) en onderzoek of doet dit vanuit bronnen die niet praktijkrelevant zijn. De student kan een ontwikkelende visie op zorg voldoende beargumenteren vanuit praktijkvoorbeelden, literatuur (theoretische kaders) en onderzoek. De bronnen zijn praktijkrelevant en minstens één bron is vakliteratuur. De student kan een ontwikkelende visie op zorg goed beargumenteren vanuit praktijkvoorbeelden, literatuur (theoretische kaders) en onderzoek. De bronnen zijn divers en belichten het onderwerp vanuit verschillende invalshoeken. De student kan een ontwikkelende visie op zorg zeer goed beargumenteren vanuit praktijkvoorbeelden, literatuur (theoretische kaders) en onderzoek. Hij brengt originele inzichten aan door verbanden te leggen tussen verschillende bronnen. De student kan de eigen opdracht als leerkracht binnen de zorgstructuur van een school verwoorden en kent daarin zijn eigen verantwoordelijkheid. 7 9 De student kan de eigen opdracht als leerkracht binnen de zorgstructuur van een school niet verwoorden. De student kan de eigen opdracht als leerkracht binnen de zorgstructuur van een school voldoende verwoorden. De student heeft een duidelijk beeld op de eigen opdracht als leerkracht binnen de zorgstructuur van een school en kan dit kritisch verwoorden. De student heeft een duidelijk beeld op de eigen opdracht als leerkracht binnen de zorgstructuur van een school en kan dit enorm kritisch verwoorden (hij stelt zichzelf voortdurend in vraag).

Cesuur bepalen CESUUR – voorbeeld module brede zorg 3BALO Eindscore   0-5 4 x onvoldoende 6-7 3 x onvoldoende 8-9 2 x onvoldoende 10 Max. 1 x onvoldoende 11-12 Alles voldoende 13-14 Minstens 2 x goed, andere rubrieken voldoende 15-17 Minstens 2 x zeer goed, andere rubrieken goed 18-20 Op alle rubrieken zeer goed

Onze uitdagingen – toekomst Keuze toetsvormen – efficiëntie Aandeel student Afstemmen zelfevaluatie en peerevaluatie: waar staat dit? Welk aandeel? Gerichtheid op resultaten

Stappen in het evaluatieproces Verzamelen Registreren Interpreteren Beslissen