Alternatieve evaluatie- procedures in hoger onderwijs. Waar gaat het nu over? Martin Valcke Onderwijsdag AUH - 18 januari 2016

Structuur Een veranderende context HO Wat werkt bij toetsing? Gevolgen –Van eind- naar permanente toetsing; –rol van feedback; –zelftoetsing en peer-evaluatie; –standaarden, benchmarks en normen.

Conclusies Druk op HO om toetsing fundamenteel anders aan te pakken Check balans permanente en eindtoetsing Ontwikkel strategieën om feedback te versterken Bouw zelf- en peer toetsing uit Versterk benches, normen grenswaarden

Een veranderende HO context Accreditaties Instellingsvisitaties Grotere nadruk op toetsing van “kern” van de opleiding: academisch geschoolde professional

Accreditaties Toetskader opleidingen nieuwe-opleiding-vlaanderen https:// nieuwe-opleiding-vlaanderen ) Belang van evaluatie-aanpak

Instellingsvisitatie instellingsreview-vlaanderen Belang van een onderwijsvisie en een plan onderwijsbeleid; waarvan toetsbeleid kritische component is

Kwaliteitscode Hoger Onderwijs eitscode-vlaanderen Nadruk op evaluatie

Gevolgen 1.Verschuiving van eindtoetsing naar permanente toetsing; 2.de grote rol van feedback; 3.zelftoetsing en peer-evaluatie; 4.kritische visie op standaarden, benchmarks en normen.

Wat werkt bij toetsing? Vraag naar “effect” van instructieanpakken: Hattie (2009) Hattie, J. (2009). Visible Learning: A Synthesis of over 800 Meta-Analysis relating to Achievement. Milton Park, Oxon: Routledge.

Effect size? Bv. d =.56 bij lkr. formuleren leerdoelen 56% van de lerenden behalen een score wanneer leerkracht leerdoelen formuleert i.v.m. Leerlingen wiens leerkracht dit niet doet. Grenswaarde is d =.40 Based on

Toetsgerelateerde effecten? 1.Geven van terugkoppeling 2.Frequent toetsen 3.Toetstraining en coaching 4.Formatieve evaluatie 5.Aandacht vragen stellen door lln. 6.Snel/onmiddellijk reageren op lln. 12

1.Geven van terugkoppeling 2.Frequent toetsen 3.Toets-training en coaching 4.Formatieve evaluatie 5.Aandacht vragen stellen door lln. 6.Snel/onmiddellijk reageren op lln. 13 0,73 0,34 0,22 0,90 0,46 0,16 d

Verschuiving naar permanente toetsing Gevolg van grotere aandacht complexe vaardigheden; vb. –Research vaardigheden –Enterpreneurship –communicatievaardigheden

Verschuiving naar permanente toetsing Complexe vaardigheden: –Stap-voor-stap opbouw –Spiraal leerproces met tussentijdse toetsing en feedback: garantie voor gegarandeerde opbouw

Vb. : Consultatietraining Complexe vaardigheid: Vraag naar extra oefenen met feedback L. Aper “Teaching and learning the art of conducting consultations”

/j.pec Complexe vaardigheden Opbouw van gesimuleerd naar echte patiënten. Permanent toetsen

Vb. : Consultatietraining Complexe vaardigheid: Vraag naar extra oefenen met feedback Drie versies –Traditioneel skillslab: acteur, supervisor, 3 stud. –Autonoom leren: twee stud. met acteur –Online: videoclips en tussentijds vragen/opdrachten L. Aper “Teaching and learning the art of conducting consultations”

Effect op: Vaardigheidsverwerving Self Efficacy

Vb. : Consultatietraining Drie versies –Traditioneel skillslab: acteur, supervisor, 3 stud. Te weinig kansen tot verbetering; te grote stress door directe combinatie leren en evaluatie –Autonoom leren: twee stud. met acteur Minder stress, minder oefenkansen, te snel eindevaluatie –Online: videoclips en tussentijds vragen/opdrachten Optimale oefenkansen, permanente toetsing, feedback,

DOI / X

Grote rol feedback Na eindtoetsing Na permanente, formatieve toetsing Zeer grote vraag van studenten naar feedback; groot leereffect (zie Hattie, 2009)

Grote rol feedback Voorbeeld

An example Ugent, 1 st jaar, 5 credits Sterke theoretische component Maar ook toepassings- en onderzoekscomponent: complexe kennis en V Theorie Toepassing Onderzoek

Theorie Toepassing Onderzoek

10 werksessies met gedrukt handboek eLearning Theorie Toepassing Onderzoek

Wiki’s

Academic reading en writing: werk een abstract uit Artikel zonder abstract

31

32 ABCDEABCDE A B CD E Feedback

33

A B CD E Feedback

A B CD E

36

37

Zelf- en peer evaluatie Zie vorig voorbeeld en trends:

Zelf- en peer evaluatie Zie vorig voorbeeld en trends: Nadruk op nieuwe tools

Rubrics voor zelf- en peer evaluatie

Zelf- en peer evaluatie Nadruk op structuur en opbouw evaluatie DOI /jcal /jcal.12096

DOI /jcal /jcal.12096

Zelf- en peer evaluatie Potentieel, maar “little uptake” Belang “beliefs” studenten en lesgevers

Standaarden, benchmarks, normen Discussie over: –Beheersingsniveau –Kritische beheersingsdrempels –Standaarden i.p.v. Ad hoc normen (bv; gemiddelde)

Standaarden, benchmarks, normen Wanneer is een student geslaagd? –10/20 ? - pass/fail Belang van standard setting –Niveaus van kwaliteit (zie rubrics) –Wat is minimum niveau (12,5/10 ?)

Conclusies Druk op HO om toetsing fundamenteel anders aan te pakken Check balans permanente en eindtoetsing Ontwikkel strategieën om feedback te versterken Bouw zelf- en peer toetsing uit Versterk benches, normen grenswaarden

Alternatieve evaluatie- procedures in hoger onderwijs. Waar gaat het nu over? Martin Valcke Onderwijsdag AUH - 18 januari 2016