Alternatieve evaluatie- procedures in hoger onderwijs. Waar gaat het nu over? Martin Valcke Onderwijsdag AUH - 18 januari 2016.

Presentatie over: "Alternatieve evaluatie- procedures in hoger onderwijs. Waar gaat het nu over? Martin Valcke Onderwijsdag AUH - 18 januari 2016."— Transcript van de presentatie:

1 Alternatieve evaluatie- procedures in hoger onderwijs. Waar gaat het nu over? Martin Valcke Onderwijsdag AUH - 18 januari 2016

2 Structuur Een veranderende context HO Wat werkt bij toetsing? Gevolgen –Van eind- naar permanente toetsing; –rol van feedback; –zelftoetsing en peer-evaluatie; –standaarden, benchmarks en normen.

3 Conclusies Druk op HO om toetsing fundamenteel anders aan te pakken Check balans permanente en eindtoetsing Ontwikkel strategieën om feedback te versterken Bouw zelf- en peer toetsing uit Versterk benches, normen grenswaarden

4 Een veranderende HO context Accreditaties Instellingsvisitaties Grotere nadruk op toetsing van “kern” van de opleiding: academisch geschoolde professional

5 Accreditaties Toetskader opleidingen 2015-2021 https://www.nvao.net/beoordelingskaders/kader-toets- nieuwe-opleiding-vlaanderen-2015-2021https://www.nvao.net/beoordelingskaders/kader-toets- nieuwe-opleiding-vlaanderen-2015-2021) Belang van evaluatie-aanpak

6 Instellingsvisitatie https://www.nvao.net/beoordelingskaders/kader- instellingsreview-vlaanderen-2015-2017 Belang van een onderwijsvisie en een plan onderwijsbeleid; waarvan toetsbeleid kritische component is

7 Kwaliteitscode Hoger Onderwijs https://www.nvao.net/beoordelingskaders/kwalit eitscode-vlaanderen-2015-2017 Nadruk op evaluatie

8 Gevolgen 1.Verschuiving van eindtoetsing naar permanente toetsing; 2.de grote rol van feedback; 3.zelftoetsing en peer-evaluatie; 4.kritische visie op standaarden, benchmarks en normen.

9 Wat werkt bij toetsing? Vraag naar “effect” van instructieanpakken: Hattie (2009) Hattie, J. (2009). Visible Learning: A Synthesis of over 800 Meta-Analysis relating to Achievement. Milton Park, Oxon: Routledge.

10

11 Effect size? Bv. d =.56 bij lkr. formuleren leerdoelen 56% van de lerenden behalen een score wanneer leerkracht leerdoelen formuleert i.v.m. Leerlingen wiens leerkracht dit niet doet. Grenswaarde is d =.40 Based on http://www.cemcentre.org/renderpage.asp?linkid=30325016

12 Toetsgerelateerde effecten? 1.Geven van terugkoppeling 2.Frequent toetsen 3.Toetstraining en coaching 4.Formatieve evaluatie 5.Aandacht vragen stellen door lln. 6.Snel/onmiddellijk reageren op lln. 12

13 1.Geven van terugkoppeling 2.Frequent toetsen 3.Toets-training en coaching 4.Formatieve evaluatie 5.Aandacht vragen stellen door lln. 6.Snel/onmiddellijk reageren op lln. 13 0,73 0,34 0,22 0,90 0,46 0,16 d

14 Verschuiving naar permanente toetsing Gevolg van grotere aandacht complexe vaardigheden; vb. –Research vaardigheden –Enterpreneurship –communicatievaardigheden

15 Verschuiving naar permanente toetsing Complexe vaardigheden: –Stap-voor-stap opbouw –Spiraal leerproces met tussentijdse toetsing en feedback: garantie voor gegarandeerde opbouw

16 Vb. : Consultatietraining Complexe vaardigheid: Vraag naar extra oefenen met feedback L. Aper “Teaching and learning the art of conducting consultations”

17 10.1016/j.pec.2014.09.016 Complexe vaardigheden Opbouw van gesimuleerd naar echte patiënten. Permanent toetsen

18 Vb. : Consultatietraining Complexe vaardigheid: Vraag naar extra oefenen met feedback Drie versies –Traditioneel skillslab: acteur, supervisor, 3 stud. –Autonoom leren: twee stud. met acteur –Online: videoclips en tussentijds vragen/opdrachten L. Aper “Teaching and learning the art of conducting consultations”

19

20 Effect op: Vaardigheidsverwerving Self Efficacy

21 Vb. : Consultatietraining Drie versies –Traditioneel skillslab: acteur, supervisor, 3 stud. Te weinig kansen tot verbetering; te grote stress door directe combinatie leren en evaluatie –Autonoom leren: twee stud. met acteur Minder stress, minder oefenkansen, te snel eindevaluatie –Online: videoclips en tussentijds vragen/opdrachten Optimale oefenkansen, permanente toetsing, feedback,

22 DOI 10.3109/0142159X.2012.668627

23 Grote rol feedback Na eindtoetsing Na permanente, formatieve toetsing Zeer grote vraag van studenten naar feedback; groot leereffect (zie Hattie, 2009)

24 Grote rol feedback Voorbeeld

25 An example Ugent, 1 st jaar, 5 credits Sterke theoretische component Maar ook toepassings- en onderzoekscomponent: complexe kennis en V Theorie Toepassing Onderzoek

26 Theorie Toepassing Onderzoek

27 10 werksessies met gedrukt handboek eLearning Theorie Toepassing Onderzoek

28

29 Wiki’s

30 Academic reading en writing: werk een abstract uit Artikel zonder abstract

31 31

32 32 ABCDEABCDE A B CD E Feedback

33 33

34 A B CD E Feedback

35 A B CD E

36 36

37 37

38 Zelf- en peer evaluatie Zie vorig voorbeeld en trends:

39 http://alh.sagepub.com/content/13/2/129.short

40 http://eppi.ioe.ac.uk/cms/Default.aspx?tabid=2415

41 http://www.ascd.org/publications/classroom_leadership/sept2001/Student_Self-Assessment.aspx

42 Zelf- en peer evaluatie Zie vorig voorbeeld en trends: Nadruk op nieuwe tools

43 Rubrics voor zelf- en peer evaluatie

44

45 http://www.sciencedirect.com/science/article/pii/S1747938X13000109

46 Zelf- en peer evaluatie Nadruk op structuur en opbouw evaluatie DOI 10.1111/jcal.1209610.1111/jcal.12096

47 DOI 10.1111/jcal.1209610.1111/jcal.12096

48 Zelf- en peer evaluatie http://www.uv.es/RELIEVE/v21n1/RELIEVEv21n1_ME8eng.pdf Potentieel, maar “little uptake” Belang “beliefs” studenten en lesgevers

49 Standaarden, benchmarks, normen Discussie over: –Beheersingsniveau –Kritische beheersingsdrempels –Standaarden i.p.v. Ad hoc normen (bv; gemiddelde)

50 Standaarden, benchmarks, normen Wanneer is een student geslaagd? –10/20 ? - pass/fail Belang van standard setting –Niveaus van kwaliteit (zie rubrics) –Wat is minimum niveau (12,5/10 ?)

51 Conclusies Druk op HO om toetsing fundamenteel anders aan te pakken Check balans permanente en eindtoetsing Ontwikkel strategieën om feedback te versterken Bouw zelf- en peer toetsing uit Versterk benches, normen grenswaarden

52 Alternatieve evaluatie- procedures in hoger onderwijs. Waar gaat het nu over? Martin Valcke Onderwijsdag AUH - 18 januari 2016