Beoordelen van papers, presentaties en groepstaken aan de hand van een indicatorenstelsel Prof. dr. Martin Valcke http://allserv.ugent.be/~mvalcke/CV/rubrics.htm Universiteit Gent Seminarie AUgent 20 januari 2009

Structuur Advance organizer Trends in toetsing en beoordeling (assessment & evaluation) Assumpties m.b.t. trends Onderzoek Praktijk Stellingen

Achtergrond Voorzitter vakgroep Onderwijskunde Innovatie hoger onderwijs Onderzoek m.b.t. Toetsing en evaluatie Self- en peer assessment Indicatorenonderzoek (bijv. Lerarenopleiding) Competentieprofielen Leeromgevingen voor ontikkelen complex gedrag (bijv. Mondelinge presentatie vaardigheden)

Advance organizer

Advance organizer

Trends in evaluatie Competenties

Trends in evaluatie Stiggins (1987): performance assessment Performance assessment is expected to be geared in a better way to assess complex behavior in medical, legal, engineering, … and educational contexts (Sluijsmans, et.al., 2004).

Trends in evaluatie Performance assessment

Trends in evaluatie Self- en peer assessment

Trends in evaluatie Gemeenschappelijke elementen: Focus op “gedrag” Focus op “authentiek” gedrag Aandacht voor “complex” gedrag Explicietheid gehanteerde “criteria” Explicietheid van “standaarden” Noodzaak voor zeer concrete feedback Nadruk op “consequential validity” Gielen, Dochy & Dierick (2003)

Trends ~ nieuwe toetsingsaanpakken Fant et al., (1985): Assessment centres 360° feedback aanpakken Portfoliotoetsing Logboeken, dagboeken … Rubrics

Rubrics

http://web.njit.edu/~ronkowit/teaching/rubrics/samples/rubric_apa_research.pdf

Rubrics Rubric: scoringstool voor een kwalitatieve inschatting van het niveau van een authentieke of complexe activiteit. Een rubriek bouwt verder op criteria die verrijkt worden met een schaal waarop beheersingsniveaus zijn aangegeven Per beheersingsniveau worden standaarden aangegeven die die niveau weerspiegelen. Een rubric geeft zowel voor de lesgever als de student aan wat concreet verwacht wordt. Rubrics worden voor “high stake assessment” gebruikt en voor “formatieve toetsing” (in functie van leren). (Arter & McTighe, 2001; Busching, 1998; Perlman, 2003). Rubrics focus on the relationship between competencies-criteria, and indicators and are organized along mastery levels (Morgan, 1999).

Rubrics Holistisch – Analytisch Taakspecifiek - Generiek

Assumpties m.b.t. rubrics Grotere consistentie in scores (betrouwbaarheid). Meer valide beoordeling van complex gedrag. Positieve invloed op vervolgens leergedrag.

Performance assessment Rubrics focus on the relationship between competencies-criteria, and indicators and are organized along mastery levels (Morgan, 1999).

Twijfels Aanpak wordt doorkruist door beliefs van lesgevers over evaluatie (zie bijv. Chong, Wong, & Lang, 2004); Idem dito student beliefs (Joram & Gabriele, 1998) Validiteit criteria en indicators (Linn, 1990), Betrouwbaarheid, bij gebruik door meerdere evaluatoren (Flowers & Hancock, 2003).

Onderzoek rubrics Review article 75 studies m.b.t. rubrics: Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2, 130–144. (1) the reliable scoring of performance assessments can be enhanced by the use of rubrics, especially if they are analytic, topic-specific, and complemented with exemplars and/or rater training; (2) rubrics do not facilitate valid judgment of performance assessments per se. However, valid assessment could be facilitated by using a more comprehensive framework of validity; (3) rubrics seem to have the potential of promoting learning and/or improve instruction. The main reason for this potential lies in the fact that rubrics make expectations and criteria explicit, which also facilitates feedback and self-assessment.

Voorwaarden effectief gebruik Grondig inzicht in raamwerk van specifieke rubriek. Training in gebruik Interrater gebruik

Aanpak ontwikkeling rubric Kies criteria voor verwacht gedrag 4 tot 15 statements die criterium beschrijven Bepaal bandbreedte die verschil in bereiken criterium weergeven Bijv. 0-5 of kwalitatieve termen Werk een beschrijving uit voor elke waarde in de bandbreedte Concreet observeerbare/vaststelbare kwalificaties

http://www.teach-nology.com/cgi-bin/presentation.cgi/

http://teachers.teach-nology.com/cgi-bin/research.cgi

Critical thinking rubric http://academic.pgcc.edu/~wpeirce/MCCCTR/Designingrubricsassessingthinking.html

Informatieve websites Uitgebreid overzicht tools, voorbeelden, theorie, achtergrond, onderzoek: http://school.discoveryeducation.com/schrockguide/assess.html Critical thinking rubrics: http://academic.pgcc.edu/~wpeirce/MCCCTR/Designingrubricsassessingthinking.html Rubric generators: http://www.teach-nology.com/web_tools/rubrics/ Intro op interessante rubric sites: http://web.njit.edu/~ronkowit/teaching/rubrics/index.htm Rubric APA research paper: http://web.njit.edu/~ronkowit/teaching/rubrics/samples/rubric_apa_research.pdf Veel voorbeelden K12: http://school.discoveryeducation.com/schrockguide/assess.html Algemene intro en overzicht: http://web.njit.edu/~ronkowit/teaching/rubrics/index.htm

Stellingen Studenten moeten gestimuleerd worden om zelf rubrics te ontwikkelen. Lesgevers werken best samen bij het ontwikkelen van rubrics voor formeel gebruik. Door rubrics krijgen lesgevers een beter inzicht in de eigen focus van leer- en instructieprocessen.

Beoordelen van papers, presentaties en groepstaken aan de hand van een indicatorenstelsel Prof. dr. Martin Valcke http://allserv.ugent.be/~mvalcke/CV/rubrics.htm Universiteit Gent Seminarie AUgent 20 januari 2009