Prof. dr. Martin Valcke Universiteit Gent Seminarie AUgent

Presentatie over: "Prof. dr. Martin Valcke Universiteit Gent Seminarie AUgent"— Transcript van de presentatie:

1 Beoordelen van papers, presentaties en groepstaken aan de hand van een indicatorenstelsel
Prof. dr. Martin Valcke Universiteit Gent Seminarie AUgent 20 januari 2009

2 Structuur Advance organizer
Trends in toetsing en beoordeling (assessment & evaluation) Assumpties m.b.t. trends Onderzoek Praktijk Stellingen

3 Achtergrond Voorzitter vakgroep Onderwijskunde
Innovatie hoger onderwijs Onderzoek m.b.t. Toetsing en evaluatie Self- en peer assessment Indicatorenonderzoek (bijv. Lerarenopleiding) Competentieprofielen Leeromgevingen voor ontikkelen complex gedrag (bijv. Mondelinge presentatie vaardigheden)

4

5 Advance organizer

6 Advance organizer

7

8 Trends in evaluatie Competenties

9 Trends in evaluatie Stiggins (1987): performance assessment
Performance assessment is expected to be geared in a better way to assess complex behavior in medical, legal, engineering, … and educational contexts (Sluijsmans, et.al., 2004).

10 Trends in evaluatie Performance assessment

11 Trends in evaluatie Self- en peer assessment

12 Trends in evaluatie Gemeenschappelijke elementen: Focus op “gedrag”
Focus op “authentiek” gedrag Aandacht voor “complex” gedrag Explicietheid gehanteerde “criteria” Explicietheid van “standaarden” Noodzaak voor zeer concrete feedback Nadruk op “consequential validity” Gielen, Dochy & Dierick (2003)

13 Trends ~ nieuwe toetsingsaanpakken
Fant et al., (1985): Assessment centres 360° feedback aanpakken Portfoliotoetsing Logboeken, dagboeken … Rubrics

14 Rubrics

15

16 Rubrics Rubric: scoringstool voor een kwalitatieve inschatting van het niveau van een authentieke of complexe activiteit. Een rubriek bouwt verder op criteria die verrijkt worden met een schaal waarop beheersingsniveaus zijn aangegeven Per beheersingsniveau worden standaarden aangegeven die die niveau weerspiegelen. Een rubric geeft zowel voor de lesgever als de student aan wat concreet verwacht wordt. Rubrics worden voor “high stake assessment” gebruikt en voor “formatieve toetsing” (in functie van leren). (Arter & McTighe, 2001; Busching, 1998; Perlman, 2003). Rubrics focus on the relationship between competencies-criteria, and indicators and are organized along mastery levels (Morgan, 1999).

17 Rubrics Holistisch – Analytisch Taakspecifiek - Generiek

18 Assumpties m.b.t. rubrics
Grotere consistentie in scores (betrouwbaarheid). Meer valide beoordeling van complex gedrag. Positieve invloed op vervolgens leergedrag.

19 Performance assessment
Rubrics focus on the relationship between competencies-criteria, and indicators and are organized along mastery levels (Morgan, 1999).

20 Twijfels Aanpak wordt doorkruist door beliefs van lesgevers over evaluatie (zie bijv. Chong, Wong, & Lang, 2004); Idem dito student beliefs (Joram & Gabriele, 1998) Validiteit criteria en indicators (Linn, 1990), Betrouwbaarheid, bij gebruik door meerdere evaluatoren (Flowers & Hancock, 2003).

21 Onderzoek rubrics Review article 75 studies m.b.t. rubrics:
Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2, 130–144. (1) the reliable scoring of performance assessments can be enhanced by the use of rubrics, especially if they are analytic, topic-specific, and complemented with exemplars and/or rater training; (2) rubrics do not facilitate valid judgment of performance assessments per se. However, valid assessment could be facilitated by using a more comprehensive framework of validity; (3) rubrics seem to have the potential of promoting learning and/or improve instruction. The main reason for this potential lies in the fact that rubrics make expectations and criteria explicit, which also facilitates feedback and self-assessment.

22 Voorwaarden effectief gebruik
Grondig inzicht in raamwerk van specifieke rubriek. Training in gebruik Interrater gebruik

23 Aanpak ontwikkeling rubric
Kies criteria voor verwacht gedrag 4 tot 15 statements die criterium beschrijven Bepaal bandbreedte die verschil in bereiken criterium weergeven Bijv. 0-5 of kwalitatieve termen Werk een beschrijving uit voor elke waarde in de bandbreedte Concreet observeerbare/vaststelbare kwalificaties

24

25

26 Critical thinking rubric

27 Informatieve websites
Uitgebreid overzicht tools, voorbeelden, theorie, achtergrond, onderzoek: Critical thinking rubrics: Rubric generators: Intro op interessante rubric sites: Rubric APA research paper: Veel voorbeelden K12: Algemene intro en overzicht:

28 Stellingen Studenten moeten gestimuleerd worden om zelf rubrics te ontwikkelen. Lesgevers werken best samen bij het ontwikkelen van rubrics voor formeel gebruik. Door rubrics krijgen lesgevers een beter inzicht in de eigen focus van leer- en instructieprocessen.

29 Beoordelen van papers, presentaties en groepstaken aan de hand van een indicatorenstelsel
Prof. dr. Martin Valcke Universiteit Gent Seminarie AUgent 20 januari 2009