Schermen Workshop Rubrics Workshop Formatief toetsen in het onderwijs 26 Maart 2013 Rubrics Carel Burghout Carel Burghout en Monique Maas 1

Rubrics

Rubrics en assessment Wat zijn rubrics? Waarom rubrics? Rubrics gebruiken voor formatieve doeleinden (assessment for learning) Rubrics gebruiken voor summative doeleinden (beoordeling) Hoe maak je een rubric? Voorbeelden van effecten rubrics bij M Ed Engels Wat mag ik eventueel als bekend veronderstellen?

WAT IS EEN RUBRIC? Een rubric maakt gebruik van precieze criteria om prestaties te evalueren of te beoordelen. Analytische rubrics hebben meestal een vaste vorm:   verticaal: een overzicht van criteria waaraan de prestatie moet voldoen horizontaal: een aantal (meestal vier) niveaus van beheersing (van zeer zwak tot uitstekend, van beginner tot expert) DIT SOORT RUBRICS LAAT JE KIJKEN NAAR AFZONDERLIJKE DELEN DIE SAMEN HET GEHEEL VORMEN

HOLISTISCHE RUBRIC HOLISTISCHE RUBRICS ANALYSEREN HET WERK ALS EEN GEHEEL. GEBRUIK VAN ANALYTISCH OF HOLISTISCH HANGT AF VAN JE DOEL. MEESTAL MEER GERICHT OP HET (EIND) PRODUCT DAN OP HET PROCES

Waarom Rubrics? Assessment for Learning and Assessment of Learning werken in elkaars verlengde met hetzelfde instrument Belang aangeduid door Hattie and Timperley van feedback, feed up and feed forward Transparantie, objectiviteit en betrouwbaarheid beter geborgd voor ‘the untestable’ Navraag bij studenten en in het veld wekt de indruk dat rubrics in het voortgezet onderwijs al meer zijn ingeburgerd dan aan onze lerarenopleiding

Rubrics en Assessment for Learning Geeft de docenten vooraf een raamwerk voor beoordeling en doelen om met studenten te bespreken (feed up) Raamwerk is ook geschikt om oordelen aan leren te koppelen (feedback) Docent kan student vertellen welk niveau van beheersing is behaald en naar welk niveau gestreefd moet worden ,de ‘gap’ (feed forward)

Rubrics en Assessment for Learning Duidelijke criteria and leerdoelen stellen studenten in staat om zelf de rubric te hanteren (individueel of met peers) en zonodig verbeteringen aan te brengen Instrument om sterkten en zwakten duidelijk te verwoorden Rubrics samen met studenten ontwikkelen kan motiveren en zorgen voor een kritische houding ten opzichte van het te leveren werk

Rubrics en beoordelen Transparantie: je gebruikt het zelfde instrument voor beoordeling dat je voor feedback hebt gebruikt Geeft houvast bij meerdere beoordelaars Student is van meet af aan bekend met criteria en gewenst niveau Student kan medeverantwoordelijk gemaakt worden voor criteria Gewicht dat aan de verschillende criteria gegeven wordt zonodig inzichtelijk gemaakt (scoring rubric)

Stappenplan maken rubric : Benoem leerdoelen en waarneembare criteria die wilt zien (en eventueel kenmerken die je niet wilt zien) Dit wordt je linkerkolom Brainstorm kenmerken voor elk criterium en zoek uit hoe je voor elk criterium niveaus zou kunnen beschrijven Formuleer precieze descriptoren voor het laagste en voor het hoogste niveau Schrijf descriptoren voor de overgebleven niveaus Bespreek de rubric (collega , studenten) om vast te stellen of alles helder is beschreven (Tijdens de cursus) Verzamel bewijzen van werk op elk van de niveaus om later te gebruiken als ijkpunten 7. Evalueer. Herzie de rubric indien nodig

Eerste opzet: alleen criteria / Feature Excellent Good Sufficient Insufficient Design, inviting Elicits reader response, fun to do Both general enough and specific enough Focus: related set of themes, inci- dents,symbols, etc Scaffolding: help and stretching to ZPD What it potentially shows the teacher Easy to mark, easy to rate? Transferable and / or to be tweaked?

Rubric deels gevuld Feature Excellent Good Sufficient Insufficient Design, inviting Elicits reader response, fun to do Attractive design draws in attention with relevant images /layout No or few appeals made to senses by design, or chaotic Both general enough and specific enough Chosen approach and topic(s) relate well to theme(s) of the novel Could relate to various novels, or covers just one chapter / incident Focus: related set of themes, incidents,symbols, etc Relevant focus, sustained throughout. Clearly related items. A list of questions with insufficient or no focus Scaffolding: help and stretching to ZPD Well thought-out series of steps take learner to higher understanding No apparent scaffolding or scaffolding set too low or too high What it potentially shows the teacher Shows enjoyment and experience of the book leading to new / deeper learning Shows memorizing, no new or deeper learning made visible Easy to mark, easy to rate? WS makes clear what is expected and what will count Many (sub)questions, no clear weight given to items, too open

Schermen Workshop Rubrics De complete rubric Carel Burghout en Monique Maas

Maak een rubric Maak een rubric op basis van het sjabloon in de hand-outs samen met de persoon / de personen naast je. Volg het stappenplan in de hand-out of op het scherm Focus van de rubric is om een workshop sessie als deze te beoordelen Je kunt ook als je criteria etc. bij de hand hebt werken aan een rubric op maat voor een eigen cursus

Effecten introductie rubric bij Academic Writing Studenten verplicht om hun werk eerst te ijken aan de rubric, eventueel verbeteren en dan pas inleveren Eerste effect: minder benauwdheid omtrent het schrijven en minder vragen over hoe het werk beoordeeld werd Later effect: beter ingeleverd werk met veel meer aandacht voor de feedback en grotere inspanningen om het werk te structureren Rubric Arthur & Chappius, aangepast C. Burghout

Rubric Writing na twee jaar Hoge acceptatie en waardering als instrument voor assessment Ingevoerd in eigen lespraktijk van studenten Moeilijk aan te geven waar rubric kwaliteit heeft verbeterd, genoemd: ‘diepgang’ Rubric helpt feedback te verwerken, zet aan tot nadenken over wat belangrijk is Na drie jaar ‘vanzelfsprekend’

Rubric Poetry File 2012 Groep met ervaring rubric writing gevraagd om rubric te maken voor cursus poëzie (zie hand-outs) Rubric gebruikt voor samenstelling dossier met daarin een keuze van gedichten om te didactiseren Input relevante doelen uit kennisbasis en studiegids Rubric samengesteld in les met groep n.a.v. input van drie studenten en feedback van de groep Groep kan al op goed niveau meepraten over rubrics Studenten: samenstelling dossier en feedback peers Docent: feedback en uiteindelijk oordeel

Poetry file rubric 2012-2013 Helderheid criteria geen probleem (respons 12 van de 20 in groep) Indeling rubric wel probleem. Oude opzet werkt wel voor selectie, niet voor het didactiseren Vaag taalgebruik, zoals ‘other sources’ waarmee literatuurstudies en essays werden bedoeld Wens om cijferindicatie aan de kolommen toe te voegen Respons verwerkt in nieuwe opzet met aangepaste formulering (zie hand-outs)

Effect tot nu toe Studenten gaan bewuster om met feedback Studenten zijn bewuster van het belang van transparante, objectieve en betrouwbare beoordeling Studenten vertrouwd met criteria, ‘rubric literate’, in staat om rubric te verbeteren Meedenken, meewerken aan ontwerpen motiveert.

Bronnen en vindplaatsen Rubrics maken met internet tools: RubiStar
Recipes4Success
Rubric Machine
Teachnology Rubrics toegelicht: http://webdidactiek.kennisnet.nl/webactiviteiten/web-basedtoetsen/rubrics http://www.leermiddelenvo.nl/subpage/rubrics http://www.platformdigitaaltoetsen.nl/?p=909