Sneller en beter feedback geven met digitale tools SCALA-project Programma toetsing en toetsgestuurd leren www.surf.nl/scala De projectgroep: Patris van Boxel Janneke van der Hulst Ineke van den Berg Sumit Mehra José Beijer Annelies Riteco Sanne Meeder Sanne Gratama van Andel
SCALA Scaffolding Assessment for LeArning Partners: HVA, HU, VU, UU SURF project Maart 2012-Maart 2014 Scala staat voor scaffolding assessment for learning. Het project wordt uitgevoerd door de hogeschool van amsterdam, de hogeschool Utrecht, de vrije universiteit en universiteit utrecht. Het project liep van 2012 tot 2014.
SCALA: digitaal feedback geven en beoordelen Belangrijkste projectdoelen: Vermindering werkdruk docenten Verbeteren van de kwaliteit van feedback op geschreven producten Tools: Turnitin, Winvision In dit project hebben we onderzocht of digitale middelen het nakijken en beoordelen efficienter kunnen maken en tijdswinst kunnen opleveren. En gingen we na of de kwaliteit van feedback op geschreven producten als essays, papers, onderzoeksverslagen kan worden verbeterd. VU, UU, en HVA werken met Turnitin. Hogeschool Utrecht werkt met Winvision. Plaatje 1
SCALA Hergebruiken van feedback Rubrics en beoordelingscriteria Het idee is dat een derde van de feedback die een docent geeft kan worden hergebruikt en dat je dus door het hergebruik tijd kunt besparen. Ik zal zo vertellen hoe dat werkt. De kwaliteit van de feedabck willen we verbeteren door gebruik te maken van rubrics, ook daar kom ik zo op terug. Plaatje 2
SCALA hergebruik feedback Voorgestructureerde feedback in een set: Quickmarks Via drag en drop In Turnitin is het mogelijk om feedback op te slaan. Er wordt dan een soort feedback knop of ballonnetje gemaakt zoals de blauwe knoppen op het plaatje. Deze worden quickmarks genoemd. De volgende keer dat je die zelfde feedback wilt geven sleep je met je muis het ballonnetje in de tekst op de goede plek. Dat scheelt tijd. Plaatjes 3,4 en 5
SCALA Gebruik van Quickmark sets door groep docenten Standaardisering van feedback Ook is het mogelijk om van te voren een feedback set te ontwikkelen die door een groep docenten kan worden gebruikt. Op die manier wordt de feedback meer gestandaardiseerd. Het blijft mogelijk naast de quickmarks persoonlijke feedback te geven. Plaatje 6
SCALA: rubric Transparante criteria voor docenten Verhoogt consistentie / betrouwbaarheid van beoordelingen Transparantie criteria voor studenten Geeft inzicht in aspecten waarop beoordeeld wordt Geeft niveau aan dat verwacht wordt / waar naar gestreefd dient te worden Bevordert zelfreflectie / zelfsturing Door het gebruik van een rubric bij de beoordeling wordt het voor studenten duidelijker waar de beoordeling van hun werk op is gebaseerd. In de rubric kunnen studenten zien wat ze moeten doen om hun werk te verbeteren. Daarnaast zullen docenten die met dezelfde rubric werken eenduidiger gaan beoordelen.
Keuzes Leerlijn: academische vaardigheden Product: voor schrijfopdrachten Holistisch/ analytisch? Universele rubric gebruiken? Quickmarksets
Rubrics - Lerarenopleiding Universiteit Leiden onvoldoende matig voldoende goed Leiding geven en structuur bieden Het nemen van de leiding en het bieden van structuur lukt vaak niet. Hij kan de leiding nemen en structuur bieden, incidenteel lukt dat niet. Hij kan de leiding nemen in de klas en biedt de leerlingen structuur. Soms moet hij zich daar wel even voor inspannen. Het nemen van de leiding in de klas en het bieden van structuur gaat hem gemakkelijk af en komt natuurlijk over. Normen en regels stellen en handhaven Alhoewel hij de regels over wat en wel en niet kan vaak benadrukt, corrigeert hij vaak aarzelend of helemaal niet terwijl dat wel nodig is. Soms grijpt hij juist overdreven in. Hij is duidelijk over wat wel en niet kan in de klas. Hij corrigeert meestal wel in als dat nodig is, maar bij tijd en wijle gebeurt dat nog wat aarzelend. Hij corrigeert tijdig als dat nodig is zonder te overdrijven. Over het algemeen heeft dat het gewenste effect. Het is duidelijk en vanzelfsprekend wat wel en niet kan in de klas. Hij corrigeert de leerlingen wel degelijk als dat nodig is. Dat gebeurt goed getimed en op een evenwichtige manier. Daardoor lijkt het meestal bijna terloops te gebeuren. Helpen en begrijpen van leerlingen De leraar toont zich in de omgang met leerlingen vaak gespannen. Hij gaat over het algemeen op een vriendschappelijke manier met leerlingen om en probeert ze te helpen en begrijpen. De leraar toont zorg en belangstelling voor de leerlingen. Hij signaleert problemen en onderneemt dan actie. De leraar toont zorg en belangstelling voor de leerlingen. Hij signaleert problemen in een vroeg stadium en onderneemt dan actie. Ruimte geven/bieden De leerlingen kunnen bij hem vaak hun eigen gang gaan. Hij staat open voor suggesties van de leerlingen. Hij houdt rekening met de wensen en behoeften van leerlingen. Hij houdt rekening met de wensen en behoeften van leerlingen en geeft hen eigen inbreng en verantwoordelijkheid Werkklimaat In de klassen van deze docent ontbreekt een positief werkklimaat. De sfeer is vaak ruzie-achtig. Over het algemeen verloopt de les rommelig. In de klassen van deze docent bestaat een veilig werkklimaat. Het duurt vaak wel lang voor de leerlingen hun aandacht bij de les hebben. Het is daarom nog wel eens een beetje rommelig. Er bestaat een veilig werkklimaat in de klassen van deze docent. Over het algemeen verlopende lessen gestructureerd. Het is zeer incidenteel een beetje rommelig. De leerlingen zijn over het algemeen taakgericht bezig, wat niet wil zeggen dat nergens anders ruimte voor is. a
Voorwaarde: Hanteerbaar Omvang Een á twee A4 Voldoende specifiek maar niet te gedetailleerd Maximaal zeven deelaspecten/rijen Geen opsommingen in de cellen Onderscheid tussen niveaus: Onvoldoende Voldoende Excellent
Criteria Zie artikel: What’s wrong and what’s right with rubrics Less is more: de rubric geeft de docent richting bij beoordeling Criteria zijn sleutelcomponenten Ieder criterium moet te onderwijzen zijn
Behulpzaam? Biggs & Collins, 1982
Proces ontwikkelen rubric 5-6 bijeenkomsten van 1,5 tot 2 uur (totaal ongeveer 12 uur) Eerste bijeenkomst: aftrap Van te voren voorbeelden sturen Bepalen: Kwantitatief-kwalitatief Criteria Aantal kolommen (schaal) Hulpmiddelen bij formuleren, voorbeelden andere rubrics, taxonomie SOLO/ Bloom
Proces ontwikkelen rubric Schriftelijk feedback vragen aan grotere groep, liefst ook studenten Weging bepalen (eerst ieder individueel, daarna sluiten we compromis) Conceptversie goed testen: Liefst met alle betrokken docenten 2 geanonimiseerde oud-werkstukken (1 magere 6 en een goed werkstuk) Ook in Turnitin zetten, dan kun je het cijfer makkelijk berekenen en ziet ieder waar we naar toe werken Na afloop laatste aanpassingen maken
Proces ontwikkelen rubric Na test laatste aanpassingen maken Rubric tijdens een cursus laten piloten Daarna goed evalueren: Waar liggen de twijfels tussen de cellen van de rubric? Bij kwantitatieve rubric: Klopt de weging?
Rubrics in GradeMark Dit is een rubric zoals die er uit ziet in Turnitin. Op de verticale as staan de criteria met weging. Op de horizontale as staan de verschillende niveaus beschreven. Dit is een voorbeeld van een kwantitatieve rubric, er komt een cijfer uit. Je kunt ook voor een kwalitatieve rubric kiezen.
Feedback in Turnitin Rubric: geeft overzicht beoordeling, waar sta je 2. Quickmarks geven inhoudelijke feedback 3. General comment: voor persoonlijke toelichting/ steun
SCALA 28 pilots (21 Turnitin, 7 Winvision) Grote variatie van pilots: Rubric vs geen rubric Docenten feedback Peer feedback Gebruik van Quickmarks Gebruik van beoordelingscriteria Één of meer docenten Grote en kleine groepen In het scala project hebben we 28 pilots uitgevoerd. Er is een grote variatie aan pilots. Veel pilots hebben gewerkt met een rubric, anderen met beoordelingscriteria. We hebben grote pilots van 300 studenten en 10 docenten en kleine pilots met een enkele docent en een paar studenten.
SCALA deliverables Onderzoeksrapportage Good practice beschrijving Voorbeelden van rubrics en quickmarksets Voorbeelden van trainingsmateriaal Allemaal vindbaar op: www.surf.nl/scala Die grote variatie maakt het onderzoek een beetje lastig. 1 maart 2014 verschijnt onze onderzoeksrapportage. Deze zullen we publiceren op de website. Verder presenteren we op de website 5 good practices en zijn er voorbeelden van rubrics, quickmarksets, handleidingen en trainingen te vinden.
SCALA: De Resultaten Tijdsbesparing Docenten (n=67) Bijna 40% geeft aan minder tijd te hebben besteed, gemiddeld 25% tijdswinst Bij herhaald gebruik ervaren meer docenten tijdswinst Let wel: Het ontwikkelen van rubrics, quickmarks en beoordelingscriteria vraagt eerst een tijdsinvestering Alle pilotdocenten zijn bevraagd of zij minder, evenveel of meer tijd hebben besteed aan nakijken dan in vorige jaren. Bijna 40% gaf aan minder tijd te hebben besteed, 45% evenveel en slechts 15% gaf aan meer tijd te hebben besteed. En dit terwijl het voor de meeste docenten de eerste keer was dat ze op deze manier werkten. Bij cursussen waarin al eerder op deze manier was nagekeken werd door meer docenten tijdswinst ervaren. De verschillen in antwoorden zijn deels te verklaren door de mate van betrokkenheid bij het ontwikkelen van de rubrics, beoordelingscriteria en quickmarks.
SCALA: De resultaten Waarin zit de tijdswinst Bij gebruik van rubrics Hergebruik van feedback dmv quickmarks leidt tot tijdswinst Bij gebruik van vaste sets beoordelingscriteria Minder administratieve rompslomp Peerfeedback, met name faciliteren Turnitin en Winvision bieden een handig overzicht van de ingeleverde opdrachten. Ook archiveren gaat makkelijker dan voorheen.
SCALA: De Resultaten Kwaliteitsverbetering Docenten (n=67): 40% van de docenten geeft aan dat de kwaliteit van de feedback is toegenomen Beoordeling is uniformer Beoordeling transparanter voor studenten en mededocenten Studenten (n=552): Beoordelen feedback met een 7,1 71% vindt de hoeveelheid feedback voldoende
SCALA samenvatting en conclusie 40% heeft tijd bespaard 40% van de docenten geeft aan dat er kwaliteitsverbetering is Tijdsbesparing is niet ten koste gegaan van de kwaliteit 65% vond het systeem een handig middel 85% van de docenten wil vaker deze systemen gebruiken
SCALA Contact: R.GratamavanAndel@uu.nl www.surf.nl/scala
Bronnen Plaatje 1: gevonden op 8 oktober 2013 op :http://euangelizomai.blogspot.nl/2006/06/grading-papers.html Plaatje 2:gemaakt door Patris van Boxel, oktober 2012 via http://www.wordle.net/createv Plaatjes 3, 4 en 5, gevonden op 8 oktober 2013 op: http://www.turnitin.com/en_us/features/grademark Plaatje 6: gevonden op 8 oktober 2013 op: http://www.infrasec.nl/?PageID=18&menu=84