Digitaal nakijken met Turnitin Werkgroep ECENT 15-5-2013 Sanne Gratama van Andel Frans Kranenburg Centrum voor Onderwijs en Leren Mezelf voorstellen

Inhoud Vragen aan u Opdracht Turnitin SURF project SCALA Demo GradeMark Demo PeerMark Zelf experimenteren Reacties Korte introductie op de workshop

Vragen aan u: Wat weet u al van Turnitin? Welk probleem hoopt u op te kunnen lossen met digitaal nakijken? Op welke vragen hoopt u een antwoord te krijgen in deze workshop? Grote groep: we gaan even speeddaten: wissel even uit in groepjes van 2/3 personen. Daarna plenair. Vat kort samen wat je met speeddaten te weten bent gekomen over je buurman/vrouw. Kleine groep: we maken een rondje aan de hand van de vragen.

Opdracht Kijk dit schriftelijk na met pen en geef feedback.

Digitale feedbacktool: Turnitin www.turnitin.com Mogelijkheid tot integratie met Blackboard Grade Mark Digitaal nakijken (docent) Peer Mark Peer review (student) Originality Report Plagiaatdetectie De aanleiding; VU heeft dit systeem aangeschaft als plagiaat tool, geintegreerd in Blackboard. Docenten ontdekten zelf de andere twee mogelijkheden: Grademark en Peermark. Grademark is een tool voor de docent. Peermark is een tool die het geven en ontvangen van peerfeedback faciliteert. Beide tools zal ik straks demonstreren.

Feedback geven via GradeMark Student levert opdracht in via Turnitin (of Blackboard) Alle papers in 1 overzicht, incl. plagiaatcheck Docenten geeft commentaar / beoordeling adhv: Annotaties ‘QuickMarks’ (herbruikbare feedback - drag en drop) ‘Rubrics’ (beoordelingsformulier) (Student verwerkt commentaar (evt ook van peers) en levert eindversie in) Het idee achter Grademark is je ongeveer de helft van de feedback die je geeft kunt hergebruiken. Wanneer een docent een stapel essays nakijkt komt hij/zij vaak dezelfde fouten tegen. Wanneer je de feedback die je geeft opslaat en een naam geeft (quickmarks) dan kun je de volgende keer dat je diezelfde fout tegenkomt de opgeslagen feedback via drag and drop in de tekst plaatsen. Deze quickmarks kunnen individueel worden gebruikt, maar ook door bijvoorbeeld een groep docenten. Bijvoorbeeld bij grote cursussen. Hierdoor kunnen docenten onderling de discussie aangaan over goede feedback.

Beoordelingsformulier (‘rubric’) Tabel bestaat uit: Rijen met te beoordelen deelvaardigheden/aspecten van de opdracht Eventueel met weging van deelaspecten Kolommen met ‘performance’ schaal (1 t/m 4; ++ t/m --; excellent tot zwak,..) Beschrijving van het bereikte / te bereiken niveau per schaaldeel (evt gekoppeld aan cijfers) Zie voorbeeld Het gebruik van een rubric kan leiden tot een meer transparante beoordeling. Een rubric is een matrix met daarin een beschrijving van de niveaus die een student hoort te behalen. Bijvoorbeeld een kolom voor onvoldoende, voldoende of goed. Het is ook mogelijk om een kolom excellent toe te voegen. Studenten zien dan wat voor prestatie ze moeten leveren om excellent of goed te presteren.

Beoordelingsformulier (papier) © Wageningen UR 8

Rubrics in GradeMark

Beoordelingsformulier Transparante criteria voor docenten Verhoogt consistentie / betrouwbaarheid van beoordelingen Transparantie criteria voor studenten Geeft inzicht in aspecten waarop beoordeeld wordt Geeft niveau aan dat verwacht wordt / waar naar gestreefd dient te worden Bevordert zelfreflectie / zelfsturing De voordelen van een rubric nog even op een rijtje

Ervaringen van VU docenten Stimuleert gezamenlijke beoordelingsaanpak Bevordert transparantie / betrouwbaarheid beoordeling Werkt kwaliteitsverhogend Sneller inwerken nieuwe docenten Digitaal feedback geven bespaart tijd minder logistieke / papieren rompslomp efficiënter beheer van opdrachten op repetitieve aspecten van nakijken

Peermark Stap 1: Voorbereiding Docent maakt twee opdrachten aan. Strakke deadlines!!! Stap 2: Student levert werkstuk in in Turnitin Stap 3: Het systeem rouleert Stap 4: Studenten geven elkaar feedback Stap 5: Studenten (en docent) kunnen de peerfeedback zien Het peerfeedback systeem is op dit moment alleen geschikt voor individuele opdrachten. De studenten moeten individueel iets inleveren, daarna rouleert het systeem. Hierdoor moeten studenten op tijd inleveren, anders zijn te laat voor het rouleren. Het is aan te bevelen tussen de inlever datum van het eerste product en het rouleren een aantal uur in te lassen. Er zijn wel verschillende instellingen mogelijk.

Ontwerpkeuzes bij Peerfeedback Formatief of summatief Anoniem of niet anoniem Individueel of feedback in groepjes Aantal te beoordelen peers Beoordelingscriteria Gebruik van ontvangen feedback Rol van de docent in het feedbackproces Communicatie over de feedback Bij het ontwerpen moet je een aantal keuzes maken. Allereerst de timing, tussentijds, studenten kunnen nog een verbeterslag maken of een peerbeoordeling achteraf. Anoniem, niet anoniem hangt hiermee samen. Als je weet voor wie de feedback is pas je meer op je woorden, dit is later in het werkende leven meestal ook de situatie. Bij een beoordeling wil je vriendjespolitiek, maar ook pesterijen uitsluiten en is anoniem een betere keuze. Hoeveel peers laat je beoordelen? Zeker bij een beoordeling is het handig om minimaal twee te doen. Als docent kun je dan een gemiddelde berekenen of ingrijpen als de beoordelingen te ver uit elkaar liggen. Studenten vragen zich ook af wat de docent vind van de feedback die ze hebben gegeven. Eigen voorbeeld onderwijskunde.

Online peerfeedback Research (samenvatting door Segers 2004) Verbeterd het zelfrespect van studenten in hun werk Meer inzicht in de kwaliteit van hun eigen werk Verbeterde reflectie op eigen werk Hoger leerresultaat –hiermee samenhangend- hoger tentamencijfer Dieper leren Studenten nemen meer verantwoordelijkheid voor hun eigen leerproces Studenten zijn meer tevreden over de manier waarop ze les krijgen/leren Beter leerklimaat Nog even de voordelen van het werken met peerfeedback op een rijtje

SURF project SCALA Partners VU, HU, HVA, UU Looptijd 1 maart 2012- 1 maart 2014 28 pilots Wanneer is welke feedback effectief? Good practices, ontwerpinstrumenten Efficiëntere feedback-workflows Logistieke processen stroomlijnen Inhoudelijk: bv. standaard QM sets voor vakken/opleidingen Verschillende partners, ook verschillende systemen.

Demo Nu naar het systeem: http://www.turnitin.com

Vragen? Heeft u nog vragen? Meer info na deze workshop? Binnenkort hebben wij een simpele website: http://tinyurl.com/scala-project (er wordt nu nog aan gewerkt).

Zelf experimenteren - Klik op de “TRY” button (Engelse taal instellen)

Hoe nu verder? Welke mogelijkheden ziet u voor digitaal nakijken in uw eigen onderwijs?