PEER ASSESSMENT ‘for’ (BLENDED) LEARNING ?! drs. Mario Gielen (UGent & UHasselt)

Overzicht Introductie Peer Assessment for Learning Instructional design Praktijkvoorbeelden: – Onderwijskunde: Schrijven van een abstract – BL: Leren Ondernemen: Schrijven van een samenvatting – BL: Biotechnology: Ontwerp van een presentatie Aan de slag

INTRODUCTIE

Introductie

Samenwerkend leren Naar een meer collaboratief perspectief

Assessment

Formative assessment Summative vs. Formative

Formative assessment – het proces Draft versie Ruimte voor verbetering… Laat lerenden de feedback gebruiken Finale versie van een opdracht

Assessment of for Learning

Opdracht 1 Beschrijf een concrete situatie / opdracht uit uw eigen lespraktijk waarbij u denkt dat formatieve assessment een meerwaarde zou kunnen betekenen en schets kort iets over: – Welke vak? Deel van… – Aantal studenten? Welk jaar? – Opdrachtperiode? Kies een 7-tal criteria die u zal hanteren om die opdracht te evalueren

PEER ASSESSMENT

Peer assessment – Peer Assessment (PA) for Learning (Dysthe, 2004) PA heeft een positief effect op het leerproces als: Assessment tool (Cheng & Warren, 2000) Learning tool (Topping, 1998) Voordelig voor zowel de assessor (beoordelaar) en assessee (beoordeelde) (Topping, 1998) Een voorbeeld van een complexe taak Peer assessment vs. Peer grading – FOCUS: Hoe peer assessmentactiviteiten optimaliseren i.f.v. het leerproces van de lerende? (Strijbos & Sluijsmans, 2010; Sadler, 2010)

Feedback

Peer feedback Peer feedback in de praktijk – Wat is de essentie van peer feedback? Feedback effectiveness depends on content, form and function (Narciss, 2008), BUT especially on feedback content (Cho & MacArthur, 2010), which should be “on target, objective, focused, and clear (Shute, 2008, p. 182) – Hoe kunnen we de kwaliteit verbeteren?! Welke ondersteuning is noodzakelijk om feedback van een hoge kwaliteit te garanderen? (Hovardas, et al., 2014)

Peer feedback Peer feedback proces (PFB) – Criteria duidelijk maken / afspreken – bestaat uit feedback & feed forward (Hattie & Timperley, 2007) FEEDBACK: In welke mate voldoet het werk aan de vereiste criteria?! (m.b.t. de draft versie) FEED FORWARD: Heeft u nog suggesties naar toekomstige verbetering per criteria? (m.b.t. de finale versie) – Belang van een PFB template in het proces Belang van structuur bij PA activiteiten (Kollar & Fischer, 2010) Rol van de assessor

PFB proces

Peer feedback dialoog – Hoe alle actoren betrekken?! De rol van beoordelaar scripten: Vb. Een gestructureerde peer feedback template gebruiken (zie Gielen & De Wever, 2015) e.g. een inhoudschecklist als voorbereiding MAAR OOK: De rol van de beoordeelde e.g. duidelijk maken op welke specifieke aspecten feedback gewenst is – feedback request (zie Gielen, et al., 2010) e.g. Het sluiten van de feedback cirkel (feedback loop) (Boud, 2000)

Peer feedback cycle (Gielen & De Wever, 2015)

Opdracht 2 Zijn uw studenten volgens u bekwaam genoeg om een oordeel te kunnen vellen over de criteria die u eerder aangaf? Wat zou volgens u een nuttige manier zijn om het PFB proces te vergemakkelijken? Friendship marking?! Face-to-face of eerder blended?!

INSTRUCTIONAL DESIGN

Scripting – Collaboration scripting als een oplossing?! Waarom? Dit gebeurt simpelweg niet spontaan genoeg (Kollar & Fischer, 2010) Scripting helpt om het proces vorm te geven Specifying, scheduling and delegating roles and activities for collaborative learning activities for both the role of assessor and assessee (eg. Fischer, et al. 2013) – How can collaboration scripting have an impact on the actual PA process? Research mainly focuses on the role of the assessor! (Gielen, et al., 2010)

Collaboration scripting

Schets een visuele tijdlijn voor jouw opdracht

ALGEMENE PRINCIPES ORGANISATIE & DESIGN Draft en finale versie (min. 2-stage) Liefst meerdere cycli Rol van zowel beoordelaar als beoordeelde Geven en evalueren van feedback (FB loop) In groepen, liefst non-reciprocal Asynchroon, online in wiki Niet anoniem Kwalitatieve beoordeling, geen scores

HET PRINCIPE…

(2) The procedure in printscreens… DRAFT VERSION FINAL VERSION

EARLI 2013 Symposium: Formative feedback in online interaction to enhance learning

DRAFT VERSION

FINAL VERSION

(2) The procedure in printscreens… DRAFT VERSION FINAL VERSION

PRAKTIJKVOORBEELDEN

(3) VOORBEELDEN SETTING

Onderwijskunde Een abstract maken

Leren Ondernemen Een samenvatting maken

Plant Biotechnology Een presentatie maken

Peer Assessment in Blended Learning ‪ #ietsvoorjou? ‪

Instructional design #waaraandenken? Uitdenken van opdrachten: – Draft en finale versie (min. 2-stage) – Voorzie liefst meerdere ”practice occasions” (3 tijdsmomenten) Uitdenken van opdrachten: – Draft en finale versie (min. 2-stage) – Voorzie liefst meerdere ”practice occasions” (3 tijdsmomenten) Uitdenken van PA script – Rol van zowel beoordelaar als beoordeelde – Creëren van “dialoog” – Laat de ontvangen feedback evalueren (FB loop) – In groep, Asynchroon, Niet anoniem,… – Kwalitatieve beoordeling, geen scores Uitdenken van opdrachten: – Draft en finale versie (min. 2-stage) – Voorzie liefst meerdere ”practice occasions” (3 tijdsmomenten) Uitdenken van PA script – Rol van zowel beoordelaar als beoordeelde – Creëren van “dialoog” – Laat de ontvangen feedback evalueren (FB loop) – In groep, Asynchroon, Niet anoniem,… – Kwalitatieve beoordeling, geen scores Meerwaarde van structuur in PA proces?! – Structuur helpt om engagement van alle actoren te verhogen – Structuur helpt om dialoog te orkestreren – Over tijd verbetert kwaliteit PFB en product

Opdracht – Herwerk jouw finale opdracht

PEER ASSESSMENT FASE 1 Leg jouw opdracht / design uit aan 1 iemand van de groep Vul de PFB template in over het design van je buurman Geef feedback / feed forward op de criteria Bediscussieer de template en evalueer de ontvangen peer feedback Herwerk jouw opdrachtvoorstel

PEER ASSESSMENT FASE 1 Criteria?

PEER ASSESSMENT FASE 2 In groepen van 4 Leg jouw opdracht / design uit aan de rest van de groep Wat was de commentaar op de PFB template? Ging je er wel of niet mee akkoord? Heb je er dingen van geleerd?

PEER ASSESSMENT FASE 3 Vertel overkoepelend over de bevindingen Kies 1 voorbeeld uit de groep Presenteer dit voor de klasgroep Benadruk de gebruikte didactische principes Illustreer hoe de PFB template hiertoe al dan niet heeft bijgedragen? Discussie met hele klasgroep

PEER ASSESSMENT FASE 4 – Eindopdracht / terugkoppeling Herwerk jouw persoonlijke opdracht op basis van wat je geleerd heb Vul aan met een aantal printscreens Zie template voor submission Stuur naar Database best practices op website:

PEER ASSESSMENT ‘for’ (BLENDED) LEARNING ?! drs. Mario Gielen (UGent & UHasselt)

EXTRA

Evolutie peer feedback scores over de tijd

p =.011 p <.001