Feedback, feed up & feed forward Toetsconferentie 11 november 2014 Jorik Arts & Mieke Jaspers Lectoraat Kwaliteit van Toetsen en Beoordelen

Programma Kwesties en/of vragen Theoretisch kader eigen aanpak Theoretisch kader Koppeling theorie en praktijk Terugblik eigen aanpak Nabespreken Hulpmiddelen voor het verbeteren van de praktijk: Turnitin Afsluiting

Kwesties / vragen Verwachtingen / vragen / kwesties? Voorzie de printjes van (schriftelijke) feedback Het betreft de eerste aanzet voor een afstudeeronderzoek van de lerarenopleiding

Theoretisch kader

Waarom feedback? Meta-analyse: Feedback is een zeer krachtig instrument (Hattie, 2009) Maar veel variatie in de opbrengst vastgesteld (Kluger & DeNisi, 1996) Feedback leidt dus niet automatisch tot een leeropbrengst…

Van AoL naar AfL: Definitie: ‘Feedback is information about the gap between the actual level and the reference level of a system parameter which is used to alter the gap in some way’ (Ramaprasad, 1983) Doel van de feedback : het verschil (de ‘gap’) tussen geleverde en gewenste prestatie veranderen Echter, niet alle feedback is goede feedback… (Boud & Malloy, 2013)

Van AoL naar AfL: Definitie: ‘Feedback is information about the gap between the actual level and the reference level of a system parameter which is used to alter the gap in some way’ (Ramaprasad, 1983) Doel van de feedback : het verschil (de ‘gap’) tussen geleverde en gewenste prestatie veranderen

Waarom doen studenten er zo weinig mee? It is very poor quality feedback: little of it, random, insensitive, unreadable.. It also has marks on it It does not make any sense It relates to goals and standards students don’t understand It is too late to be useful It is about a topic they will never study again It is about how to tackle an assignment that is different from their next assignment ...it does not feed forward (keynote Gibbs, 2012)

Hoe moeten we het dan doen? Tja, dan wordt het complex… Hoe en wanneer meet je het leren? En hoe bepaal je dan precies de rol van feedback? (Price, 2010) Wat wordt er geleerd? Voor het aanleren van taal lijkt een andere strategie succesvol dan voor het aanleren van andere vaardigheden/cognities (Bitchener & Knoch, 2009) Hoe wordt de feedback ontvangen? Invloed van zelfvertrouwen, ervaring en angst (Eva et al., 2010) Wordt de feedback ontvangen? (Boud & Malloy, 2013)

Hoe moeten we het dan doen? Tja, dan wordt het complex… Hoe en wanneer meet je het leren? En hoe bepaal je dan precies de rol van feedback? (Price, 2010) Wat wordt er geleerd? Voor het aanleren van taal lijkt een andere strategie succesvol dan voor het aanleren van andere vaardigheden/cognities (Bitchener & Knoch, 2009) Hoe wordt de feedback ontvangen? Invloed van zelfvertrouwen, ervaring en angst (Eva et al., 2010) Wordt de feedback ontvangen? (Boud & Malloy, 2013)

Orsmond, 2011

10 mismatches… Docenten doen niet altijd wat ze denken dat ze doen… (Lee, 2009) Aandacht voor taal (doen), aandacht voor structuur (denken) Veel aandacht voor individuele fouten (doen), algemene terugkerende fouten (denken) Aangeven van fouten (doen), studenten moeten zelf de fouten opsporen (denken) Aangeven van fouten (doen), aandacht voor positieve aspecten (denken) Feedback is dwingend (doen), studenten zouden meer verantwoordelijk moeten worden (denken) Cijfers geven (doen), overtuiging dat het afleidt van feedback (denken)

Literatuur Good feedback practice: 1. helps clarify what good performance is (goals, criteria, expected standards); 2. facilitates the development of self-assessment (reflection) in learning; 3. delivers high quality information to students about their learning; 4. encourages teacher and peer dialogue around learning; 5. encourages positive motivational beliefs and self-esteem; 6. provides opportunities to close the gap between current and desired performance; 7. provides information to teachers that can be used to help shape teaching. Nicol, D. J. and Macfarlane-Dick, D. (2006) Formative assessment and self- regulated learning: a model and seven principles of good feedback practice. Studies in Higher Education, 31 (2), 199–218.

Wat zijn succescriteria voor effectieve feedback?

Kwaliteitscriteria van effectieve feedback Diepte van de feedback (Glover & Brown, 2006): Diepte 1: een indicatie Diepte 2: een correctie Diepte 3: Een indicatie of correctie met een uitleg Bij diepte 1 & 2 blijft de gap bestaan omdat Een indicatie slechts aangeeft dat er een gap bestaat tussen de geleverde prestatie en de gewenste prestatie. Een verbetering slechts aangeeft wat de gewenste prestatie is.

Samengevat Complex Literatuur beschrijft handvatten: Koppeling aan gewenst niveau en beoordelingscriteria Complex Literatuur beschrijft handvatten: Feedback, feed up, feed forward Taak, proces, zelfregulatie en persoon Indicatie, verbetering, uitleg

Experimenteren Kijk nu eens terug naar de schriftelijke feedback die je bij de start hebt gegeven en probeer in tweetallen de feedback te rubriceren: Feedback, feed up, feed forward Taak, proces, zelfregulatie, persoon Indicatie, correctie, uitleg Hoe zit het met de formulering? Begrijp je als lezer wat je moet doen met de gegeven feedback? Zijn er overeenkomsten in de feedback (in tweetallen)? Vergelijkbare opmerkingen

Praktijkonderzoek Lectoraat kwaliteit van toetsen en beoordelen (Jorik samen met Mieke Jaspers): Kwaliteit van de schriftelijke feedback binnen de lerarenopleiding Biologie In hoeverre leidt het gebruik van een vormgever tot verandering in de feedbackpraktijk? In hoeverre leidt een centrale positie van feedback in een onderzoeksleerlijn tot diepleren van studenten? In hoeverre leidt het gebruik van een digitale tool (Turnitin) tot meer effectieve en efficiënte feedback?

Praktijkonderzoek Lectoraat talendidactiek (Johannes): In hoeverre leidt het gebruik van een digitale tool (Kung Fu Writing) tot meer effectieve en efficiënte feedback?

Hulpmiddelen Quickmark sets www.turnitin.com Kungfuwriting.com

Vragen of tips… of deelname pilot? Jorik.arts@fontys.nl (Turnitin) J.monheim@fontys.nl (KungFuWriting)

Ter overweging: curriculum

All assessed with the same rubric: feedback & feed up How to continue? Spin off: curriculum design: developing skills for doing (writing) research Introduction + research questions (formative) Introduction + research questions (summative) + methods (formative) Introduction + research questions + methods (summative) + results (formative) Etc Feed forward