Werken met scripts en rubrics Toetsconferentie Fontys/FLOT Monique Maas Kwaliteit van toetsen en beoordelen Lector Desiree Joosten-ten Brinke

Praktijkonderzoek Vakdidactiek deeltijd jaar 1 lero Engels Vakdidactiek leesvaardigheid Onderzoeksvraag: Effect self-efficacy gemeten

Aanleiding Doelmatig(er) leertraject vakdidactiek Engels in BA deeltijd programma Nadruk op een effectieve transfer van theoretische vakdidactische kennis richting toepassingsgerichte kennis Door gebruik te maken van rubrics, checklists en scripts

Praktijkonderzoek Wetenschappelijke literatuur over rubrics, scripts en checklists Toepassingen binnen vakdidactiek mogelijk Faciliteren van het leren van studenten tijdens de les met rubrics, scripts en checklists  diagnostische feedback van docent en critical friends (peer-evaluations) tijdens de cursus moeten self-assessment en zelf-lerend vermogen vergroten van de student

Rubric “a rubric is a rating scale that consists of ordered categories, together with descriptions criteria that may include exemplars, which are used to sort student-produced responses into level of achievement.” (Schafer, 2001: 151)

Rubric Assessment Portfolio contains FORMATIVE ASSESSMENT   Portfolio contains FORMATIVE ASSESSMENT PROMOTING LEARNING (self-study and instruction hours) SUMMATIVE ASSESSMENT IMPROVING TEACHING (producing teaching materials after instruction/learning theory) (transfer) Self-assessment Intellectual engagement: Understanding purpose of course and question at issue; information relevant to the course; grasping key concepts; insight into inferences and assumptions you are making; overseeing implications; understanding the point of view within which you are thinking Peer-assessment Can you be a critical friend to other course participants and provide constructive feedback in various stages of materials development based on checklists? - -/+ + - / + O (4-5) V (6) G (7-8) ZG (9-10) Below: room for questions pertaining to course requirements after self-/peer-assessments One extensive reading worksheet + teacher guide (see below) Work submitted after deadline and/or incomplete. Substandard or ineffective learning materials, unsuitable for target group. No clear link between learning objectives and activities. Inadequate structure of lesson. Inadequate build-up of difficulty and productivity in assignments (Neuner) Language substandard, too many errors Work submitted on time according to requirements. Theoretical knowledge is correctly applied in coursework on a basic level. Activities allow students to meet learning goals. Materials can be used in classroom after (minor) editing Some language errors, generally C1 CEFR, instructional language on the whole appropriate for target group Student can apply theoretical insights and come up with a personal interpretation based on theoretical insights. Materials developed are suitable for use in classroom. C1 CEFR, instructional language appropriate for target group Student has internalised theoretical knowledge and is able to translate insights into creative new learning materials of publishable quality. Student uses (scientific) publications to back up decisions in teaching and construction of teaching materials. C2 CEFR, instructional language appropriate for target group One-hour intensive reading lesson materials and lessonplan + teacher guide (see below) Two Files Test theory: test analysis (extensive and/or intensive reading)

Checklist “a checklist is a task analysis whereby a teacher deconstructs or dissects that abstract standard and classifies and sequences the discrete skills into manageable steps or building blocks that lead to the successful completion of the bigger performance task targeted in the standard.” (Burke, 2011: 87-8)

Checklist CHECKLIST INTENSIVE READING Design a one-hour intensive reading lesson, in which pupils practise intensive reading skills (integrated skills lesson). Your lesson is structured, starting with lead-in activities to activate pupil’s prior knowledge, before moving on to activating assignments. Always conclude with an evaluative activity. Use the official Fontys lesson-plan format (also on Sharepoint site). Also include the learning materials you use, like (authentic) texts, assignments, etc. Note: it is possible to select a text from a course-book (provide the source), if you really can’t find a suitable text, or if you have difficulty in establishing the level of difficulty for your intended target group. You must, however, come up with your own tasks and activities. In the teacher guide: clearly define an objective based on the kerndoelen for your lesson. Explain how the activities engage the pupils into participating, and how the activities are appropriate for onderbouw-level pupils in secondary education or MBO, level 1 or 2. And why your materials are expected to be interesting for your intended target group. Also explain how the different tasks have a Neuner typology-build-up: from A via B and C to D assignments. The D-activity should be a productive D-type task linked to the learning goals set in relation to reading within a communicative context. Discuss: backwash, validity, relevance, objectives, activities, efficiency (correction time for teacher is limited). Also provide answers to the tasks. Refer to relevant methodological (vakdidactiek) literature and explain how activities , assignments, teaching (and testing) are in alignment with the objectives (constructive alignment).

Script SCRIPT: “specific questions structured in steps to follow the expert model of approaching a task from beginning to end (…) Their use enhances self-regulation through activating adequate learning strategies, promoting more accurate self-assessment, and a deeper understanding of the content, and thus a higher level of leaning.” (Panadero 2012: 807)

Script Script (samen met studenten in OLG-werkvorm opgesteld) Intensive reading lesson 9 December 2013   Leerdoel + werkvorm / activiteit afstemmen -waar vind je de leerdoelen? Zie Staatsen -maak een keuze! Niet alle doelen in één les proppen Doelgroepaansprekend materiaal kiezen Beginniveau + beginsituatie inschatten en meenemen in planning -Wat is er al behandeld? Rekening houden met groepsdynamiek -veilige situatie in de klas / ordeproblematiek? -verschillende rollen en perspectieven in acht nemen bij planning (vanuit docent en vanuit leerling) Hoe evalueer je? Wat meet je? -link hier een afsluitende werkvorm aan (bijv. een kleine presentatie) Neuner typologie in lesoefeningen, van A naar D stapsgewijs Actueel, authentiek materiaal (wanneer mogelijk)

Summatief / Formatief Rubric  een summatief toetsinstrument Script  een formatief toetsinstrument LEEREFFECT van toetsinstrumenten

Gebruik van Rubric en Script: meerdere voordelen Transparantie Leerdoelen helder Doelgericht leren (self-efficacy)

Gebruik van Rubric en Script: Nadeel Teaching to the test

Voorkomen: teaching to the test Eindopdracht moet voldoende open (ongeleid) zijn om zelfstandig (m.b.v. script) te maken met ruimte voor eigen inbreng Dus niet één mogelijk product, maar een product passend binnen een context. Link met beroepspraktijk/stageschool/werken met verschillende doelgroepen, etc. “Teach to the broader domain, not the assessment task” (Caroline Gipps, Beyond Testing: Towards a Theory of Educational Assessment, 1994: 56)

Positief backwash-effect Leertraject student en docent “promoting learning” + “improving teaching” Meer klassikaal samenwerken en samen beoordelen (peer-assessment) in diagnostische setting  effectieve, laagdrempelige bijsturing tijdens het leerproces Studenten ijken werk eerst aan de rubric en de checklist, (verbeteren, dan pas inleveren); zij leren vragen stellen door de scripts  Kwaliteit ingeleverde werk is hoog  Tijdbesparend Bijvangst  Praktijk-onderzoek ervaringen (methodologie, verslaglegging, verwerking resultaten, vraagstelling, e.d.)

Docentrol en opzet Plenaire instructietijd verminderd ten faveure van groepswerk in groepen (van 2 of 3) Ruimte voor studentgestuurd leren met ruimte voor zelfsturing van student Vakdidactiek: groepswerkopdrachten met heldere (sub-)leerdoelen  samen scripts formuleren Peer-assessments geven sturing aan leerproces Ruimte voor reflectie en bijstelling n.a.v. feedback en feedforward

Opdracht Doel --> inzetten script in cursus: gekoppeld aan open eindproduct en ondersteund met effectieve didactiek Opdracht --> ga in twee- of drietallen na HOE en WAAR een script in een huidige cursus verrijkend ingezet kan worden: WAAROM. Bedenk samen WELKE STAPPEN gezet moeten worden om dit te kunnen waarmaken. Dus, maak een script. Wees voorbereid om je bevindingen plenair te delen.