Prof. Dr. F. Dochy Universiteit Maastricht/ KU Leuven Assessment in CBL programs – assessment for learning and feedback/ self-responsibility -autonomy Prof. Dr. F. Dochy Universiteit Maastricht/ KU Leuven

Assessment according to Jim Popham His most recent books are Classroom Assessment: What Teachers Need to Know, 6th Ed. (2010) and Assessment for Educational Leaders (2006), Allyn & Bacon; The Truth About Testing (2001), Test Better, Teach Better (2003), Transformative Assessment (2008) and Instruction that Measures Up (2009) ASCD; America’s “Failing” Schools (2005) and Mastering Assessment (2006), Routledge; and Unlearned Lessons (2009) Harvard Education Press.

OUR FAILURE TO USE FORMATIVE ASSESSMENT: IMMORAL OMISSION?

Please, just for a moment, suppose that the world’s pharmaceutical industry has developed a new medicine to treat a serious, life-threatening disease affecting young children. Suppose, further, there is a flock of compelling clinical evidence that this medicine effectively halts the dangerous disease, and that it is eminently affordable. Now, for your final supposition—and this one strains credulity—I want you to suppose that few physicians use the medicine with their young patients nor do they make parents of those children aware of the new medicine’s existence. As indicated, this kind of conduct from physicians, even though fictional, is surely unlikely.   Okay, looking back at the previous paragraph’s excursion into Supposition Land, if such a scenario were factual, how do you think our society—and parents in particular—would react to physicians’ failure to either use the new medicine or to describe its potential benefits to parents? Well, recalling my own experience as a parent of young children, I’m certain that parents would be outraged. For physicians neither to use the new medicine or to let parents know about its merits would surely be regarded as unprofessional and, more likely, as downright immoral. Assuming some children might actually die because their parents knew naught about this effective but unused medicine, for physicians to hide its curative powers from the world would be a profound professional blunder. The medical profession would be—and should be—on the receiving end of well warranted castigation.

Content Students’ views on assessment Feasibility of assessment in CBL Assessment policy Pitfalls Working and learning in teams Practical guidelines

1. Assessment and CBL: Is the assessment policy known to students 1. Assessment and CBL: Is the assessment policy known to students? Do students know they work on competences?

Strategic behaviour of students : Directed towards the type of assessment Directed towards what is perceived as being important Towards what is possibly part of the exam

MIT research(Snyder) “Students constructed their own understanding of the curriculum from messages, implicit and explicit, about what counts in assessment.” “The extent to which students were cued in to assessment demands was found to be a strong predictor of their overall performance”.

2.Assessment by individual teachers : feasibility?

Case study in innovation In groups of 10 students: work on real/ authentic professional problems Transition to groups of 20 students one could not afford small problem classes and could not afford to reinstate weekly marking of all problem sheets Mean testscores decrease from 55% to 45%

Peer assessment Peer-assessment sessions were introduced. Students gave feedback to the problem sheets and discussed them with (75% van de taken moest opgelost zijn om toegelaten te worden aan het tentamen) “The only change to the course was these six peer- assessment sessions which did not contribute to course marks” Testsscores increased from 45% to 75%. Explanations?

Explanations? Time on task Assessment generates appropriate learning activity: studenten verdiepen zich in exact datgene wat gewenst is, in competenties die vereist worden (o.a. door het gebruik van de criteria) Good practice gives prompt feedback: Keyword is here ‘immediately’. (POPHAM!!!) To get better in playing darts, you have to be able to see where the darts land. Internalization of criteria for quality. Vergelijk met academici die een artikel voor publicatie indienen.

3. Assessment policy: Alignment of assessment plans at the level of the training program

Starts with mapping all the assessments in the training program ; Matrix of courses/projects and assessments. State priorities: competence list; special learning lines; subject matter priorities (e.g. continuous link with practice; first basic knowledge, then applications; basic attitudes and generic competences continuously integrated in courses and projects, etc.)

Points of attention in CBL Assessment beroepscontextgebonden? Stijgende zelfsturing lln, zelfverantwoordelijkheid eigen leren? Ontwikkelingsgericht werken? Docent als coach? Competentiegericht (integratie K,V,H)? Welk soort sturing door assessment? (Toets je wat je wil toetsen? Wat is het effect op studenten?) Zelfreflectie (report of 5’ evaluation in each of the minutes of each meeting)

Zorg eerst voor een visie op instellingsniveau, gedeeld door opleidingshoofden Zorg voor enige uniformiteit in aanpak over opleidingen heen. Opleidingshoofden hebben de expliciete taak om een assessmentbeleid op te stellen. Dat start bij een eenvoudige matrix.

4. Pitfalls in CBL assessment 1. Enkel uitgaan van een ‘Assessment center’ (‘het assessment’) Ook ‘kennis’ als basis is belangrijk: dit dient zich te weerspiegelen in de mix aan assessmentvormen. Kennis is een deel van elke competentie.

Pitfalls in CBL assessment 2. Een mix van assessmentvormen is noodzakelijk = Visible in the assessment policy

? ? ? Mix van toetsvormen: voorbeeld producttoets kennistoets product toetsen producttoets kennistoets Co-assessment ? praktijktoets OAT summatieve/ selecterende toetsen formatieve/ diagnostische toetsen portfolio assessment portfolio ? 180° feedback procesverslag ? 360° feedback proces toetsen

Pitfalls in CBL assessment 3. De output van CGO is niet vergelijkbaar met de output van traditioneel opleiden. Men poogt een ander soort eindproduct op te leveren.

Pitfalls in CBL assessment 4. Nieuwe assessmentvormen kennen soms dezelfde algemene nadelen als klassieke toetsen Bijv: portfolio (1 per opleiding; beoordeelbaar; incl. Reflectieverslag; structuur) (T to T; anticipatie; …)

Pitfalls in CBL assessment 5. Het 40/80 concept Hebben we echt 80 toetsen nodig in een opleiding om te weten wat onze studenten waard zijn?

5. Learning and working in teams?

Onderzoek naar leren en werken in teams Cooperatief leren Projectonderwijs en PGO door studenten Maar: veel varianten !!! En : wat bepaalt nu het effect? Leren en werken in teams: studie van de sterkst voorspellende variabelen

Basic factors influencing working in teams (Decuyper, Dochy, Vd Bosssche, 2010) Constructieve conflicten / co-constructie: constructive controversy Psychologische veiligheid Interdependentie Zelfverantwoordelijkheid (individual accountability) Cohesie (divers in soorten teams)

Constructive conflict Teamleerprocessen Teamleergedrag is beste voorspeller van team efficiency Co- construction Constructive conflict Boundary crossing Team reflexivity Team activity

Teachers’ teamwork in assessment: how? Toetscommissie per opleidingsonderdeel Assessmentvorm varieren (assessmentplan) / casusmateriaal maken Kwaliteitsverhoging: nalezen, controle door diverse mensen Let op: nietjestoetsen!!! Dus: assessment van grotere gehelen inhouden en competenties is af en toe nodig

Assessment 2020 Assessment 2020 Seven propositions for assessment Assessment has most effect when : ….. Assessment 2020 Seven propositions for assessment reform in higher education

6. Practical guidelines

Wat doe je als je wil dat studenten initiatief nemen? Zorg voor duidelijke richtlijnen over het doel en kader (min. vereisten; tools; etc.) Zorg dat de toetsen /opdrachten zeker aansluiten bij het onderwijs Geef gepaste regelmatige feedback en feedforward (voldoende detail) (initiatief gaande houden) (vraag notulen van elke groepsmeeting) Zorg voor een open opdracht die studenten deels kunnen invullen (engagement) Zorg voor keuze in opdrachten / ook evt. keuze in moeilijkheidsgraad Zorg voor duidelijke deadlines (zonder uitstelmogelijkheid) Voelen van autonomie (niet-controlerend), verbondenheid, competentie (Self determination)

Wat niet doen als je wil dat studenten initiatief nemen? Controlerend optreden en feedback geven (ipv vragend) Teveel kleine omlijnde opdrachten geven Voor alles cijfers geven (hordenloop) Alles zelf bepalen als docent (criteria, doelen, werkwijze, planning, timing, etc.) Ook zwakke studenten een voldoende geven !!

Ten slotte

Onderzoek naar bewijsmateriaal voor de invloed van toetsing op motivatie van studenten “the use of summative tests not only inhibits the practice of formative assessment but has a negative impact on motivation” (Onderzoek W. Harlen) “improving formative assessment can significantly raise standards of attainment”

Tests of the kind that takes away control from the learner, reduces motivation and leads to surface learning. “High stakes summative assessment squeezes out assessment for learning”.

Workshop

Individuele beoordeling bij groepswerk

Individuele beoordeling bij groepswerk 3 vragen: 1. Hoe doen we de individuele beoordeling bij groepswerk? 2. Problemen die we daarbij ervaren? 3. Hoe lossen we die problemen op of hoe kunnen we ze oplossen?

Indiv. beoordeling bij groepswerk Beoordeling van indiv. bijdrage in groepsgesprek van taak- en relatiespoor. Verdeling van het totale aantal punten door de groep (bij een groepsscore van 6 op 10, mag een groep van 6 studenten 36 punten verdelen over alle studenten) Groepsscore voor elke student + een individuele score (door docent; door groep; door beide) (evt. Op basis van individueel POP) Groepsscore + individuele opdracht (identiek maar in andere context en alleen uit te voeren)

Denk aan: Interdependentie Individuele accountabiliteit Psychologische veiligheid TLB: constructive controversy