Gebruik van rubrics bij practica Betere transparantie van beoordelingscriteria, verhogen zelfregulatie en betere prestaties?

Gebruik van rubrics bij practica Betere transparantie van beoordelingscriteria? Verhogen zelfregulatie, self-efficacy? Betere prestaties? Onderzoek Masterthesis Onderwijswetenschappen Open Universiteit Afstudeerbegeleider: Dr. Desirée Joosten–ten Brinke Uitgevoerd bij Fontys Hogeschool voor Toegepaste Natuurwetenschappen Alida Boot-Groenink a.groenink@fontys.nl

Inhoud van workshop Algemeen Wat zijn rubrics? Onderscheid soorten rubrics Summatief gebruik rubrics Formatief gebruik rubrics Onderzoek naar gebruik rubrics bij practica Opzet quasi-experimenteel onderzoek Eerste resultaten van onderzoek Voorlopige conclusies Interactief: mogelijkheden voor eigen gebruik?

Wat zijn rubrics? Beoordelingsmatrix Geschikt voor open toetsvormen, 4 typen doelstellingen: Kennisdoelen op niveau van inzicht en toepassing Hogere orde cognitieve vaardigheden zoals probleem oplossen, kritisch denken Performance skills zoals presentatie geven, laboratoriumwerk, groepswerk Creating products zoals onderzoeksrapporten, kunstobjecten maken (Van den Bos, Burghout & Joosten-ten Brinke, 2014)

Onderscheid rubrics Analytische rubric: Holistische rubric: Eenduidig en enkelvoudig, alle relevante beoordelingsaspecten afzonderlijk Holistische rubric: Complexe vaardigheden zoveel mogelijk als één geheel beoordeeld Taakspecifieke rubric Generieke rubric Voor specifieke opdrachten, feedback op detailniveau Breder inzetbaar, voor toetsen ontwikkeling competentie over langere periode

Summatief gebruik rubrics Met rubric cijfer geven voor geleverd werk Indicatoren zijn afgeleid van standaarden of doelen Vergroting van: Validiteit Meet je met rubric wat je wilt meten? Betekenis, bruikbaarheid en juistheid van conclusies uit toetsscores Betrouwbaarheid Beoordelingscriteria en methode helder ? Mate objectiviteit van en consistentie in beoordeling wordt vergroot Transparantie voor docent en student duidelijk hoe cijfer tot stand komt Voor verbetering prestatie van studenten: beoordelingscriteria moeten transparant zijn (Jonsson, 2014)

Summatief gebruik rubrics vervolg cesuur Nadeel: weinig detail, algemene indruk Holistische rubric: één oordeel van gezamenlijke criteria Voorbeeld eerder beoordeeld werk gebruiken Analytische rubric: gewicht toekennen aan criteria, indicatoren Nadeel: ‘afvinklijst’ teveel detail, verlies samenhang

Formatief gebruik rubrics Rubric: precieze, inhoudelijke informatie over geleverde leerprestaties Vaststellen wat er al geleerd is, tot welk niveau en wat er nog te leren is Feed-forward functie van toetsing Leervorderingen van studenten zichtbaar Rubric: - didactisch instrument - instrument voor zelfregulatie te gebruiken bij self- en peerassessment Self-efficacy vereist (Clark, 2012)

Onderzoek naar gebruik rubrics bij practica Opzet quasi-experimenteel onderzoek bij eerstejaars studenten Applied Science naar effect gebruik rubrics voor het bijhouden van labjournaal bij praktijk chemie Basisartikel: Panadero, E., & Jonsson, A. (2013). The use of scoring rubrics for formative assessment purposes revisitided: A review. Educational Research Review 9, 129-144. Gebruik rubrics Betere prestaties Verhogen van zelfregulatie Vergroten van transparantie van formatieve beoordeling Vergroten van self-efficacy 1 2 3 5 4 6 7 onderzoeksmodel

Onderzoek naar gebruik rubrics bij practica Experimentele groep: krijgt rubric labjournaal extra 1 wiskunde B-klas : wisk-B-exp. (n=24: 8 vrouwen, 16 mannen) 1 wiskunde A-klas: wisk-A-exp. (n=21: 8 vrouwen, 13 mannen) Controlegroep: geen rubric 1 wiskunde B-klas: wisk-B-contr.(n=21: 8 vrouwen, 13 mannen) 1 wiskunde A-klas: wisk-A-contr.(n=22: 10 vrouwen, 12 mannen) Tijdslijn onderzoek: Pre-test vragenlijst alle groepen meten self-efficacy, zelfregulatie Op- en bijstellen rubric Start practicum Periode 1 Introductie rubric bij exp. groepen Self-assessment en formatief assessment alle groepen transparantie Post-test vragenlijst alle groepen meten self-efficacy, zelfregulatie, transparantie Summatieve beoordeling labjournaal meten prestatie sept juni okt nov

Onderzoek naar gebruik rubrics bij practica Rubric labjournaal Criteria goed ruim voldoende voldoende matig onvoldoende Verzorging Doelstelling Theorie Uitvoering Reagentia, apparatuur,werkwijze Weergave resultaten/ waarnemingen Verwerken resultaten Discussie Conclusie Samengesteld op basis van standaarden DAS, studiehandleiding, bestaande beooordelingscriteria expliciet gemaakt Bijgesteld met feedback van studenten (eind propedeuse en ouderejaars) en docenten, onderwijskundigen Voor formatief en self-assessment: Goed 5 Ruim voldoende 4 Voldoende 3 Matig 2 Onvoldoende 1

Onderzoek naar gebruik rubrics bij practica Verschil formatief – self-assessment: Indirecte indicatie voor transparantie van formatieve beoordeling Mate waarin studenten zichzelf kunnen beoordelen Transparantie van beoordelingscriteria bevraagd in post-vragenlijst: - Criteria helder? - Door gebruik criteria duidelijk hoe werk te verbeteren?

Onderzoek naar gebruik rubrics bij practica Zelfregulatie: EMSR-Q van Alonso-Tapia in Panadero & Romero (2014) Bijvoorbeeld: Self-efficacy: aangepaste vragenlijst van Andrade (2009) Bijvoorbeeld: Prestatie: summatieve beoordeling van criteria, weging van criteria in Excelsheet

Onderzoek naar gebruik rubrics bij practica Eerste resultaten onderzoek Gebruik van rubrics: 1. Vergroot transparantie? Geen significant verschil exp.-contr 2. Verhoogt zelfregulatie? Geen significant verschil exp.-contr 3. Leidt tot betere prestaties? ?? 4. Vergroot self-efficacy? Significant verschil exp.: 75.7 t(77)=2.02 p=0.046 contr: 71.8 Voor man en vrouw Voor wisk B en wisk A Géén significant verschil tussen wisk B-wisk A en man-vrouw

Onderzoek naar gebruik rubrics bij practica Eerste resultaten onderzoek Bij verschil formatief assessment – selfassessment: Géén significant verschil tussen exp.- en contr.groep Wel significant verschil wisk-B-groep (-3.7) t(71)=2.61 wisk-A groep (-7.7) p=0.011 Wel significant verschil mannen (-7.2) t(71)=-2.4 vrouwen (-3.4) p=0.019 Voor man en vrouw Voor wisk B en wisk A

Onderzoek naar gebruik rubrics bij practica Voorlopige conclusies: Hogere self-efficacy gemeten in experimentele groep: door gebruik rubrics krijgen studenten meer self-efficacy voor het bijhouden van het labjournaal. Studenten uit wisk-B-klassen zijn beter in staat zichzelf in te schatten voor criteria labjournaal totaal en criteria theorie, uitvoering, verwerking resultaten, discussie, conclusie. Vrouwen zijn beter in staat zichzelf in te schatten voor criteria labjournaal totaal en criteria weergave resultaten en discussie Indien data gesplitst: vrouwen significant beter bij wisk-B-groep, niet bij wisk-A

Literatuurreferenties: Andrade, H. L., Wang, X., Du, Y., & Awaki, R. L. (2009). Rubric-referenced self-assessment and self-efficacy for writing. The Journal of Educational Research, 102, 287-302. Clark, I. (2012). Formative assessment: Assessment is for self-regulated learning. Educational Psychology Review, 24, 205-249. Jonsson, A. (2014). Rubrics as a way of providing transparency in assessment. Assessment & Evaluation in Higher Education, 39, 840-852. Panadero, E., & Jonsson, A. (2013). The use of scoring rubrics for formative assessment purposes revisitided: A review. Educational Research Review 9, 129-144. Panadero, E., & Romero, M. (2014). To rubric or not to rubric? The effects of self-assessment on self- regulation, performance and self-efficacy. Assessment in Education: Principles, Policy & Practice, 21, 133–148. Van den Bos, P., Burghout, C., Joosten-ten Brinke D. (2014). Toetsen met rubrics. In H. Van Berkel, A. Bax, & D. Joosten-ten Brinke (Eds.), Toetsen in het hoger onderwijs (p. 193-204). Houten, Nederland: Bohn Stafleu van Loghum.

Interactief Ervaringen met gebruik van rubrics? Voorkeur analytische/holistische rubric? Generiek/specifiek? Is rubric mogelijk bruikbaar voor eigen practicum/praktijk? Welke criteria zijn dan belangrijk? Mogelijke voor- en nadelen voor werken met rubrics in eigen praktijk? Mogelijkheden summatief/formatief gebruik rubrics bij practica? Mogelijkheid/ervaring self-assessment /peerassessment met rubric?