Formatief toetsen in de dagelijkse onderwijspraktijk 27 maart 2018 Liesbeth Baartman NRO-PPO 405-15-722 Eindrapport

Waarom nu, waarom dit? Website: ook over formatief toetsen. Wat willen we hier uitdragen? Ontwikkeling toolkit in samenwerking met Platform Leren van Toetsen En KIT2.0 is ook interessant 

Doelen vanmiddag: En wat is jouw doel? Deze middag: Beelden gekregen bij FT-cyclus Beelden gekregen van hoe formatief toetsen in HU wordt opgevat Geïdentificeerd waar sterke / zwakke punten in FE-cyclus liggen en hoe hiermee verder Lange termijn: En wat is jouw doel?

Wat versta jij onder formatief toetsen? Op basis van je eigen opvattingen Op basis van wat je hoort binnen de HU Schrijf op post-it blaadje en bewaar nog even …

Startpunt: NRO-review over FT Professionali-sering??!! Waarom nog een review over formatief toetsen? Die zijn er toch al zo veel? 1. Belang van formatief toetsen én cruciale rol van docenten wordt breed onderkend (b.v. Hattie review 2009) 2. Uit veel studies blijkt: professionalisering van docenten in een kritische factor in het bevorderen van FT en verbeteren ervan. Er zijn veel voorbeelden bekend van kleinschalige en landelijke / grootschalige prof trajecten, maar de daadwerkelijke implementatie in de klas blijkt moeilijk. 3. Rol van de docent is dus zo belangrijk, maar er zijn maar weinig overzicht bekend over wat docenten daadwerkelijke DOEN om mogelijk postiieve effecten te bereiekn op studenten. Ook de relatie tussen die specifike docentactiviteiten en eventuele effecten op leerlingen blijven onduidelijk. Therefore Recent formative assessment literature therefore calls for insight into teacher formative assesment practices in the classroom and the insight into which assessment pracitces make a difference in student learning (Antoniou & James, 2014; Sluijsmans et al., 2013).  This knowledge provides new insights into what and how effective professional development should be. Praktijken in de klas docentcompetenties

Formatieve Toetscyclus Fase 1: Verwachtingen verhelderen Fase 5: Vervolgacties ondernemen: onderwijs & leren aanpassen Fase 2: Studentreacties ontlokken en verzamelen Kernvragen: Waar naartoe? Waar nu? Hoe nu verder? (Hattie & Timperly, 1998; Wiliam, 2011) Aantal studies geven concreter beeld van wat een docent allemaal doet in de 3 bekende stappen van FA: feedup / feedback / feedforward. Deze studies hebben we gebruikt om een “FA cycle” op te stellen, die de basis vormt voor onze analyses. Hoe ziet dit er dan concreet uit in de klas? Ruiz-Primo & Furtak (2006;2007): ESRU cycle (Elicit – Response – Recognize – Use) Elicit Student response Recognise the response Use information  Antoniou & James (2014) Identificeren van leerdoelen Uitlokken van een student response / informatie inwinnen Analyseren van de informatie Communiceren van bevindingen / feedback Nemen van vervolgstappen: instructie aanpassen/leren reguleren Fase 4: Communiceren met studenten over resultaten Fase 3: Reacties analyseren en interpreteren

Waar is FT-cyclus op gebaseerd? Combinatie van Assessment for Learning (UK) en data-based decision making (USA) Formatief toetsen is een proces: Cyclisch Doelgericht Gericht op het verbeteren van studentuitkomsten, onafhankelijk van soort/type uitkomsten Waar komt de FT-cyclus vandaan? In onze NRO-overzichtsstudie zijn we uitgegaan van twee theoretische stromingen, namelijk AfL en DBDM. We vatten formatief toetsen in deze toolkit op als een proces dat cyclisch is en daarmee meerdere keren kan worden doorlopen Deze cyclus is doelgericht, wat betekent da tje voortdurende werk vanuit de leerdoelen en succescriteria die je hebt gesteld en dat die terugkomen in alle fasen van de FT-cyclus Deze cyclus is gericht p het verbeteren van het leren van studenten. Dit kan vanalles zijn, denk aan betere toesresultaten, maar ook verhoogde motivatie, of zelf-regulatie of sfeer in de klas

Assessment for Learning Feedup - waar ga je heen? (doelen) Feedback – waar sta je nu? (huidige prestaties) Feedforward - hoe ga je het gat dichten? (Wiliam, 2011; Hattie & Timperley, 2007) De eerste stroming die ten grondslag ligt aan de FT-cyclus is AfL. Dit bestaat uit 3 onderdelen, namelijk In AfL is de docent-student interactie erg belangrijk en gaat het om het helpen van de student in zijn of haar leerproces

Data-based decision making Doel bepalen: welke data heb je nodig? Data verzamelen bij studenten Data analyseren Data interpreteren Acties ondernemen op basis van de resultaten (Lai & Schildkamp, 2013) De tweede basis voor de FT-cyclus komt vanuit DBDM. Dit is een cycilisch proces waarin je bepaalt welke data je nodig hebt om zicht te krijgen op het leren van studenten, je vervolgens die data gaat verzamelen, analyseren en interpreteren, en je tot slot acties onderneem op basis van de resultaten DBDM is een stroming die gericht is op het gebruiken van data, vooral toetsresultaten, om vervolgnes hetonderwijs aan te passen zodat uiteindelijk de studentresultaten wroden verhoogd. De rol van student is hierin veel kleiner. Het gaat vooral om het grondig analyseren van beschikbare toetsresulaten met als doel bijvoorbeeld het rendement te verhogen

Formeel en informeel Formele en informele manieren om data te verzamelen On-the-fly versus gepland In de FT-cyclus kun je op verschillende manieren ifnoramtie verzamelen over waar studenten staan in hun leerproces. Dit noemen we formele en informele manieren. Voorbeelden van informele manieren om informatie te verzamelen ove rstudenten zijn Voorbeelden van … Een belangrijk onderscheid hiertussen is dat Informeel: Groepsdiscussies Vragen stellen in de les Observeren Formeel: Toetsen Oefentoetsen Concepten (Shavelson et al., 2008)

Wat mist hier?? Dit is niet cyclisch + concrete acties ontbreken Docentactiviteiten Sinds 2013: meer aandacht voor docentactiviteiten in de les. Minder instrumentele benadering van formatief toetsen Wat mist hier?? Dit is niet cyclisch + concrete acties ontbreken Antoniou & James (2014)

Wat mist hier?? Niet expliciet gekoppeld aan doelen Cyclische benadering ESRU-model (Ruiz-Primo & Furtak, 2006) Wat mist hier?? Niet expliciet gekoppeld aan doelen Een tweede belangrijk model dat ten grondslag ligt aan het FT-cyclus is het ESRU-model. Ook uit dit model is de input in de FT-cyclus zichtbaar In dit model staat de E voor Elicit, oftwel het ontlokken van een reactie of respons bij een student De S staat voor de stduent, die daarop reageert De R staat voor Recognize, oftewel de docent die studentreactie analyseert en interpreteert Tenslotte staat de U voor Uses oftewel het gebruiken van deze studentreacties voor het verbteren van het onderwijs

Schrijf de fase(n) erbij en plak op de poster. Opdracht Bij welke fase / fasen van de FT-cyclus past jouw definitie van formatief toetsen? Schrijf de fase(n) erbij en plak op de poster.

Samen analyseren Bespreek met je “schoudermaatjes” Wat valt op aan de HU definities? Welke fasen komen veel / weinig terug? Hoe is dit te verklaren?

Onze diagnose: hoe staat het met formatief toetsen in de HU?

En dan moeten we natuurlijk fase 5 niet vergeten … Zet je inspiratie om in een concrete actie. Wat moeten we hiermee als HU? www.menti.com 766924

Gebaseerd op NRO-review: Gulikers, J. & Baartman, L. (2017). Doelgericht professionaliseren: formatieve toetspraktijken met effect! Wat DOET de docent in de klas? Eindrapportage NRO overzichtsstudie (dossiernummer 405-15-722) Bronnen: Anthoniou, P. , & James, M. (2014). Exploring formative assessment in primary school classrooms: Developing a framework of actions and strategies. Educational Assessment, Evaluation and Accountability, 26, 153-176. Hattie, J. & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77, 81-122. Lai, M.K. & Schildkamp, K. (2013). Data-based decision making: An overview. In K.Schildkamp & M.K. Lai, Data-based decision making in education. Challenges and Opprtunities, pp. 9-21. Dordrecht, the Netherlands: Springer. Ruiz-Primo, M.A., & Furtak, E.M. (2006). Informal formative assessment and scientific inquiry: Exporing teachers’ practices and student learning. Educational Assessment, 11, 205-235. Shavelson, R. J., Young, D. B., Ayala, C. C., Brandon, P. R., Furtak, E. M., Ruiz-Primo, M. A., . . . Yin, Y. (2008). On the Impact of Curriculum-Embedded Formative Assessment on Learning: A Collaboration between Curriculum and Assessment Developers. Applied measurement in Education, 21, 295 - 314. Wiliam. D. (2011). What is assessment for learning? Studies in Educational Evaluation, 37, 3-14.

Wat DOET docent: Fase 1 Fase 1: vaak apart onderzocht Kennis over leerlijn vertalen naar concrete leerdoelen Opvallend thema “learning progressions” Criteria voor participatie / zelf-regulatie / autonomie Communicatie over leerdoelen op meerdere manieren, op meerdere momenten Actieve werkvormen met studenten Randvoorwaarden scheppen, maar voldoende individuele invuling Fase 1: of alleen fase 1 beschreven OF geen / weinig aandacht voor. B.v. veel aandacht voor learning progressions en het communiceren van heldere leerdoelen. Dit wordt belangrijk gevonden bij FA, maar in deze studies wordt niet altijd de rest van de FA cycle ook beschreven Wat DOET de docent in fase 1: Kennis over de leerlijn (=learning progression) in eigen vakgebied vertalen naar heldere concrete leerdoelen Communiceert over leerdoelen op meerdere manier en op meerdere momenten tijdens een lessenserie Stelt (ook) doelen op over participatie / leren leren / autonomie Gebruikt actieve werkvormen om met studenten leerdoelen en succescriteria te verhelderen. Voorbeeld geven van docenten die studenten ZELF de criteria laten ontwikkelen (bij gymles, maar doe ik zelf ook). Of “waar mag ik jou straks op afrekenen?” Gebruikt concrete voorbeeldproducten om succescriteria uit te destilleren Formuleert leerdoelen die randvoorwaarden scheppen, maar ook voldoende ruimte laten voor individuele invulling

Wat DOET docent: Fase 2 Fase 2: vaak, uitgebreid Ontlokken doelgericht, passend bij leerdoelen. Veel variatie Nadruk op informeel (noticing, questioning) Doorvragen, gericht op diep begrip Klas/groepsdiscussies om zicht te krijgen op (on)begrip en (mis)concepties (met observatietools) Op passende momenten in lessen(serie) Zet studenten zelf in actie om hun begrip te expliiteren Fase 2: Veel verschillende assessmentvormen komen voorbij, maar gaat met name om kortcyclische assessmentvormen die de docent direct in de klas uitvoert, meteen (met de leerlingen) kan analyseren en instructive op kan aanpassen. Hier zitten ook aanpalende onderzoeksterreinen zoals noticing en questioning. Het gaat dus minder om processen waarbij docent b.v. een toets mee naar huis neemt, nakijkt en pas een week later weer teruggeeft. Ook b.v. digitale systemen waarin docent kan volgen welke taken een student heeft uitgevoerd en hier overizchtjes van krijgt van de hele klas. Hieruit kan een docent b.v. analyseren en concluderen dat een groot deel van de klas iets niet heeft begrepen, en hier de instructive op aanpassen.

Wat DOET docent: Fase 3 Fase 3: vaak, gedetailleerd Tijd nemen om studentreacties kritsch te bekijken Analyseren op kernaspecten en leerdoelen (niet vorm) => veel vakkennis nodig! Klasniveau: misconcepties, sterkes / zwaktes Niet te snel oordelen, aanvullend bewijs verzamelen Studenten analyseren en vergeliijken zelf Gebruik maken van de ruimte Ondersteuning van technologie Ook: fasen 2-3-2-3-5 Fase 3: Uitgebreid beschreven met name in aantal studies in science onderwijs Vaak impliciet, in hoofd van de docenten. Daarom neit altijd onderzocht Voorbeeld: docent deelt studentwerk in in 3 stapeltjes op basis van learing progression (eerst alleen goed-fout) vaak beschreven, uitgebreid beschreven, gaat vaak veel aandacht naar uit. Wordt ook wel los beschreven. In sommige artikelen wordt het impliciet aangenomen dat docenten dit doen (maar niet expliciet onderzocht). Dan springt de FA-cycle dus van 2=>4 of van 2=>5.

Wat DOET docent: Fase 4 Fase 4: weinig beschreven Gekoppeld aan de leerdoelen Mogelijkheid tot verbetering Opvallend punt: bieden van structuur aan peer/zelf-assessments Fase 4: wordt weinig beschreven. Komt waarschijnlijk doordat dit meer apart is onderzocht in aanpalende onderzoeksterrein van feedback. Dit hebben wij bewust niet meegenomen als search term. En blijkbaar is daar in deze stroming minder aandacht voor.

Wat DOET docent: Fase 5 Fase 5: benoemd als problematisch: weinig handelingsrepertoire Veel herhalen (reteach) en vertragen (pacing) Doelgerichte aanpassingen n.a.v. analyses => differentieren, werkbladen bewaren Durven af te wijken van methoden / curriculum Hardnekkig bij professionaliseren A&J phase 5: Most often identified as problematic erea Docenten worden beter in 2-3, maar hebben niet het reportoire voor stap 5 (e.g. Sabel et al.) Docenten die ESRU cycli vertonen ipv ES/ESR hebben meer positief effect op leeruitkomst van leerlingen (Ruiz-Primo & Furtak 2006;2007) Meest voorkomende A&J strategie is oppervlakkig: Re-teach or pacing aanpassen

Wat doet de effectieve docent? Bekijk kort voor jezelf de posters van de 5 fasen (5 minuten) Korte enkele plenaire reacties opvragen Posters en eindrapport. ORD 2016