Formatief - summatief evalueren

Van evaluatie naar assessment Veranderende ideeën over evaluatie Nieuwe onderwijsmethodes Integratie van evaluatie in het leerproces Actieve rol van studenten Kennis, vaardigheden en attitudes ASSESSMENT Veranderende ideeën over evaluatie In de literatuur wordt gesproken over een verschuiving van een toetscultuur naar een assessmentcultuur. Samen met de invoering van vernieuwende onderwijsmethodes (zoals projectonderwijs, probleemgestuurd onderwijs, casusgeoriënteerd onderwijs e.d.) ontstond ook de nood aan nieuwe vormen van evaluatie. Deze nieuwere evaluatievormen, assessment genaamd, hebben de volgende kenmerken: Kennisconstructie is het uitgangspunt, niet kennisreproductie. Zowel basiskennis als het toepassen van kennis en ((meta)cognitieve, sociale, motorische, dynamisch-affectieve) vaardigheden zijn het doel van de assessment. Er worden authentieke of levensechte situaties gebruikt bijv. in de vorm van casussen of problemen. Evaluatieactiviteiten worden zoveel mogelijk in het leer- en instructieproces geïntegreerd; formatieve evaluatie ter begeleiding van het leerproces van studenten speelt dan ook een onmisbare rol. Studenten spelen een actievere rol bij het ontwerp en/of de uitvoering van de evaluatie. Enkele nieuwe vormen van assessment zijn: Peer-assessment: studenten evalueren elkaar volgens vooraf bepaalde criteria (door de docent of in samenspraak opgesteld) Self-assessment: studenten evalueren het eigen werk, maar worden eveneens betrokken bij het bepalen van de evaluatiecriteria Portfolio: een (elektronische) verzamelmap waarin studenten een selectie van werken en materialen bewaren en voorzien van commentaar (zelfreflectie) Authentieke assessment: studenten moeten complexe kennis en vaardigheden kunnen toepassen in realistische contexten

Doel van evaluatie summatief formatief product proces ondersteuning leerproces signaleren tekorten belang van feedback resultaatsbepaling (eind)beoordeling product proces uiteindelijke resultaat verloop leerproces

Doel van evaluatie summatief formatief product proces ondersteuning leerproces signaleren tekorten belang van feedback resultaatsbepaling (eind)beoordeling product proces uiteindelijke resultaat verloop leerproces

Permanente evaluatie / feedback Peer assessment

Permanente evaluatie / feedback Regelmatige evaluatie van het leerproces van de student tijdens het academiejaar, hetzij formatief, hetzij summatief en deze voor een gedeelte of volledig laten meetellen in de eindevaluatie. Het is bedoeld om het verwerkingsproces van de leerstof continu over het academiejaar te laten verlopen.

Permanente evaluatie / feedback (elektronische) tussentijdse toetsen & oefeningen medewerking tijdens contactmomenten papers / presentaties (e-)portfolio bijdragen op online discussieforum andere?

Permanente evaluatie / feedback WAAROM summatief – formatief / product – proces WAT verwerkingsproces, vaardigheden, tussenproduct… WIE docent, team, externe beoordelaar, medestudent, student zelf HOE elektronische oefeningen, papers, actieve participatie… WANNEER combinatie met eindevaluatie? CRITERIA betrouwbaarheid, validiteit, transparantie

Voor- en nadelen Bedenk per duo een aantal mogelijke voordelen of nadelen van permanente evaluatie / feedback

Mogelijke voordelen studenten aanzetten om regelmatig te studeren meerdere momenten om kennen en kunnen te demonstreren beeld krijgen van doelstellingen en hoe deze te realiseren feedback bijsturen van studenten docent: gespreide tijdsinvestering docent: informatie over vorderingen en problemen

Mogelijke nadelen ‘studeren voor punten’ demotivatie na meedelen van deelscores tweede zit? studenten onzeker indien geen duidelijke criteria ten koste van andere OPO’s docent: tijdsinvestering bij grote groepen?

Feedback aan grote groepen Groepsessies - tijdwinst - minder bedreigend - zelfkritisch Peer feedback - verantwoordelijkheid - leren van elkaar - kwaliteit? Steekproef Peer-feedback Een voordeel is dat niet alleen het didactisch team instaat voor het geven van feedback. Meer verantwoordelijkheid: van docent naar student: gevoel van betrokkenheid: motiverend, activerend Door te beoordelen worden studenten aangezet tot kritisch analyseren, onduidelijkheden zo duidelijk mogelijk te verwoorden, sterke en zwakke punten te onderscheiden, tekortkomingen en verwachtingen te expliciteren, etc. Studenten leren (indien aangeven uiteraard) ook beter de evaluatiecriteria te verstaan. Studenten ervaren dat ook andere moeilijkheden hebben met schrijven (positief voor faalangstige studenten) Studenten leren andere sociale vaardigheden (moeilijke boodschappen brengen, etc.) Nadeel: studenten kunnen weerhoudend zijn om kritiek te uiten op het werk van vrienden. Studenten kunnen hogere punten geven aan anderen (dan ze zouden moeten), vooral wanneer ze hun naam eronder moeten zijn Studenten hebben er soms weerstand tegen  Belangrijk om het goed aan te pakken: criteria, anoniem, uitwisselen begeleiden, zelf samenstellen van paren Directe / Geïndividualiseerde feedback: voordeel is dat studenten specifieke informatie krijgen over gemaakte fouten en ervaren moeilijkheden. Het heeft ook een positieve invloed op de intrinsieke motivatie van een student. Indirecte / Collectieve feedback: Vooral zinvol wanneer het voor het didactisch team onmogelijk is om alle studenten individuele feedback te geven (te grote groep, tijdsgebrek). Een voordeel is dat studenten kennismaken met resultaten van andere studenten waardoor ze uitgedaagd worden de eigen prestaties in vraag te stellen. Tijdsefficiënt, docent kan hele groep herinneren aan iets dat in les gezegd werd, studenten kunnen leren van elkaars ideeën.

Permanente Evaluatie Medewerking tijdens contactmomenten Didactische teams (zie steekkaart ‘Didactisch team’) kunnen ervoor opteren om de medewerking van studenten tijdens contactmomenten (hoorcolleges, werkcolleges/practica, klinisch college, excur-sies,…) te laten meetellen in de eindevaluatie of de eindevaluatie zelfs volledig daarop te baseren (via een systeem van permanente evaluatie: zie steekkaart ‘Permanente evaluatie’). Er bestaan verschillen-de modellen van participatie van studenten, waaraan ook verschillende evaluatiecriteria kunnen wor-den gekoppeld.

Wat is ‘actieve medewerking’? uiteenlopende vormen van medewerking tijdens discussie, groepsgesprekken tijdens (de uitvoering) van oefeningen evaluatie niet eenvoudig kwantitatief / objectief? vereisten: goede voorbereiding duidelijk systeem ‘Medewerking’ kan zeer uiteenlopende vormen aannemen: van actief luisteren, vragen stellen en beantwoorden, een presentatie brengen voor medestudenten, het mee op poten zetten van een excursie, het nauwgezet uitvoeren van een opdracht of experiment bij een practicum, inhoudelijke input bij een groepswerk of discussie,… Medewerking tijdens discussies, groepsgesprekken Cruciaal tijdens contactmomenten die zijn opgebouwd rond discussie of gesprekken is dat er verbale interactie plaatsvindt tussen (een lid van) het didactisch team, student en medestudenten, meer bepaald in de vorm van actief luisteren, kritisch volgen, meedenken, vragen formuleren en beantwoorden, inhoudelijke input tijdens de discussie,... Meest voorkomend is de ‘open discussie’ of ‘groepsdiscussie’, waar het didactisch team vragen stelt die specifiek als doel hebben de studenten aan te zetten tot een conversatie. Om deze vorm van participatie aan te moedigen, wordt vaak met een U- of cirkelvormige opstelling van het lokaal gewerkt. Een andere manier om studenten aan te zetten tot medewerking tijdens de contactmomenten is de zogenaamde ‘cold-calling’-methode. Hier duidt het didactisch team, na het stellen van een vraag, at random studenten aan om te antwoorden. Tenslotte kan de medewerking van studenten ook plaatsvinden binnen kleinere groepjes die via discussie naar een consensus zoeken waarvan later verslag wordt uitgebracht in plenum. Medewerking tijdens (de uitvoering van) oefeningen Andere vormen van ‘medewerking’ zijn te observeren tijdens contactmomenten waarin een opdracht of oefening moet worden uitgevoerd, zoals in practica, werkcolleges of oefenzittingen of eventueel tijdens een excursie. De mate van participatie van de student heeft hier vnl. te maken met de actieve uitvoering van de opdracht of oefening, al dan niet zelfstandig of in groep, en de mate waarin de student duidelijk ‘weet waarmee hij bezig is’. Het gaat hier bijvoorbeeld om het nauwgezet uitvoeren van een experiment en ondertussen notitie nemen van de waarnemingen, met een medestudent overleggen in welke stappen een proef zal worden uitgevoerd, informatie opzoeken op internet en verwerken in een website, actieve deelname aan een rollenspel, inoefenen van manuele of technische vaardigheden met een medestudent,… Het is niet zo eenvoudig om tijdens contactmomenten ‘kwantitatief’ vast te stellen of een student al dan niet goed ‘meewerkt’. Vaak gaat het om een totaalindruk; door vlot te antwoorden, zaken voor te bereiden of niet, resultaten of observaties kunnen illustreren, bewijs te leveren van doorgenomen lectuur, enz. laat de student een bepaalde indruk na. Om de participatie van studenten zo ‘objectief’ mogelijk te beoordelen, is een goede voorbereiding (wie, wat, wanneer, hoe evalueren?) en uitwerking van een duidelijk systeem (dimensies, criteria, scoring, weging in de eindevaluatie,…) noodzakelijk.

Voorbereiding Studenten informeren over: belang van medewerking welke medewerking wordt verwacht kwantiteit/kwaliteit, weging in eindevaluatie cognitief, expressief, uitvoerend,… WAAROM VORM CRITERIA Cruciaal is dan ook om studenten te informeren over: waarom hun participatie tijdens de contactmomenten belangrijk is, namelijk welke doelstellingen het didactisch team hiermee nastreeft (bijv. leren een argumentatie opbouwen, kritisch denken demonstreren, spreek- en luistervaardigheden ontwikkelen,…); welke vorm van medewerking van hen wordt verwacht (bijv. voorbereid naar de les komen, op vragen van het didactisch team en/of medestudenten kunnen antwoorden, kritische bemerkingen geven bij (kranten)artikels of nieuwsitems die tijdens het contactmoment worden getoond, zelfstandig een experiment kunnen uitvoeren en observaties neerschrijven,…); de criteria op basis waarvan hun medewerking zal worden beoordeeld; deze criteria kunnen door het didactisch team of in overleg met de studenten worden bepaald. Door studenten op de hoogte te brengen van de evaluatiecriteria die zullen worden toegepast, kan hun vrees dat de beoordeling van hun medewerking al te subjectief zou verlopen afnemen. De medewerking van studenten kan op verschillende dimensies worden geëvalueerd: cognitief: logica, structuur, kennis, creativiteit,… expressief: duidelijkheid, vlotheid, bondigheid,… affectief: enthousiasme, interesse, openheid voor andere meningen,… uitvoerend: nauwgezetheid, zelfstandigheid, initiatief nemen, creativiteit,… bijdrage aan het leerproces: waardevolle suggesties, constructieve kritiek, relevante observaties,… DIMENSIES

Oefening Wat betekent ‘actieve medewerking’: tijdens discussie, groepsgesprekken ? tijdens (de uitvoering) van oefeningen ? Stel je beoordeelt actieve medewerking op een schaal van 1-5: Wat betekent 1 en wat betekent 5 voor jou? Oefening doen: kies ofwel discussievorm of labovorm Kort alleen nadenken + dan in groep uitwisseling

Systeem fiche per student observatieronde rotatiesysteem self / peer assessment andere? Naast het uitwerken van zo objectief mogelijke criteria is het belangrijk om een duidelijk systeem uit te werken om de participatie van studenten te evalueren. Enkele mogelijkheden zijn: de opmaak van een ‘fiche’ per student (een foto kan handig zijn) waarop na elk contactmoment scores worden genoteerd voor verschillende dimensies van medewerking; studenten zichzelf en/of elkaar te laten beoordelen op basis van de opgestelde evaluatiecriteria en deze oordelen als input gebruiken voor het eindoordeel; tijdens een practicum bij elke student een kijkje gaan nemen hoe de oefening verloopt, welke observaties werden genoteerd, welke stappen nog worden gepland,… (hieruit kan al gauw worden afgeleid in welke mate de student ‘weet waarmee hij bezig is’, hoe zelfstandig en nauwgezet alles verloopt,…), een ‘rotatiesysteem’ uitwerken waardoor tijdens elk contactmoment een aantal studenten specifiek wordt geobserveerd en over het geheel van de contactmomenten alle studenten even vaak aan bod zijn gekomen

Oefening Welke werkwijze is wenselijk / haalbaar? Welke voor- en nadelen schuilen hierin?

Evaluatie van medewerking Betrouwbaarheid (moeilijk) te waarborgen beoordelaarseffecten normverschuiving? gevaar ‘dominante’ studenten Validiteit te verwezenlijken in kleine groep weerspiegeling van doelstellingen kwantiteit/kwaliteit tussentijdse bijsturing tweede zit? Betrouwbaarheid: Neem zo kort mogelijk na elk contactmoment nota’s of vul een scoringsformulier in m.b.t. de medewerking van elke student (vertrouw niet op het geheugen om dit over een heel semester te kunnen onthouden). Een belangrijk gevaar bij de beoordeling van de medewerking van studenten tijdens contactmomenten is dat zeer mondige of dominante studenten de medewerking van andere (stillere) studenten overschaduwen. Om op een eerlijke manier de participatie van studenten te kunnen evalueren, moet een omgeving worden gecreëerd waarin alle studenten evenveel kansen hebben om aan bod te komen. Validiteit Een ander moeilijk punt bij het evalueren van de medewerking van studenten is of men vooral kwantiteit of kwaliteit van de participatie laat doorwegen. Houdt men vnl. rekening met het aantal keren dat iemand heeft gereageerd in een discussie, het aantal keren dat een vraag juist werd beantwoord, het aantal keren dat tijdens een practicum een oefening zelfstandig en correct wordt uitgevoerd of houdt men bij de beoordeling ook rekening met de moeilijkheidsgraad van de gestelde vragen of opgegeven oefeningen? Door duidelijke criteria hieromtrent vast te leggen, wordt voorkomen dat meer timide studenten die zelden, maar wel een kwalitatief goede bijdrage leveren even fair worden beoordeeld als mondigere studenten die vaker, maar niet altijd even ‘to the point’ antwoorden of opmerkingen geven of hun oefening kunnen becommentariëren. Transparantie Door studenten op de hoogte te brengen van de evaluatiecriteria die zullen worden toegepast, kan hun vrees dat de beoordeling van hun medewerking al te subjectief zou verlopen afnemen. Informeer studenten regelmatig over hun (tussentijdse) score m.b.t. hun medewerking tijdens de con-tactmomenten en voorzie richtlijnen voor bijsturing waar nodig. Transparantie te verwezenlijken communicatie naar studenten

‘Mondige’ en ‘stille’ studenten Voorbereiding thuis Voldoende responstijd ‘Dominante’ studenten temperen (bv. rollen, cold-calling method,…) ‘Elektronische’ participatie Minder vlotte studenten coachen Enkele tips om dit te realiseren zijn: Bouw het contactmoment op rond activiteiten die studenten thuis kunnen voorbereiden: een lid van het didactisch team kan dan bijvoorbeeld een student aanduiden om een samenvatting te geven van wat werd voorbereid of uit te leggen welke stappen tijdens een oefening moeten worden doorlopen. Meer timide studenten voelen zich immers vaak meer op hun gemak voelen als zij zich hebben voorbereid. Voorzie naast het contactmoment ook een mogelijkheid tot ‘elektronische’ participatie: sommige studenten die in een groep zeer schuchter zijn, durven wel makkelijker deelnemen aan bijvoorbeeld een discussieforum of vragen stellen via e-mail. Voorzie voldoende responstijd: men kan na het stellen van een vraag de studenten eerst even tijd geven om hun antwoord in stilte voor te bereiden/neer te schrijven en pas daarna iemand aan te duiden om te antwoorden. Gebruik technieken om ‘dominante’ studenten tijdens een discussie te temperen: men kan bijvoorbeeld één of twee studenten de rol van ‘observator’ toekennen die na de discussie moet becommen-tariëren in welke mate iedereen heeft deelgenomen aan de discussie. In een ‘cold-calling’ opzet kan men ook zelf in de hand houden dat alle studenten over het geheel van de contactmomenten even vaak aan bod komen door op voorhand een roterend systeem uit te werken dat vastlegt welke studenten in welk contactmoment worden aangeduid. Coach minder vlotte studenten en uit waardering voor vooruitgang: het kan zinvol zijn om tijdens een persoonlijk gesprek met een student na te gaan waarom participatie voor hem moeilijk ligt en (kleine) stappen af te spreken waarop het didactisch team de vorderingen van deze student zal beoordelen.