Expertiseteam ToetsenbankThemadag Digitale Toetsing 1 december 2011 Alex van Essen

Using the Latest Learning Research to Improve your Questionmark Assessments John Kleeman, Questionmark Chairman October European Users Conference ♦ Brussels

Graph from Test-Enhanced Learning : Roediger and Karpicke Psychological Science.

Graph from Roediger & Butler : The critical role of retrieval practice in long-term retention. Trends in Cognitive Sciences 2010.

Trainen van het geheugen en het “test”-effect

Geheugentraining helpt het leren ► “I f you read anything over twenty times, you will not learn it by heart so easily as if you were to read it only ten, trying to repeat it between whiles, and when memory failed, looking at the book.” ► Francis Bacon, 1620

Leren

Ophalen uit geheugen Cue (hulp) Vraag Andere stimulus Zoek Ophalen uit lange termijn geheugen Reactie Reactie of antwoord ► Onderzoek toont aan dat geheugentraining helpt bij herinneringen op een later moment. ► Een geslaagde herinnering wijzigt het geheugen zodanig dat toekomstige herinneringen makkelijker zijn.

Welke plant is dit? a)Abies koreana b)Abies balsamea c)Picea abies d)Abies grandis

Roediger & Karpicke experiment 2006 ► 120 studenten willekeurig over groepen verdeeld ► Krijgen stukken tekst te lezen (begrijpelijk lezen) ► Sommige studenten  Studeren 14 minuten ► Sommige studenten  Studeren 7 minuten  Herdenken, herinneren (terug kijken) m.b.v. testen 7 minuten ► Resultaten worden vergeleken na  5 minuten,  2 dagen en  1 week

Roediger & Karpicke experiment 2006

Marsh & anderen 2007 Experiments with multiple choice questions

Karpicke & Blunt experiment 2011 ► 80 studenten verdeeld over vier groepen, bestuderen een “science” tekst  Studeren  Herhaald studeren  Concept Mapping (mind mapping)  Geheugen oefeningen ► De studenten werd gevraagd bij welke methode ze de beste resultaten zullen behalen ► Na een week getest (hoeveel is er onthouden)

Karpicke & Blunt experiment 2011 Resultaten na een week

Karpicke & Blunt experiment 2011 ► Geheugen oefeningen geven een significant beter resultaat dan gewoon studeren en “actief” leren met mind mapping ► Zowel bij feiten als begrijpen ► De kandidaten hadden het anders voorspeld ► Een vervolgonderzoek liet zien dat  84% behaalde betere resultaten met geheugen oefening dan met Concept Mapping (Mind mapping)  75% voorspelde het anders ► Intuïtie is niet altijd een goede raadgever

Welke plant is dit? a)Picea abies b)Abies koreana c)Picea grandis d)Abies balsamea

Leren in een perfecte wereld

De Leercurve

Maar! We vergeten!

De Leercurve wordt een VERGEETcurve

Larson experiment 2009 Quiz groepHerstudeer groep Dag 1Studie Dag 1TestHerstudie 2 weken laterTestHerstudie 2 weken laterTestHerstudie 6 maanden laterExamen Quizzen vlakken de vergeetcurve af ► Artsen in opleiding ► 20 artsen deden quizzen voor ‘status epilepticus’ en herstudeerden voor ‘myasthenia gravis’ ► 20 artsen deden quizzen voor ‘myasthenia gravis’ en herstudeerden voor ‘status epilepticus’

Larson experiment 2009 Herstudeer groep Quiz groep Resultaat

Belangrijkste conclusies #1 ► Geheugenoefeningen helpen bij het vasthouden van het geleerde ■ Bij feitenkennis, maar ook bij ■ Begrijpen en concepten ► Geheugenoefeningen omvatten ■ Herinneren, herkennen, terug kijken/denken ■ Formatieve quizzen en testen ■ Zelftoetsen ■ Uitleggen ► We denken dat we beter onthouden dan het eigenlijk is ■ Voordeel van formatieve quizzen en testen is dat we gedwongen worden om iets op te halen uit het geheugen ■ En dat het vasthouden van het geleerde wordt bevorderd

Belangrijkste conclusies #2 ► Soorten vragen ■ Het beste kort antwoord, fill-in-blanks (moet zelf antwoord bedenken). ■ Multiple choice vragen zijn nuttig. ■ Het is aan te bevelen om feedback toe te passen bij formatieve test bestaande uit MC-vragen. Dit om het insluipen van foutieve gedachte over het juiste antwoord te voorkomen. ► Tijdsverloop bij ophalen uit het geheugen ■ Werkt het beste als er een ruimte (interval) zit tussen testen. ■ Het effect is het sterkste bij moeilijke inhoud. ► Herhaling van ophalen ■ Onderzoek suggereert 5-7 ‘repetities’ (met interval).

Feedback bij formatieve toetsing

Cue Vraag Andere stimulus Zoek Ophalen uit lange termijn geheugen (Re-)actie (Re-)actie of antwoord Feedback Corrigeren van misconceptie

Huidige situatie Huidige situatie Zoek / ophalen Zoek / ophalen (Re-)actie Evaluatie Wijzigen / aanpassen Wijzigen / aanpassen

Plaats van de feedback Toets Topic Vraag feedback Vraag feedback Vraag Topic Feed- back Topic Feed- back Topic Feed- back Topic Feed- back Topic Feed- back Topic Feed- back Toets Feed- back Toets Feed- back Deelnemer beantwoord vragen

Eenvoudige feedback SoortBetekenisToepassing Geen feedbackGeen feedback bij vragen, topics en einde toets. Gebruikt in “higher stakes” testen (examens) i.v.m. geheimhouding. VerificatieGeeft goed of fout beantwoord aan, maar niet het correcte antwoord. I.h.a. geen bijdrage bij het leren. Correct antwoordGeeft goed of fout beantwoord aan EN het correcte antwoord. Nuttig. Probeer nog eens of herhaal tot correct Geeft goed of fout beantwoord aan. Kan de vraag overdoen. Nuttig. Fouten aangevenGeeft fouten, maar niet de correcte oplossing. Kan nuttig zijn.

Uitgebreidere feedback SoortBetekenisVoorbeeld Op gegeven antwoordFeedback per antwoord of vraag, inclusief het waarom van goed/fout. Je koos C, deze is fout. Antwoord A is de goede omdat ….. Op gegeven antwoordJe koos C, deze is fout. Waarom deze fout is kun je lezen op ….. Per topic en/of toetsFeedback per topic, eventueel met aangeven waar en wat te leren Het resultaat is nog onvoldoende. Bestudeer hoofdstuk ….. Hints, tipsGeeft extra info zonder het geven van goede antwoord Hier is een demo dat laat zien dat jouw antwoord fout is. MisconceptieGeeft onbegrip aan en geeft uitleg waarom Jouw antwoord geeft aan dat je begrip X verwart met begrip Y. Uitleg volgt …..

Feedback tips #1 – altijd feedback in formatieve toets ► Leerlingen weten pas wanneer iets fout is nadat je het ze vertelt ► Korte antwoord vragen helpen het beste bij het ophalen uit het geheugen als er ook feedback is ► Multiple Choice vragen kunnen een mild negatief effect hebben als er geen feedback wordt gegeven ► Geef feedback inclusief het goede antwoord  In de meeste gevallen heeft het enkel laten zien wat goed/fout is geen of weinig effect ► Feedback is het meest effectief bij de foutieve antwoorden  Bij goede antwoorden heeft het minder effect, maar wel in het geval van gokken

Feedback tips #2 – eerst beantwoorden ► Bevorder de geheugentraining voordat de feedback wordt gegeven.  Niet toestaan dat het goede antwoord al gezien kan worden  Het moeten ‘opzoeken’ in het geheugen wordt daardoor minder ► Er zijn uitzonderingen mogelijk  Een tip geven

Feedback tips #3 – herhalen ► Na het geven van feedback  mogelijkheid geven om te herhalen  De toets zelf of delen van de toets  Een andere toets met vragen over hetzelfde onderwerp

Feedback tips #4 – leerlingen ► Feedback is alleen zinvol als de leerlingen deze ook bekijken ► Zorg ervoor dat de leerlingen de feedback bekijken  Vertel het ze  Goede feedback  Aantrekkelijke feedback  Bedenk of feedback ook bij het goede antwoord kan  Let op en probeer er achter te komen of er een effect is in het gebruik van feedback ► Hou het simpel. Kort maar krachtig.

Feedback tips #5 – uitstellen ► Iets uitstellen van feedback is meestal beter dan directe feedback  Waarschijnlijk door de tijd te gunnen om iets te laten “inzinken” (spacing effect in learning)  Feedback aan einde van de toets (of vragenblok) is beter dan na elke vraag  MAAR onderzoek/literatuur is niet geheel eenduidig

Een resultaat bij een experiment (toets met MC-vragen)

Leren met intervallen (spaced learning)

Eerste leerperiode tijd herstudieexamen Psychologische onderzoeken wijzen uit dat intervallen bij het leren beter werken bij het vasthouden in het geheugen ► Repetities, oefenen met intervallen helpen bij het leren ► Intervallen tussen leerperioden helpt significant bij op het op lange termijn vasthouden (in het geheugen) ► Er zijn vele experimenten die dit bewijzen

Een experiment: Kornell 2009 ► Leren van moeilijke Engelse woorden ► Zonder interval  Nieuwe woorden leren op een dag ► Met interval (verspreid)  Nieuwe woorden leren verspreid over 4 dagen (in dezelfde tijdsduur) ► Resultaat: beter bij interval Regelmatige oefeningen/quizzen geven deze mogelijkheid

Conclusies ►Testen (toetsen, oefeningen en quizzen) gebruiken i.p.v. steeds maar alleen “leren”, “leren” en nog eens “leren” ►Afwisselen ►Altijd feedback bij formatieve toetsing ►Met intervallen ►Uitgestelde feedback

Vragen ?