Digitaal toetsen aan de UvA Frank Benneker (IC-ODG) Sijo Dijkstra (IC-ODG)

Rol van Toetsen Toetsen dicteert het studiegedrag van studenten in belangrijke mate Onderwijs ontwikkelen: begin bij de toets

De feedback  Dit is een schermafdruk van PLATO-IV, (Programmed Logic Automated Teaching Operations) Een ICT onderwijssysteem dat in gebruik was aan de UvA tussen 1977- 1979. Het idee was om een wereldwijd netwerk opzetten van Plato systemen die onderwijsmateriaal en toetsen zouden uitwisselen. In 1985 was Plato-IV bij meer dan 100 campussen in gebruik. Plato is ontwikkeld aan de Universiteit van Ilinois vanaf 1960. Bron: Computer Museum UvA http://www.science.uva.nl/museum/PLATO.html

1920 1900 2008 1980 2011

Vormen van (digitaal) toetsen Selectie Sturing Beoordeling Diagnostisch Formatief Summatief Ingangstoets Voortgangstoets Eindtoets Digitaal Toetsen (17 maart 2010)

Studiesucces : Aspects of formative assessment Where the learner is going Where the learner is How to get there Teacher Clarify and share learning intentions Engineering effective discussions, tasks and activities that elicit evidence of learning Providing feedback that moves learners forward Peer Understand and share learning intentions Activating students as learning resources for one another Learner Understand learning intentions Activating students as owners of their own learning Bron: Dylan Wiliam www.dylanwiliam.net

Waarom digitaal .... nieuwe toetsvormen mogelijk door b.v. de introductie van: Nieuwe vraagtypen , b.v. “spoken response” Inzet van multimedia in de opdracht Ontsluiting van meerdere bronnen tijdens een toets Introductie van itembanken draagt bij aan het hergebruik van toetsvragen en de kwaliteit van toetsen vereenvoudigt de ontwikkeling en inzet van “tussen toetsen” en diagnostische & formatieve toetsen kan een bijdrage leveren aan een optimalisatie van het proces van creëren, aanbieden en verwerken van toetsen & toetsresultaten

Proeve I - Geleerde lessen Techniek is weerbarstig en in sommige gevallen de reden voor sterke frustraties en beperkingen Ondersteuning van docenten op de werkvloer (technisch en toetsinhoudelijk) is een essentiële randvoorwaarde maar kostbaar Introductie van nieuwe mogelijkheden geeft kansen om studenten hun vaardigheden te laten tonen Digitaal toetsen kan bijdragen aan verbetering van kwaliteit en efficiency maar vereist een verandering in het proces van creëren, organiseren en aanbieden van toetsen

Opmerkingen uit de praktijk Digitaal toetsen zorgt voor een aanzienlijke tijd- en kostenbesparing. Artsen hoeven eenmaal per jaar hun vragen aanleveren (itt meerdere malen per jaar) maar hun werk wordt nog meer verlicht doordat zij geen (handmatig) corrigeer- en invoerwerk mee hoeven te verrichten. Dit kost gemiddeld 3 uur bij een overwegend standaard modelantwoord tot 8 uur bij een complexer antwoord: Ook het secretariaat van de Klinische Lijntoets heeft profijt van de elektronische afname. Zo krijgen studenten voortaan een naar onderdeel gespecificeerde e-mailrapportage waardoor er geen inzage in de toets mogelijk gemaakt hoeft te worden. Ook vervalt voor hen de logistiek rond de bezwaarschriften van studenten op de scoring van hun vragen. Centraal staat de geïntegreerde toetsing van taalvaardigheid, waarbij gebruik wordt gemaakt van verschillende media (video, audio, tekst, opnamemogelijkheden van de stem van de student).

Daarnaast willen we studenten de mogelijkheid geven zelf te kunnen oefenen met de stof, feedback te ontvangen en zo studenten inzicht te geven in de wijze waarop ze de stof beheersen   Onze huidige summatieve toets kan niet in een valide toetssetting worden afgenomen. Met een online itembank gevuld met valide vragen kan een veel betrouwbaarder toetssetting worden gecreëerd. Daarbij wordt de invloed van begeleiders/antwoordbeoordelaars (subjectiviteit) uitgeschakeld, want overgenomen door de in QMP ingebouwde feedback en antwoorden. Digitale toetsen zijn zeer geschikt voor grootschalig statistiekonderwijs. Het onderwijs kan geïntensiveerd worden, door beter en vaker te toetsen, eventueel gepaard gaand met extra instructie, zonder dat het een evenredig grote inspanning van de statistiekdocenten vraagt. Statistiekopgaven en extra instructies kunnen gemakkelijk op een beeldscherm worden aangeboden. In een digitale omgeving kunnen, zowel in de opgaven als in de extra instructie, grafische presentaties gebruikt worden, eventueel met dynamische en interactieve elementen (multimedia).

Proeve II Realisatie digitale toetsinfrastructuur voor alle onderdelen van de toetscyclus -> Question Mark Perception Diagnostisch en formatief Tijdsonafhankelijk Plaatsonafhankelijk Onafhankelijk van apparaat Infrastructuur ook geschikt voor summatief toetsen Uitgangspunt is gebruik van bestaande computerpractica voorzieningen. Beperking: summatief toetsen: relatief kleine groepen

Waarom Proeve II Verhoogde personeelsbelasting door: Groter aantal toetsen (Ingangstoetsen, BaMa structuur, Rendementen) Grotere groepen (studentenaantallen) Modern onderwijs vraagt om: Andere vaardigheden Aansluiten bij belevingswereld student Aantrekkelijkere toetsvormen Belevingswereld van de student: al gewend aan digitaal toetsen, bijvoorbeeld via CITO digitale eindexamens

Ontwerpen Vaststelling hoeveel items per onderdeel, doel of thema, passend bij leerdoelen Blijft ongewijzigd bij inzet digitaal toetsen Deze blauwdruk geeft irchting aan de dimensies en structuren binnen de itembank Blijft een activiteit van een docent of team.

Construeren Items Gebruik nieuwe vraagtypen Gebruik (multi) media Audio Video Interactieve grafieken Animaties Hoog resolutie beeldmateriaal Nieuwe vraagtypen als drag and drop, sortering,

Construeren Items Docent: nieuwe techniek

Samenstellen Toets Gebruik itembanken Hergebruik van toetsvragen Gebruik toetsmatrijs voor samenstellen toets Mogelijkheden automatisch samenstellen toets Topic structuur

Samenstellen Toets

Afnemen Toets Formatief toetsen Mogelijkheden mobiel afnemen van toetsen Mogelijkheid vaker toetsen af te nemen Afname: overal en altijd Summatief Gecontroleerde omgeving

Afnemen Toets Voordelen student Eenheid in opmaak/afname toets => concentratie op de inhoud Antwoord aanpasbaar tot laatste moment Resultaten sneller bekend Feedback

Afnemen Toets Bij formatieve toetsen kunnen deelnemers: studiemateriaal gebruiken toets door anderen maken toets na elkaar maken naast elkaar zitten en toevallig dezelfde versie hebben zich laten bijstaan door derden

Afnemen Toets

Afnemen Toets Toe ordening en sortering

Afnemen Toets Docent Random weergave van vragen en/of antwoorden Automatische tijdslimiet Afname mogelijk met tijdsdruk Gelijke behandeling alle studenten

Verwerken Makkelijker corrigeren Efficiency: Automatische correctie en gegevens verwerking Automatisering => tijdswinst Efficiency: Open vragen beter leesbaar Directe feedback

Analyseren Verbetering toetsitems en toetsen Statistische analyse van items en toetsen Betrouwbaarheid Gemiddelde Spreiding Rapportage van toetsresultaten Kwaliteits medewerkers krijgen een instrument in handen om de kwaliteit te verbeteren Zwakke items kunnen verwijderd worden

Sanctioneren Vaststelling van de score wordt door de docent of examencommissie uitgevoerd

Evalueren Evaluatie van toetsen Bredere inzicht in kwaliteit van toetsen

Scope van Proeve II Proeve II is bedoeld voor het onderwijs Technologie is randvoorwaarde Proeve II richt infrastructuur in, inbedding in het onderwijs belangrijk aandachtspunt Breed draagvlak onderwijs noodzakelijk (faculteiten, docenten, onderwijsdirecteuren, ondersteuners) Bedoeld voor het onderwijs: daar moet de toetssoftware gebruikt worden Technologie moet goed werken voor docenten, ondersteuners en studenten: daarvoor belangrijk dat een goede workflow wordt ingericht voor de toetscyclus: het creëren van items en toetsen het aanbieden en afnemen van toetsen Tot en met de evaluatie Niet alle taken liggen meer bij de docent Breed draagvlak nodig omdat onderdelen van het toetsproces anders belegd moeten gaan worden: docent is niet meer verantwoordelijk voor de hele toetscyclus Deel komt te liggen bij ondersteuners, kwaliteitszorgmedewerkers

Tijdlijn van het Proeve II traject September 2010 eerste aanzet opzetten digitale toetsinfrastructuur Nu: afspraken met de leverancier in gevorderd stadium Opzetten en inrichten infrastructuur vanaf februari April 2011: Digitaal toetsen gereed voor gebruik pilot groepen Beschikbaar voor het onderwijs: volgend collegejaar (2011).

Uitdagingen voor Onderwijs instituten Toetsontwikkeling Ontwikkelen van items & toetsen Inbedding in de opleiding (formatief & summatief) Professionalisering van docenten Aandacht in BKO voor digitaal toetsen Inrichten digitaal kwaliteitsproces IC doet de techniek, het echte werk moet door de docenten gedaan worden.

Meer informatie: Sijo Dijkstra ; sijo.dijkstra@uva.nl Frank Benneker ; frank.benneker@uva.nl