Digitaal toetsen aan de UvA

Presentatie over: "Digitaal toetsen aan de UvA"— Transcript van de presentatie:

1 Digitaal toetsen aan de UvA
Frank Benneker (IC-ODG) Sijo Dijkstra (IC-ODG)

2 Rol van Toetsen Toetsen dicteert het studiegedrag van studenten in belangrijke mate Onderwijs ontwikkelen: begin bij de toets

3

4 De feedback  Dit is een schermafdruk van PLATO-IV, (Programmed Logic Automated Teaching Operations) Een ICT onderwijssysteem dat in gebruik was aan de UvA tussen Het idee was om een wereldwijd netwerk opzetten van Plato systemen die onderwijsmateriaal en toetsen zouden uitwisselen. In 1985 was Plato-IV bij meer dan 100 campussen in gebruik. Plato is ontwikkeld aan de Universiteit van Ilinois vanaf 1960. Bron: Computer Museum UvA

5 1920 1900 2008 1980 2011

6 Vormen van (digitaal) toetsen
Selectie Sturing Beoordeling Diagnostisch Formatief Summatief Ingangstoets Voortgangstoets Eindtoets Digitaal Toetsen (17 maart 2010)

7

8 Studiesucces : Aspects of formative assessment
Where the learner is going Where the learner is How to get there Teacher Clarify and share learning intentions Engineering effective discussions, tasks and activities that elicit evidence of learning Providing feedback that moves learners forward Peer Understand and share learning intentions Activating students as learning resources for one another Learner Understand learning intentions Activating students as owners of their own learning Bron: Dylan Wiliam

9 Waarom digitaal .... nieuwe toetsvormen mogelijk door b.v. de introductie van: Nieuwe vraagtypen , b.v. “spoken response” Inzet van multimedia in de opdracht Ontsluiting van meerdere bronnen tijdens een toets Introductie van itembanken draagt bij aan het hergebruik van toetsvragen en de kwaliteit van toetsen vereenvoudigt de ontwikkeling en inzet van “tussen toetsen” en diagnostische & formatieve toetsen kan een bijdrage leveren aan een optimalisatie van het proces van creëren, aanbieden en verwerken van toetsen & toetsresultaten

10 Proeve I - Geleerde lessen
Techniek is weerbarstig en in sommige gevallen de reden voor sterke frustraties en beperkingen Ondersteuning van docenten op de werkvloer (technisch en toetsinhoudelijk) is een essentiële randvoorwaarde maar kostbaar Introductie van nieuwe mogelijkheden geeft kansen om studenten hun vaardigheden te laten tonen Digitaal toetsen kan bijdragen aan verbetering van kwaliteit en efficiency maar vereist een verandering in het proces van creëren, organiseren en aanbieden van toetsen

11 Opmerkingen uit de praktijk
Digitaal toetsen zorgt voor een aanzienlijke tijd- en kostenbesparing. Artsen hoeven eenmaal per jaar hun vragen aanleveren (itt meerdere malen per jaar) maar hun werk wordt nog meer verlicht doordat zij geen (handmatig) corrigeer- en invoerwerk mee hoeven te verrichten. Dit kost gemiddeld 3 uur bij een overwegend standaard modelantwoord tot 8 uur bij een complexer antwoord: Ook het secretariaat van de Klinische Lijntoets heeft profijt van de elektronische afname. Zo krijgen studenten voortaan een naar onderdeel gespecificeerde rapportage waardoor er geen inzage in de toets mogelijk gemaakt hoeft te worden. Ook vervalt voor hen de logistiek rond de bezwaarschriften van studenten op de scoring van hun vragen. Centraal staat de geïntegreerde toetsing van taalvaardigheid, waarbij gebruik wordt gemaakt van verschillende media (video, audio, tekst, opnamemogelijkheden van de stem van de student).

12 Daarnaast willen we studenten de mogelijkheid geven zelf te kunnen oefenen met de stof, feedback te ontvangen en zo studenten inzicht te geven in de wijze waarop ze de stof beheersen Onze huidige summatieve toets kan niet in een valide toetssetting worden afgenomen. Met een online itembank gevuld met valide vragen kan een veel betrouwbaarder toetssetting worden gecreëerd. Daarbij wordt de invloed van begeleiders/antwoordbeoordelaars (subjectiviteit) uitgeschakeld, want overgenomen door de in QMP ingebouwde feedback en antwoorden. Digitale toetsen zijn zeer geschikt voor grootschalig statistiekonderwijs. Het onderwijs kan geïntensiveerd worden, door beter en vaker te toetsen, eventueel gepaard gaand met extra instructie, zonder dat het een evenredig grote inspanning van de statistiekdocenten vraagt. Statistiekopgaven en extra instructies kunnen gemakkelijk op een beeldscherm worden aangeboden. In een digitale omgeving kunnen, zowel in de opgaven als in de extra instructie, grafische presentaties gebruikt worden, eventueel met dynamische en interactieve elementen (multimedia).

13 Proeve II Realisatie digitale toetsinfrastructuur voor alle onderdelen van de toetscyclus -> Question Mark Perception Diagnostisch en formatief Tijdsonafhankelijk Plaatsonafhankelijk Onafhankelijk van apparaat Infrastructuur ook geschikt voor summatief toetsen Uitgangspunt is gebruik van bestaande computerpractica voorzieningen. Beperking: summatief toetsen: relatief kleine groepen

14 Waarom Proeve II Verhoogde personeelsbelasting door:
Groter aantal toetsen (Ingangstoetsen, BaMa structuur, Rendementen) Grotere groepen (studentenaantallen) Modern onderwijs vraagt om: Andere vaardigheden Aansluiten bij belevingswereld student Aantrekkelijkere toetsvormen Belevingswereld van de student: al gewend aan digitaal toetsen, bijvoorbeeld via CITO digitale eindexamens

15

16 Ontwerpen Vaststelling hoeveel items per onderdeel, doel of thema, passend bij leerdoelen Blijft ongewijzigd bij inzet digitaal toetsen Deze blauwdruk geeft irchting aan de dimensies en structuren binnen de itembank Blijft een activiteit van een docent of team.

17 Construeren Items Gebruik nieuwe vraagtypen Gebruik (multi) media
Audio Video Interactieve grafieken Animaties Hoog resolutie beeldmateriaal Nieuwe vraagtypen als drag and drop, sortering,

18 Construeren Items Docent: nieuwe techniek

19 Samenstellen Toets Gebruik itembanken Hergebruik van toetsvragen
Gebruik toetsmatrijs voor samenstellen toets Mogelijkheden automatisch samenstellen toets Topic structuur

20 Samenstellen Toets

21 Afnemen Toets Formatief toetsen
Mogelijkheden mobiel afnemen van toetsen Mogelijkheid vaker toetsen af te nemen Afname: overal en altijd Summatief Gecontroleerde omgeving

22 Afnemen Toets Voordelen student Eenheid in opmaak/afname toets
=> concentratie op de inhoud Antwoord aanpasbaar tot laatste moment Resultaten sneller bekend Feedback

23 Afnemen Toets Bij formatieve toetsen kunnen deelnemers:
studiemateriaal gebruiken toets door anderen maken toets na elkaar maken naast elkaar zitten en toevallig dezelfde versie hebben zich laten bijstaan door derden

24 Afnemen Toets

25 Afnemen Toets Toe ordening en sortering

26 Afnemen Toets Docent Random weergave van vragen en/of antwoorden
Automatische tijdslimiet Afname mogelijk met tijdsdruk Gelijke behandeling alle studenten

27 Verwerken Makkelijker corrigeren
Efficiency: Automatische correctie en gegevens verwerking Automatisering => tijdswinst Efficiency: Open vragen beter leesbaar Directe feedback

28 Analyseren Verbetering toetsitems en toetsen
Statistische analyse van items en toetsen Betrouwbaarheid Gemiddelde Spreiding Rapportage van toetsresultaten Kwaliteits medewerkers krijgen een instrument in handen om de kwaliteit te verbeteren Zwakke items kunnen verwijderd worden

29 Sanctioneren Vaststelling van de score wordt door de docent of examencommissie uitgevoerd

30 Evalueren Evaluatie van toetsen
Bredere inzicht in kwaliteit van toetsen

31

32 Scope van Proeve II Proeve II is bedoeld voor het onderwijs
Technologie is randvoorwaarde Proeve II richt infrastructuur in, inbedding in het onderwijs belangrijk aandachtspunt Breed draagvlak onderwijs noodzakelijk (faculteiten, docenten, onderwijsdirecteuren, ondersteuners) Bedoeld voor het onderwijs: daar moet de toetssoftware gebruikt worden Technologie moet goed werken voor docenten, ondersteuners en studenten: daarvoor belangrijk dat een goede workflow wordt ingericht voor de toetscyclus: het creëren van items en toetsen het aanbieden en afnemen van toetsen Tot en met de evaluatie Niet alle taken liggen meer bij de docent Breed draagvlak nodig omdat onderdelen van het toetsproces anders belegd moeten gaan worden: docent is niet meer verantwoordelijk voor de hele toetscyclus Deel komt te liggen bij ondersteuners, kwaliteitszorgmedewerkers

33 Tijdlijn van het Proeve II traject
September 2010 eerste aanzet opzetten digitale toetsinfrastructuur Nu: afspraken met de leverancier in gevorderd stadium Opzetten en inrichten infrastructuur vanaf februari April 2011: Digitaal toetsen gereed voor gebruik pilot groepen Beschikbaar voor het onderwijs: volgend collegejaar (2011).

34 Uitdagingen voor Onderwijs instituten
Toetsontwikkeling Ontwikkelen van items & toetsen Inbedding in de opleiding (formatief & summatief) Professionalisering van docenten Aandacht in BKO voor digitaal toetsen Inrichten digitaal kwaliteitsproces IC doet de techniek, het echte werk moet door de docenten gedaan worden.

35

36 Meer informatie: Sijo Dijkstra ; Frank Benneker ;