10 JAAR DIGITAAL TOETSEN (OP DE VU) IR. SILVESTER DRAAIJER

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit Mythes ontkrachten Minder dan 1000 zou niet werken? Digitaal is alleen multiple choice Het kost alleen maar geld en levert niks op (niet ontkrachten, maar er zijn plekken waar wat te halen is) De VU heeft zo’n zaal Wat gebeurt er nu eigenlijk in zijn zaal - wat voor soort toetsen worden er afgenomen en waarom opteren de faculteiten daarvoor. Gegevens evaluatie: mensen zijn gewoon blij als ‘het gewoon’ werkt. Niemand zeurt. Wat er allemaal nodig is. Waarom is het in mijn ogen een succes Iets over de geschiedenis (al 8 jaar digitaal getoetst) Iets zeggen over de toekomst - komende 2-3 jaren Hoe ziet de ondersteuning van faculteiten en docenten er uit En trouwens het gaat wel goed - van alles af te dingen, maar het werkt wel. 2Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit DIGITAAL TOETSEN BIJ DE VU > Questionmark Perception Tests ~ /jr > Blackboard Tests ~ /jr > Digitale Toetszaal ~ /jr > Turnitin ~2300/mnd, ~520 docenten (stand 2011) 3Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit EEN KORTE PERSOONLIJKE GESCHIEDENIS > > SURF Special Interest Group Digitaal Toetsen: 4Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit WAAROM HOU IK VAN DIGITAAL TOETSEN? > Toetsen heeft een directe impact op leren en studeren > ICT biedt nieuwe mogelijkheden Maar ook: > ICT leidt tot veel problemen die er om roepen om opgelost te worden 5Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit 6Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit EEN KORTE GESCHIEDENIS DIGITAAL TOETSEN 7Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

EEN KORTE GESCHIEDENIS > 1994: Digitaal toetsen: ja! > 1999: Er kan veel: maak het mogelijk! > 2002: Het is moeilijk. Veel te hoge verwachtingen. > 2005: Het is moeilijk, maar er hou vol. Wees realistisch in je verwachtingen > 2011: Een enorme variëteit is mogelijk Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 20158

INSTITUTIONAL TAKE-UP OF CAA Warburton (2009) 9Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

INSTITUTIONAL TAKE-UP OF CAA Warburton (2009) 10Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015 Positive drivers Negative drivers

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit EEN KORTE GESCHIEDENIS > (1999) – 2003 – 2013 > Pilots > Experimenten > Grassroots > Educatieve Middelenpool > Mislukkingen > Plannen > Bestuurlijke trajecten > Projectvoorstellen > Mandaten > Druk van onder en van boven > Reorganisaties > Business Cases > Etc. 11Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit HEB JE EEN DIGITALE TOETSZAAL NODIG? > Exams are outdated, is it not? > Read your own OER and check your current ‘studiegids’ > With computers, students can take their exam at any moment of their liking, is it not? > Traditional Higher Education system in NL is cohort based > Students can taken an exam at home, is it not? > Security and Integrity of data and achievement cannot be guaranteed > Students can bring their own (any) device to the exam hall, is it not? > Power > Network > Security and Integrity of data and achievement > We can use the regular computerrooms, is it not? > Reliability of computers is poor > Very poor ergonomic conditions > Very poor defference of fraud 12Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015 Ja dus!

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit EN HEB JE EEN GROTE ZAAL NODIG? > Digitaal toetsen heeft het meeste efficiëntie voordeel bij grote cohorten > Efficiënt omgaan met grote cohorten > Tentamens > Deeltentamens > Tussentoetsen > Ja, je hebt een grote nodig 13Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit WELKE VALKUILEN ZIJN ER ZOAL? > Het kost meer dan gedacht > Er zijn irreële verwachtingen > rendementen omhoog? > Eerst vragenbanken maken dan pas denken aan toetsen afnemen? > De servers gaan down > Studenten kunnen afkijken > Studenten klagen dat het te warm is en dat het kijken op het scherm vermoeiend is > Studenten kunnen niet inloggen > Resultaten raken kwijt 14Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit DIGITALE TOETSZAAL VU (DIGITENT) – START Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit DIGITALE TOETSZAAL VU Digitale Toetsza al VU - Erasmu s Universi teit, 7 okt plekken

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit ZIJN WE ALLEEN? 17Digitale Toetszaal VU - Erasmus Universiteit, 7 okt HS Leiden + UvT

18Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

19Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

20Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

21Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

GEBRUIK DIGITENT IN 2014 DOOR FACULTEITEN 22 Digitale Toetszaal VU - Erasmus Universiteit, 7 okt

AFGENOMEN DIGITALE TOETSEN IN DIGITENT IN EN BUITEN TOETSWEKEN IN Digitale Toetszaal VU - Erasmus Universiteit, 7 okt

GEBRUIK VAN APPLICATIES IN DIGITENT VANAF JANUARI Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

GEBRUIKERSEVALUATIES RONDOM DIG TOETSEN > Docenten > Het werkt gewoon (vrijheid van vorm, ondersteuning) > Het is vooral heel snel > Het gaat soms technisch mis (schatting: 0,2 promille) > Waarom kan ik niet terecht in de DigiTenT? > Inzage voor studenten > Studenten > Het is normaal > Het is modern > Het gaat soms technisch mis > Beeldschermen glimmen wat te veel > (voor de rest problemen die niet met digitaal toetsen zelf te maken hebben) 25Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

GEBRUIKERSEVALUATIES RONDOM DIG TOETSEN > Faculteiten/onderwijsbureaus > Papieren circus is weg > Logistiek veel eenvoudiger 26Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit > Open vragen (voorkom schrijven met de hand) > Open vragen toevoegen aan gesloten vragen > Beroepssoftware > Andere vraagvormen, afbeeldingen, multimedia e.d. > Verbeteren van het studiesucces (regelmatig toetsen met feedback) > Verbeteren waardering door studenten in het kader van de NSE (o.a. nakijktermijn en toevoeging open vragen) Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015 WELKE TOETSVORM LEVERT HET MEESTE OP IN DE DIGITENT? 27

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit DIGITAAL NAKIJKEN - EXCEL 28Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit DIGITAAL NAKIJKEN - BLACKBOARD 29Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit GEAVANCEERD DIGITAAL NAKIJKEN - TURNITIN 30Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015 Geavanceerd digitaal nakijken met Turnitin – de tool voor plagiaatcontrole, beoordeling, rijke feedback, peer-review. Ook op de Tablet.

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit GEAVANCEERD DIGITAAL NAKIJKEN - BLACKBOARD 31Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit GEAVANCEERD DIGITAAL NAKIJKEN - TURNITIN 32Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit 33 Digitale Toetsza al VU - Erasmu s Universi teit, 7 okt 2015 Geschikt Maatwerk, specifieke software nodig Niet of beperkt mogelijk MC x Open vragen in tekstvorm x Beroepssoftware met file bewerking en upload x Beperkte wiskundige, chemische symbolen x Uitgebreide wiskundige, chemische of andere structuren X (tenzij met gebruimaking van beroepssoftware) Toetsen moeten geschikt zijn om in digitale vorm aan te bieden

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit ORGANISATIE 34Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015 Faculteit/Docent Fac. Ondersteuner Applicatiebeheer Database en OS beheer Functioneel beheer Onderwijskundig adviseur (digitaal) toetsexpert Educational Technologist Faculteit/Docent Fac. Ondersteuner Faculteit/Docent Fac. Ondersteuner Faculteit/Docent Fac. Ondersteuner Faculteit/Docent Fac. Ondersteuner Faculteit/Docent Fac. Ondersteuner Faculteit/Docent Fac. Ondersteuner Faculteit/Docent Fac. Ondersteuner Faculteit/Docent Fac. Ondersteuner Centrale Ondersteuner Digitaal Toetsen IT ED Faculties DigiTenT VU Board, Faculty Boards, ICTO Advisory Board Facilitaire zaken Roostering

TYPISCH TIJDSPAD 35Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015 WanneerWatWieOpmerkingen 12-8 maanden Idee formulerenDocent Faculteit/Opleiding Cursuscoördinator 7-6 maandenRoosterenFaciltiaire Zaken Onderwijsbureau Docent Software hebbenCentrale of facultaire ondersteuning IT-functionarissen Welke methode: online, clientsoftware Nauwkeurige toegang regelen tot Topics, Testen e.d. 2 maandenToetsopzet bedenkenDocent Onderwijskundig ondersteuner Toetsmatrijs Vraagtypen Volgorde van vragen Instructieschermen Feedbackschermen Cesuurbepaling Cijferbekendmaking Inzage bedenken 2 maandenToetsvragen bedenkenDocent Onderwijskundig ondersteuner Technisch ondersteuner 1 maandToetsvragen invoerenDocent (nee, liever niet) Technisch ondersteuner

TYPISCH TIJDSPAD (CONT.) 36Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015 WanneerWatWieOpmerkingen 2 wekenToets samenstellenTechnisch ondersteunerNavigatie Templates Knoppen Interactieve meldingen 1 weekToets controlerenDocent Technisch ondersteuner 1 week – 1 uurToets ter beschikking stellen aan studentenTechnisch ondersteuner Functioneel beheer Roosteraars Curriculum ontwikkelaars 0 minToetsafnemen onder goed gecontroleerde condities en technisch betrouwbaar Technisch ondersteuner Technisch beheer Applicatiebeheer Functioneel beheer Is er wel of niet een dedicated faciliteit om digitale toetsen af te nemen? 10 mintTroubleshooting als de toets ter beschikking staat Technisch ondersteuner Functioneel beheerder 2-4 uur 0-1,5 week Toetsresultaten downloaden, analyses plegen en scores en cijfers bepalen Technisch ondersteuner Psychometricus 1-2 wekenInzage mogelijk makenDocent Technisch ondersteuner

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit Centrale Ondersteuning Digitaal Toetsen ICTO ondersteuner faculteit Digitale Toetsza al VU - Erasmu s Universi teit, 7 okt

TECHNOLOGY ACCEPTANCE Teachers regard online testing as useful, but find it difficult to realize it technically and logistically (Schoonenboom, 2012) 38Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit EN DE TOEKOMST - 1 > Uitbreiding tot 595 plekken > Transparant ‘bijtrekken’ van grotere computerzalen > Structureel inrichten ‘tijdverlengers-zaal’ > Optimaliseren van inzet van de Zaal > pay-per-use > Waar is het meeste voordeel te behalen? > Open vragen > Beroepssoftware > Multimedia 39Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

Faculteit der Gedrags- en Bewegingswetenschappen, Vrije Universiteit EN DE TOEKOMST - 2 > Online Proctoring? > Het is technisch mogelijk > Maar nu nog te duur (EUR per afname) > En wordt het geaccepteerd door stakeholders? 40Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015

EEN ANDER KWALITEITSMODEL Kano

Universiteitsbibliotheek VU VOOR MEER INFORMATIE 42Digitale Toetszaal VU - Erasmus Universiteit, 7 okt 2015 Silvester Draaijer Make it happen!