Questionmark Perception bij de VU Silvester Draaijer Onderwijscentrum VU

Onderwijscentrum VU VU: 18.000 studenten Onderwijscentrum VU 1e graads lerarenopleiding Hoger Onderwijs o.a. team ICTO Communities of Learners als centraal thema Assessment is één van de aandachtspunten Pre-master assessment VU Portfolio Peer-Review (SURF project met UU en TUD) Digitaal Toetsen

Waartoe? Toetsen dicteert studiegedrag van studenten in belangrijke mate Onderwijs ontwikkelen: begin bij de toets Formatieve toetsing: informatie verkrijgen en geven over vorderingen en uitstippelen leerplan Summatieve toetsing: cijfer geven, civiel effect

Waarom digitaal toetsen? Transparantie van onderwijsmiddelen Onderwijs in digitale omgeving Toetsing in digitale omgeving (waarom bij tentamen schrijven met pen en papier?) Samenwerken aan toetsbanken Directe terugkoppeling naar studenten Snelle analyse van toetsen en resultaten Gebruik van multimedia en andere vraagvormen plaatjes, foto’s, animaties, simulaties, video’s Andere respons akties Verhogen van kwaliteit toetsontwikkelproces validiteit van toetsing

Middelen - 1 Onderwijscentrum VU: Tentamenservice (schrapkaarten – Teleform SIMAC) Blackboard’s Assessment manager Respondus Questionmark Perception

Blackboard Assessment Laagdrempelig Docentsturing Beperkt aantal vragen in itembank (0-250) Voldoende mogelijkheden voor maken gesloten toetsvragen (pro: numerieke variabelen) Voor eenvoudige tussentoetsen Eenvoudige toetsanalyse

Respondus Laagdrempelig Docentsturing Voor maken van ‘mooiere’ toetsvragen (plaatjes, multimedia, wiskundige formules) Voor beheren van grotere toetsbanken (100 – 600 vragen) en in meerdere cursussen Voor eenvoudig en snel ‘printen’ van toetsvragen Voor beveiligde afname (Respondus LockDown Browser) Brug naar QMP

Questionmark Perception Waarom een extra digitale toetsomgeving voor de VU? Blackboard toch beperk (maar wordt wel beter) Bescherming van toetsvragen Samenwerken ontwikkelen Voor tentamendoeleinden nog niet geschikt (m.n. toetsanalyse) Alternatieven Questionmark Perception TestVision Etude Egel MapleTA (o.a. algebraïsch, numeriek) Brownstone Diploma TOIA

Questionmark Perception Waarom QMP voor de VU? Geschikt voor itembanking Goed in aanmaken complexe toetsvragen en lay-out (geavanceerde vraagtypen, aanpassing lay-out) Goed in maken van complexe toetsen (conditionele opties, verfijnde puntentoekenning) Geschikt voor tentamineren (betrouwbaarheid, beveiliging en goede toetsanalyse) Integratie met andere systemen mogelijk Grote Installed Base Hosting en support mogelijk in NL QTI Het schaap met de 5 poten?

Questionmark Perception Eigenschappen: Gemaakt voor en door specialisten Steile leercurve Externe kosten (betalen per auteur, student, beheerder, functie) Complexe structuur en authorisatie Kortom: Hoge drempel – dus je moet het als instelling of faculteit ECHT willen

Systeem overzicht QMP v4 Communicatie ICTO Qpack Ontwikkel- omgeving Inter-net Afname omgeving AUTEURS PC’S Internet

Machinerie Hosting door STOAS QMP v4.3 UK server met 2x 2,6Ghz Dual Core processor met 8Gb geheugen Daarop draait de QMP4 VMWare omgeving met 1x 2,6GHz Dual Core en 3,5Gb geheugen Operating system is Windows 2003 SP1 Database in gebruik is SQL server 2005 Webserver is in combinatie met IIS6 (Windows 2003) HDD: SCSI op 15K, 8 MB cache VMWare bevat dezelfde componenten De database zit in de VMWare omgeving Goed voor 140 studenten die getemporiseerd inloggen Uitbreiding naar Load Balanced omgeving wordt voorbereid

Ervaringen en stavaza FBW – practicumtoetsen VUmc – diverse tentamens Postdoctoraal onderwijs Letteren – diverse oefenbanken ALW – zelfstudie oefeningen, digitale tentamens Taaltoets VU ACTA – diverse tentamens Leren met vallen en opstaan Veel troubleshooting nodig Performance en stabiliteit garanderen

Middelen 2 - mensen Werkvloer – docenten Zelfstandig werken met software Decentraal – facultair ondersteuners Ondersteuning op werkvloer door beheerders per faculteit. Werken nauw samen met centrale ondersteuners Centraal – VU-brede ondersteuning Ondersteuning op facultair niveau en werkvloer door mensen van Onderwijscentrum VU, Dienst IT en hosting-partner voor technisch, applicatie en functioneel beheer (training, scholing, troubleshooting, advies)

Middelen 3 – fysieke omgeving Toetszaal Licht, Lucht, Rust, Ruimte …. OER Proctoring: toezicht op fraude, controle op identiteit, spieken, chatten etc… OER Nog een probleem voor grote cohorten

Afnameproces ICTO Fac Beh. Fac. Beh. Fac. Beh. Fac. Beh. Studenten invoeren ICTO Groepen maken Fac Beh. Schedules maken (groepen of studenten aan een toets koppelen) Fac. Beh. Toets laten afnemen Fac. Beh. Verwerken en analyseren van resultaten Fac. Beh.

Toetsanalyse Opvragen van allerlei rapporten mogelijk Leren hoe je snel en effectief rapportages maakt kost tijd Excel blijft nodig

Stand van zaken Onderwijscentrum VU heeft werkbare omgeving Uitbreiding naar Load Balanced omgeving Investering in software en licenties € 75.000 Centraal beheer verder regelen Integreren met Blackboard/LDAP …

Keep your cool Wat geleerd Opnemen in organisatie kost veel tijd Vragen maken kost veel tijd Richten op itembanking, innovatieve vraagvormen Het blijft allemaal mensenwerk Vallen en opstaan Integratie nog niet eenvoudig Keep your cool