Questionmark Perception bij de VU

Presentatie over: "Questionmark Perception bij de VU"— Transcript van de presentatie:

1 Questionmark Perception bij de VU
Silvester Draaijer Onderwijscentrum VU

2 Onderwijscentrum VU VU: 18.000 studenten Onderwijscentrum VU
1e graads lerarenopleiding Hoger Onderwijs o.a. team ICTO Communities of Learners als centraal thema Assessment is één van de aandachtspunten Pre-master assessment VU Portfolio Peer-Review (SURF project met UU en TUD) Digitaal Toetsen

3 Waartoe? Toetsen dicteert studiegedrag van studenten in belangrijke mate Onderwijs ontwikkelen: begin bij de toets Formatieve toetsing: informatie verkrijgen en geven over vorderingen en uitstippelen leerplan Summatieve toetsing: cijfer geven, civiel effect

4 Waarom digitaal toetsen?
Transparantie van onderwijsmiddelen Onderwijs in digitale omgeving Toetsing in digitale omgeving (waarom bij tentamen schrijven met pen en papier?) Samenwerken aan toetsbanken Directe terugkoppeling naar studenten Snelle analyse van toetsen en resultaten Gebruik van multimedia en andere vraagvormen plaatjes, foto’s, animaties, simulaties, video’s Andere respons akties Verhogen van kwaliteit toetsontwikkelproces validiteit van toetsing

5 Middelen - 1 Onderwijscentrum VU:
Tentamenservice (schrapkaarten – Teleform SIMAC) Blackboard’s Assessment manager Respondus Questionmark Perception

6 Blackboard Assessment
Laagdrempelig Docentsturing Beperkt aantal vragen in itembank (0-250) Voldoende mogelijkheden voor maken gesloten toetsvragen (pro: numerieke variabelen) Voor eenvoudige tussentoetsen Eenvoudige toetsanalyse

7 Respondus Laagdrempelig Docentsturing
Voor maken van ‘mooiere’ toetsvragen (plaatjes, multimedia, wiskundige formules) Voor beheren van grotere toetsbanken (100 – 600 vragen) en in meerdere cursussen Voor eenvoudig en snel ‘printen’ van toetsvragen Voor beveiligde afname (Respondus LockDown Browser) Brug naar QMP

8 Questionmark Perception
Waarom een extra digitale toetsomgeving voor de VU? Blackboard toch beperk (maar wordt wel beter) Bescherming van toetsvragen Samenwerken ontwikkelen Voor tentamendoeleinden nog niet geschikt (m.n. toetsanalyse) Alternatieven Questionmark Perception TestVision Etude Egel MapleTA (o.a. algebraïsch, numeriek) Brownstone Diploma TOIA

9 Questionmark Perception
Waarom QMP voor de VU? Geschikt voor itembanking Goed in aanmaken complexe toetsvragen en lay-out (geavanceerde vraagtypen, aanpassing lay-out) Goed in maken van complexe toetsen (conditionele opties, verfijnde puntentoekenning) Geschikt voor tentamineren (betrouwbaarheid, beveiliging en goede toetsanalyse) Integratie met andere systemen mogelijk Grote Installed Base Hosting en support mogelijk in NL QTI Het schaap met de 5 poten?

10 Questionmark Perception
Eigenschappen: Gemaakt voor en door specialisten Steile leercurve Externe kosten (betalen per auteur, student, beheerder, functie) Complexe structuur en authorisatie Kortom: Hoge drempel – dus je moet het als instelling of faculteit ECHT willen

11 Systeem overzicht QMP v4
Communicatie ICTO Qpack Ontwikkel- omgeving Inter-net Afname omgeving AUTEURS PC’S Internet

12 Machinerie Hosting door STOAS QMP v4.3 UK
server met 2x 2,6Ghz Dual Core processor met 8Gb geheugen Daarop draait de QMP4 VMWare omgeving met 1x 2,6GHz Dual Core en 3,5Gb geheugen Operating system is Windows 2003 SP1 Database in gebruik is SQL server 2005 Webserver is in combinatie met IIS6 (Windows 2003) HDD: SCSI op 15K, 8 MB cache VMWare bevat dezelfde componenten De database zit in de VMWare omgeving Goed voor 140 studenten die getemporiseerd inloggen Uitbreiding naar Load Balanced omgeving wordt voorbereid

13 Ervaringen en stavaza FBW – practicumtoetsen VUmc – diverse tentamens
Postdoctoraal onderwijs Letteren – diverse oefenbanken ALW – zelfstudie oefeningen, digitale tentamens Taaltoets VU ACTA – diverse tentamens Leren met vallen en opstaan Veel troubleshooting nodig Performance en stabiliteit garanderen

14 Middelen 2 - mensen Werkvloer – docenten
Zelfstandig werken met software Decentraal – facultair ondersteuners Ondersteuning op werkvloer door beheerders per faculteit. Werken nauw samen met centrale ondersteuners Centraal – VU-brede ondersteuning Ondersteuning op facultair niveau en werkvloer door mensen van Onderwijscentrum VU, Dienst IT en hosting-partner voor technisch, applicatie en functioneel beheer (training, scholing, troubleshooting, advies)

15 Middelen 3 – fysieke omgeving
Toetszaal Licht, Lucht, Rust, Ruimte …. OER Proctoring: toezicht op fraude, controle op identiteit, spieken, chatten etc… OER Nog een probleem voor grote cohorten

16 Afnameproces ICTO Fac Beh. Fac. Beh. Fac. Beh. Fac. Beh.
Studenten invoeren ICTO Groepen maken Fac Beh. Schedules maken (groepen of studenten aan een toets koppelen) Fac. Beh. Toets laten afnemen Fac. Beh. Verwerken en analyseren van resultaten Fac. Beh.

17 Toetsanalyse Opvragen van allerlei rapporten mogelijk
Leren hoe je snel en effectief rapportages maakt kost tijd Excel blijft nodig

18 Stand van zaken Onderwijscentrum VU heeft werkbare omgeving
Uitbreiding naar Load Balanced omgeving Investering in software en licenties € Centraal beheer verder regelen Integreren met Blackboard/LDAP …

19 Keep your cool Wat geleerd Opnemen in organisatie kost veel tijd
Vragen maken kost veel tijd Richten op itembanking, innovatieve vraagvormen Het blijft allemaal mensenwerk Vallen en opstaan Integratie nog niet eenvoudig Keep your cool