Verkenning online toetssysteem RSM Annemiek Wieland (RISBO-OECR) & Arthur Oink (RSM) ICTO platform 8 maart 2007

Aanleiding Steeds meer RSM docenten willen toetsen gaan inzetten voor: tussentijdse toetsen (take home / bonussysteem) diagnostische toetsen Zonder dat dit hen (te veel) extra tijd kost Wens om automatisch tentamens te kunnen genereren obv oude tentamenvragen en om overzicht te hebben van reeds bestaande vragen Test Manager in Blackboard is vaak niet geschikt: beperkte mogelijheden stabiliteitsproblemen

Wensen online toetssysteem Vraagitembank met metadata Ruime feedbackmogelijkheden voor de docent Ruime feedbackmogelijkheden voor de student Gebruiksvriendelijk voor docent en student Te koppelen aan LDAP/Blackboard

Inventarisatie systemen Online beoordeeld: Egel  ontstaan bij de faculteit Geneeskunde Leiden Etude  Ontwikkeld door de TU Delft WinToets  Educatieve Uitgeverij De Rode Planeet Demonstraties van: Consis Academie  willen systeem van scratch bouwen TestVision  één van de marktleiders in NL Questionmark Perception  marktleider wereldwijd

Mogelijkheden online toetssysteem Ontwikkeling van vragen en samenstellen van toetsen en enquêtes. Rapportage resultaten en analyse. Vele soorten standaard-rapporten Afname via een (beveiligde) browser, Windows PC of papier. Planning, administratie autorisatie.

Inventarisatie systemen  Resultaten Egel  te beperkte mogelijkheden (qua aantal vraagtypen, formule-editor, koppeling Bb) Etude  wordt niet verkocht WinToets  vooral geschikt voor VO, geen Bb koppeling Consis Academie  risicovol, tijdsintensief ontwikkeltraject TestVision  voldoet aan veel wensen Questionmark Perception  voldoet aan veel wensen

Structuur vraagitembank

Metadata vraagitembank Onderwerp/categorie (meerdere niveaus) Wanneer gebruikt? Psychometrische resultaten uit het verleden onderscheidend vermogen betrouwbaarheid moeilijkheidsgraad Enz.

TestVision vs Questionmark Perception Leerboom voor elke docent toegankelijk delen van leerboom af te sluiten Metadata eigen metadata toevoegen niet mogelijk psychometr. gegevens + wanneer afgenomen wordt niet automatisch in itembank opgenomen eigen metadata toevoegen wel mogelijk Word itembank Word (interactieve) importmodule (via codes)  niet gebruiksvriendelijk Via Wordtemplate  gebruiksvriendelijk? Versiebeheer status invoeren mogelijk oude versies bewaren??

TestVision vs Questionmark Perception Koppeling met Bb beperkte koppeling aan Bb (AICC, SCORM) volledig gekoppeld aan Bb (AICC, SCORM, IMS, QTI, XML, LDAP) Formules als plaatje invoeren UTF8 formule editor MathLM Kosten €4,50 per student per jaar servicecontract (verplicht): 10% per jaar van de jaarlijkse licentieprijs internetmodule: €1975,- per server per jaar AICC/SCORM module: €495, per server per jaar statistische module: €495, per faculteit per jaar ... enz. €11.550,- (2000 studenten/12 auteurslicenties) €11.750,- (5000 studenten/20 auteurslicenties) servicecontract (verplicht): 20% per jaar van de jaarlijkse licentieprijs word templates: €563,-

Voorlopige conclusie Van de bekeken pakketten sluit Questionmark Perception het meest aan op de wensen van RSM

Questionmark Perception een paar screenshots

20 verschillende vraagtypen Uitleg/introductie Meerkeuze Waar/onwaar Ja/Nee Likert Meervoudig antwoord Aanwijs Drag and Drop Matching Rangorde Matrix Pulldown List Select a Blank Numeriek Opstel Invul (gatentekst) Text Match Captivate/Robodemo Gesproken antwoord Macromedia Flash

Fill in the blanks vraag

Pull-down list vraag

Drag & drop vraag

Meerkeuzevraag met formules

Assessment Wizard: hulpmiddel bij samenstellen toetsen

Indeling Authoring Manager

Koppeling QMP aan Bb: overzicht toetsen

Koppeling QMP aan Bb: Gradebook

Feedback voor de student

Feedback docent: totaaloverzicht

Feedback docent: resultaten per student

Vraagstatistieken

Psychometrische gegevens

Hoe nu verder? In samenwerking met OiG Erasmus MC: Antwoord krijgen op nog openstaande vragen (TestVision & QMP) Trialversie TestVision & QMP downloaden en testen Ervaringen uitwisselen Knopen doorhakken en projectvoorstel maken Subsidie-aanvraag indienen bij ICT stuurgroep In september 2007 een werkend online toetssysteem beschikbaar (bij zowel RSM als EMC)