Verkenning online toetssysteem RSM

Presentatie over: "Verkenning online toetssysteem RSM"— Transcript van de presentatie:

1 Verkenning online toetssysteem RSM
Annemiek Wieland (RISBO-OECR) & Arthur Oink (RSM) ICTO platform 8 maart 2007

2 Aanleiding Steeds meer RSM docenten willen toetsen gaan inzetten voor:
tussentijdse toetsen (take home / bonussysteem) diagnostische toetsen Zonder dat dit hen (te veel) extra tijd kost Wens om automatisch tentamens te kunnen genereren obv oude tentamenvragen en om overzicht te hebben van reeds bestaande vragen Test Manager in Blackboard is vaak niet geschikt: beperkte mogelijheden stabiliteitsproblemen

3 Wensen online toetssysteem
Vraagitembank met metadata Ruime feedbackmogelijkheden voor de docent Ruime feedbackmogelijkheden voor de student Gebruiksvriendelijk voor docent en student Te koppelen aan LDAP/Blackboard

4 Inventarisatie systemen
Online beoordeeld: Egel  ontstaan bij de faculteit Geneeskunde Leiden Etude  Ontwikkeld door de TU Delft WinToets  Educatieve Uitgeverij De Rode Planeet Demonstraties van: Consis Academie  willen systeem van scratch bouwen TestVision  één van de marktleiders in NL Questionmark Perception  marktleider wereldwijd

5 Mogelijkheden online toetssysteem
Ontwikkeling van vragen en samenstellen van toetsen en enquêtes. Rapportage resultaten en analyse. Vele soorten standaard-rapporten Afname via een (beveiligde) browser, Windows PC of papier. Planning, administratie autorisatie.

6 Inventarisatie systemen  Resultaten
Egel  te beperkte mogelijkheden (qua aantal vraagtypen, formule-editor, koppeling Bb) Etude  wordt niet verkocht WinToets  vooral geschikt voor VO, geen Bb koppeling Consis Academie  risicovol, tijdsintensief ontwikkeltraject TestVision  voldoet aan veel wensen Questionmark Perception  voldoet aan veel wensen

7 Structuur vraagitembank

8 Metadata vraagitembank
Onderwerp/categorie (meerdere niveaus) Wanneer gebruikt? Psychometrische resultaten uit het verleden onderscheidend vermogen betrouwbaarheid moeilijkheidsgraad Enz.

9 TestVision vs Questionmark Perception
Leerboom voor elke docent toegankelijk delen van leerboom af te sluiten Metadata eigen metadata toevoegen niet mogelijk psychometr. gegevens + wanneer afgenomen wordt niet automatisch in itembank opgenomen eigen metadata toevoegen wel mogelijk Word itembank Word (interactieve) importmodule (via codes)  niet gebruiksvriendelijk Via Wordtemplate  gebruiksvriendelijk? Versiebeheer status invoeren mogelijk oude versies bewaren??

10 TestVision vs Questionmark Perception
Koppeling met Bb beperkte koppeling aan Bb (AICC, SCORM) volledig gekoppeld aan Bb (AICC, SCORM, IMS, QTI, XML, LDAP) Formules als plaatje invoeren UTF8 formule editor MathLM Kosten €4,50 per student per jaar servicecontract (verplicht): 10% per jaar van de jaarlijkse licentieprijs internetmodule: €1975,- per server per jaar AICC/SCORM module: €495, per server per jaar statistische module: €495, per faculteit per jaar ... enz. €11.550,- (2000 studenten/12 auteurslicenties) €11.750,- (5000 studenten/20 auteurslicenties) servicecontract (verplicht): 20% per jaar van de jaarlijkse licentieprijs word templates: €563,-

11 Voorlopige conclusie Van de bekeken pakketten sluit Questionmark Perception het meest aan op de wensen van RSM

12 Questionmark Perception
een paar screenshots

13 20 verschillende vraagtypen
Uitleg/introductie Meerkeuze Waar/onwaar Ja/Nee Likert Meervoudig antwoord Aanwijs Drag and Drop Matching Rangorde Matrix Pulldown List Select a Blank Numeriek Opstel Invul (gatentekst) Text Match Captivate/Robodemo Gesproken antwoord Macromedia Flash

14 Fill in the blanks vraag

15 Pull-down list vraag

16 Drag & drop vraag

17 Meerkeuzevraag met formules

18 Assessment Wizard: hulpmiddel bij samenstellen toetsen

19 Indeling Authoring Manager

20 Koppeling QMP aan Bb: overzicht toetsen

21 Koppeling QMP aan Bb: Gradebook

22 Feedback voor de student

23 Feedback docent: totaaloverzicht

24 Feedback docent: resultaten per student

25 Vraagstatistieken

26 Psychometrische gegevens

27 Hoe nu verder? In samenwerking met OiG Erasmus MC:
Antwoord krijgen op nog openstaande vragen (TestVision & QMP) Trialversie TestVision & QMP downloaden en testen Ervaringen uitwisselen Knopen doorhakken en projectvoorstel maken Subsidie-aanvraag indienen bij ICT stuurgroep In september 2007 een werkend online toetssysteem beschikbaar (bij zowel RSM als EMC)