De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

DIGITAAL TOETSEN/DIGITALE TOETSZAAL SILVESTER DRAAIJER.

Verwante presentaties


Presentatie over: "DIGITAAL TOETSEN/DIGITALE TOETSZAAL SILVESTER DRAAIJER."— Transcript van de presentatie:

1 DIGITAAL TOETSEN/DIGITALE TOETSZAAL SILVESTER DRAAIJER

2 Universiteitsbibliotheek VU EEN KORTE PERSOONLIJKE GESCHIEDENIS > ir. Industrieel Ontwerpen > Eigen ontwerpbureau & Docent op de HHS bij IPO > Een digitale vragenbank gemaakt met collega > Eerste digitale beeldschermtoetsen zelf afgenomen > Mechanica tentamens > Tempo+/Presto+ van de TU-Delft > Windows Applicatie > Samen met Harry van der Pas en collega’s > Alle valkuilen zelf meegemaakt > Daarna afgedwaald … 2Digitale Toetszaal VU - Haagse Onderwijsdag 2013

3 Universiteitsbibliotheek VU 3Digitale Toetszaal VU - Haagse Onderwijsdag 2013

4 Universiteitsbibliotheek VU DIGITAAL TOETSEN BIJ DE VU > Questionmark Perception Tests ~ /jr > Blackboard Tests ~ /jr > Digitale Toetszaal ~ – /jr > Turnitin ~2300/mnd, ~520 docenten > > SURF Special Interest Group Digitaal Toetsen: https://www.surfspace.nl/sig/6-digitaal-toetsen/ https://www.surfspace.nl/sig/6-digitaal-toetsen/ 4Digitale Toetszaal VU - Haagse Onderwijsdag 2013

5 Universiteitsbibliotheek VU WAAROM HOU IK VAN DIGITAAL TOETSEN? > Toetsen heeft een directe impact op leren en studeren (Snyder 1971) > ICT biedt nieuwe mogelijkheden > ICT leidt tot veel problemen die er om roepen om opgelost te worden > Het is complex, ill defined 5Digitale Toetszaal VU - Haagse Onderwijsdag 2013

6 Universiteitsbibliotheek VU WELKE VALKUILEN ZIJN ER ZOAL? > Het kost meer tijd dan gedacht > Het kost meer dan gedacht > Er zijn irreeele verwachtingen (rendementen omhoog? Eerst vragenbanken maken dan pas denken aan toetsen afnemen?) > De servers gaan down > Studenten kunnen afkijken > Studenten klagen dat het te warm is en dat het kijken op het scherm vermoeiend is > Studenten kunnen niet inloggen > Collega’s klagen dat het surveilleren zoveel tijd kost > Resultaten raken kwijt > De uitvoering zorgt ervoor dat meer studenten zakken dan nodig 6Digitale Toetszaal VU - Haagse Onderwijsdag 2013

7 TECHNOLOGY ACCEPTANCE Teachers regard online testing as useful, but find it difficult to realize it technically and logistically (Schoonenboom, 2012) 7Digitale Toetszaal VU - Haagse Onderwijsdag 2013

8 MIDDELEN > Visie > Geld > Infrastructuur > Menskracht > Organisatiekracht > Kennis > Communicatie en verwachtingsmanagement Digitale Toetszaal VU - Haagse Onderwijsdag 20138

9 INSTITUTIONAL TAKE-UP OF CAA Warburton (2009) 9Digitale Toetszaal VU - Haagse Onderwijsdag 2013

10 INSTITUTIONAL TAKE-UP OF CAA Warburton (2009) 10Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Positive drivers Negative drivers

11 Universiteitsbibliotheek VU TOETSINGS UTOPIE? > Vergezichten rondom (digitaal) toetsen gaan verder dan mijn horizon … > Twee tegengestelde ontwikkelingen > Divergentie: Wiki’s, Games, Virtual Worlds, Websites, Group Work, Simulation, Authentic tasks, Portfolio’s, Badges etc. > Convergentie: Legal Defensibility, Accreditation, Comply or Explain, Numerous Boards, Reliability … 11Digitale Toetszaal VU - Haagse Onderwijsdag 2013

12 Universiteitsbibliotheek VU 12Digitale Toetszaal VU - Haagse Onderwijsdag 2013

13 Universiteitsbibliotheek VU QUICKSTART 13Digitale Toetszaal VU - Haagse Onderwijsdag 2013

14 Universiteitsbibliotheek VU BREAK – NAAR DE DIGITALE TOETSZAAL OF IETS OVER QUIZZING? 14Digitale Toetszaal VU - Haagse Onderwijsdag 2013

15 FORMATIEF TOETSEN - ONLINE QUIZZING Perfect om studenten ‘huiswerk’ te geven en perfect voor data-verzamelen en op basis daarvan acties uit te zetten. Een demonstratie … 15Digitale Toetszaal VU - Haagse Onderwijsdag 2013

16 FEEDBACK Digitale Toetszaal VU - Haagse Onderwijsdag

17 LEARNING THROUGH TESTING – TESTING EFFECT Mcdaniel, M. A. et al. (2007) Karpicke, J. D., & Roediger, H. L. (2008), Roediger, H. L. I., & Karpicke, J. D. (2006, 2008) Recall test (Short Answer) have stronger effects than recognition tests (MCQ). E-assessment by design, Nicol, D (2007) Digitale Toetszaal VU - Haagse Onderwijsdag

18 CORRELATIONAL EFFECTS QUIZZING ON EXAM SCORES > Correlation between participation rate and exam scores > High correlation: Kibble and others (2007, 2008, 2011) > Positive effect between quiz promotion and participation > Kibble, J.D. (2011) > Correlation between credit given and participation > Kibble, J.D. (2011) Digitale Toetszaal VU - Haagse Onderwijsdag

19 ANALYTICS – ACTING ON THE DATA > Selection and timing of questions to answer > Repeated practice > Within minutes/hours/days/weeks/months? > Drop-off rate of succesfully recalled answers Digitale Toetszaal VU - Haagse Onderwijsdag

20 ANALYTICS – ACTING ON THE DATA > Timing of feedback – Based on Correct-Incorrectness and Speed > Per question > Answer again > Per group of questions > Per test as a whole > Directly after, longer and even longer Digitale Toetszaal VU - Haagse Onderwijsdag

21 ANALYTICS – ACTING ON THE DATA Digitale Toetszaal VU - Haagse Onderwijsdag

22 ANALYTICS Digitale Toetszaal VU - Haagse Onderwijsdag

23 ANALYTICS Digitale Toetszaal VU - Haagse Onderwijsdag

24 VARIATIONS - A > Distributed Learning – Spacing Effect > Ebbinghaus (1885)! > Kerfoot et al. (2007, 2009, 2010) > Collaborative Testing > Giuliodori, M. J., (2008), Kapitanoff, S. H. (2009), Rao, S. P., et al. (2002), Slusser, S. R., & Erickson, R. J. (2006). > Question generation by students > Denny, P., Hanks, B., & Simon, B. (2010), Fellenz, M. R. (2004). Digitale Toetszaal VU - Haagse Onderwijsdag

25 VARIATIONS - B > Lecture Clickers and other Response Systems > For example Mazur, E., & Crouch, C. H. (2001), Caldwell (2007), Draper (2009) - Catalytic assessment, Ipsative Assessment > Question Formats > Various MCQ formats tive-multiple-choice-in-formative-tests/ tive-multiple-choice-in-formative-tests/ > Short Answer formats > > > Quizzing before or after lecturing > Enhancing engagement in lectures or tutorial meetings > Providing opportunity to direclty apply knowledge Digitale Toetszaal VU - Haagse Onderwijsdag

26 Universiteitsbibliotheek VU DIGITALE TOETSZAAL VU (DIGITENT) 26Digitale Toetszaal VU - Haagse Onderwijsdag 2013

27 Universiteitsbibliotheek VU HEB JE EEN DIGITALE TOETSZAAL NODIG? > Exams are outdated, is it not? > Read your own OER and check your current ‘studiegids’ > With computers, students can take their exam at any moment of their liking, is it not? > Traditional Higher Education system in NL is cohort based > Students can taken an exam at home, is it not? > Security and Integrity of data and achievement cannot be guaranteed > Students can bring their own (any) device to the exam hall, is it not? > Power > Network > Security and Integrity of data and achievement > We can use the regular computerrooms, is it not? > Reliability of computers is poor > Very poor ergonomic conditions > Very poor defference of fraud > JA! dus 27Digitale Toetszaal VU - Haagse Onderwijsdag 2013

28 Universiteitsbibliotheek VU EN HEB JE EEN GROTE ZAAL NODIG? > Digitaal toetsen heeft het meeste efficiëntie voordeel bij grote cohorten > Efficiënt omgaan met grote cohorten > Tentamens > Deeltentamens > Tussentoetsen > Ja, je hebt een grote nodig 28Digitale Toetszaal VU - Haagse Onderwijsdag 2013

29 Universiteitsbibliotheek VU ZIJN WE ALLEEN? 29Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Digitale Toetszaal RUG – 290 plekken permanent Digitale Toetszaal TU-Delft – 2 x 225 plekken plekken, niet permanent Digitale Toetszaal VU – 385 plekken – permanent + HS Leiden + Erasums + Universiteit Leiden + UvA + AMC

30 Universiteitsbibliotheek VU WAAR KOMT DE DIGITALE TOETSZAAL? 30 Digitale Toetsza al VU - Haagse Onderwi jsdag plekken

31 31Digitale Toetszaal VU - Haagse Onderwijsdag 2013

32 Universiteitsbibliotheek VU 32Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Figuur 2 Handmatig verwerken van papieren toetsen bij RCH.

33 Universiteitsbibliotheek VU GEAVANCEERD DIGITAAL NAKIJKEN - TURNITIN 33Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Geavanceerd digitaal nakijken met Turnitin – de tool voor plagiaatcontrole, beoordeling, rijke feedback, peer-review. Ook op de Tablet.

34 Universiteitsbibliotheek VU GEAVANCEERD DIGITAAL NAKIJKEN - BLACKBOARD 34Digitale Toetszaal VU - Haagse Onderwijsdag 2013

35 Universiteitsbibliotheek VU GEAVANCEERD DIGITAAL NAKIJKEN - TURNITIN 35Digitale Toetszaal VU - Haagse Onderwijsdag 2013

36 36Digitale Toetszaal VU - Haagse Onderwijsdag 2013

37 Universiteitsbibliotheek VU > Open vragen (voorkom schrijven met de hand); > Beroepssoftware; > Open vragen toevoegen aan gesloten vragen; > Andere vraagvormen, afbeeldingen, multimedia e.d. > Verbeteren van het studiesucces > Verbeteren waardering door studenten in het kader van de NSE (o.a. nakijktermijn) Digitale Toetszaal VU - Haagse Onderwijsdag 2013 WELKE TOETSVORM LEVERT HET MEESTE OP IN DE DIGITENT? 37

38 Universiteitsbibliotheek VU 38 Digitale Toetsza al VU - Haagse Onderwi jsdag 2013 Geschikt Maatwerk, specifieke software nodig Niet of beperkt mogelijk MC x Open vragen in tekstvorm x Beroepssoftware met file bewerking en upload x Beperkte wiskundige, chemische symbolen x Uitgebreide wiskundige, chemische of andere structuren X (tenzij met gebruimaking van beroepssoftware) Toetsen moeten geschikt zijn om in digitale vorm aan te bieden

39 Universiteitsbibliotheek VU WELKE ONDERSTEUNING? •Centrale Ondersteuning Digitaal Toetsen •ICTO ondersteuner faculteit Digitale Toetsza al VU - Haagse Onderwi jsdag

40 Universiteitsbibliotheek VU ORGANIZATION 40Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Faculteit/Docent Fac. Ondersteuner Applicatiebeheer Database en OS beheer Functioneel beheer Onderwijskundig adviseur (digitaal) toetsexpert Educational Technologist Faculteit/Docent Fac. Ondersteuner Faculteit/Docent Fac. Ondersteuner Faculteit/Docent Fac. Ondersteuner Faculteit/Docent Fac. Ondersteuner Faculteit/Docent Fac. Ondersteuner Faculteit/Docent Fac. Ondersteuner Faculteit/Docent Fac. Ondersteuner Faculteit/Docent Fac. Ondersteuner Centrale Ondersteuner Digitaal Toetsen IT ED Faculties DigiTenT VU Board, Faculty Boards, ICTO Advisory Board

41 Universiteitsbibliotheek VU FACULTEITEN ZONDER ICTO ONDERSTEUNING Pluspakket Digitale Toetsza al VU - Haagse Onderwi jsdag Type toets Een nieuw te ontwikkelen toets via Blackboard of Questionmark Perception (evt. in combinatie met beroepssoftware) Ontwikkelen specifieke vraagtypes Eerder ontwikkelde toets via Blackboard of Questionmark Perception Een nieuw te ontwikkelen toets waarbij studenten met beroepssoftware worden getest Een bestaande toets waarbij studenten met beroepssoftware worden getest

42 Universiteitsbibliotheek VU ROOSTERING EN ACTOREN/ONDERSTEUNING Digitale Toetsza al VU - Haagse Onderwi jsdag

43 WELKE ORGANISATIE EN LOGISTIEK 43Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Wat•WieOpmerkingen Idee formuleren•Docent •Faculteit/Opleiding •Cursuscoördinator Software hebben•Centrale of facultaire ondersteuning •IT-functionarissen •Welke methode: online, clientsoftware •Nauwkeurige toegang regelen tot Topics, Testen e.d. Toetsopzet bedenken•Docent •Onderwijskundig ondersteuner •Vraagtypen •Volgorde van vragen •Instructieschermen •Feedbackschermen •Cijferbekendmaking •Inzage bedenken Toetsvragen bedenken•Docent •Onderwijskundig ondersteuner •Technisch ondersteuner Toetsvragen invoeren•Docent (nee, liever niet) •Technisch ondersteuner

44 WELKE ORGANISATIE EN LOGISTIEK (CONT.) 44Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Wat•WieOpmerkingen Toets samenstellen•Technisch ondersteuner•Navigatie •Templates •Knoppen •Interactieve meldingen Toets controleren•Docent •Technisch ondersteuner Toets ter beschikking stellen aan studenten•Technisch ondersteuner •Functioneel beheer •Roosteraars •Curriculum ontwikkelaars Toetsafnemen onder goed gecontroleerde condities en technisch betrouwbaar •Technisch ondersteuner •Technisch beheer •Applicatiebeheer •Functioneel beheer Is er wel of niet een dedicated faciliteit om digitale toetsen af te nemen? Troubleshooting als de toets ter beschikking staat •Technisch ondersteuner •Functioneel beheerder Toetsresultaten downloaden, analyses plegen en scores en cijfers bepalen •Technisch ondersteuner •Psychometricus Inzage mogelijk maken•Docent •Technisch ondersteuner

45 Universiteitsbibliotheek VU EN DE TOEKOMST - 1 Accreditatie – Rubrics gebruiken over jaren en cursussen, leidend naar de afstudeerscriptie. 45Digitale Toetszaal VU - Haagse Onderwijsdag 2013

46 Universiteitsbibliotheek VU EN DE TOEKOMST - 2 > MOOC’s > Depent heavily on quizzing > Large Scale Itembanking and exchange > Publishers > Collaborative efforts (SURF) > Interoperability Standards such as IMS QTI v1.2/v2.1 and IMS BasicLTI > Computer Adaptive Testing – also in Higher Ed > Aleks, Statistiekfabriek, StudyTube > Scoring related to Institutional Goals and Outcomes > Online Proctoring > It is technically possible > But is it affordable (EUR per examinee) > But is it acceptable 46Digitale Toetszaal VU - Haagse Onderwijsdag 2013

47 Universiteitsbibliotheek VU BLACKBOARD OUTCOMES 47Digitale Toetszaal VU - Haagse Onderwijsdag 2013

48 Universiteitsbibliotheek VU VOOR MEER INFORMATIE 48Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Silvester Draaijer


Download ppt "DIGITAAL TOETSEN/DIGITALE TOETSZAAL SILVESTER DRAAIJER."

Verwante presentaties


Ads door Google