De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Digitaal toetsen Leen van Kaam Stoas. 01/06/2015 Inhoud presentatie  Behoeften t.a.v. het vragen stellen  3 mogelijke instrumenten globaal vergeleken.

Verwante presentaties


Presentatie over: "Digitaal toetsen Leen van Kaam Stoas. 01/06/2015 Inhoud presentatie  Behoeften t.a.v. het vragen stellen  3 mogelijke instrumenten globaal vergeleken."— Transcript van de presentatie:

1 Digitaal toetsen Leen van Kaam Stoas

2 01/06/2015 Inhoud presentatie  Behoeften t.a.v. het vragen stellen  3 mogelijke instrumenten globaal vergeleken  Eigenschappen toetsmodules Toetsmodule Blackboard 7 Question Mark Perception Adaptief toetsen Welke toetsprogrammatuur past in welke implementatiefase ?  Brug tussen QMP en Blackboard  DALI als instrument voor formatief toetsen

3 01/06/2015 Behoefte  Formatieve toetsen Instaptoets Diagnose tijdens voortgang en achteraf  Summatieve toetsen  Enquêtes  Vragen tijdens het leren t.b.v. het leren  Adaptieve toetsen  (Peer) feedback geven/krijgen op grond van standaard vragenlijsten  ‘Testen’

4 01/06/2015 Scorm  Bloemverkoper Bloemverkoper  Vragenlijst met feedback (demo, demo) Vragenlijst met feedback

5 01/06/2015 ScormmoduleToetsmodule in leeromgeving (Bb) Toetsservice- systeem Toetsen is platform- onafhankelijk Toetsen is platform- afhankelijk Export en Import in standaard-formaat Toetsen is platform- afhankelijk Export en Import in standaard-formaat Rapportage voor student:  Kan binnen de module feedback krijgen  Achteraf alleen eindscore en ‘completed’ of niet Rapportage voor student:  Coachingrapport (direct en achteraf beschikbaar wanneer gewenst) Rapportage voor student:  Zelf vorm te geven coachingrapport (direct en achteraf beschikbaar wanneer gewenst) Rapportage voor docent:  Alleen eindscore en ‘completed of niet’. Rapportage voor docent:  Gradebook  Coachingrapport  Vraaganalyse per toets Rapportage voor docent:  Gradebook  Coachingrapport  En andere rapportages  Meerdere rapportages kwaliteitsontwikkeling

6 Question Mark Perception in vogelvlucht

7 01/06/2015 Administratie Rapportage Afname (Papier of) beeldscherm Toetsmatrix samenstellen Items construeren Toetscyclus

8 01/06/2015 Map 1 Map 2 Map 3 Map 1 Item a Item i Item k Item h Item j Item g Item b Item uItem l Item c Item s Item p Item n Item rItem q Item d Item o Item e Item t Item f Toets 1 Toets 2 Toets 3 Item o Vragen-databaseToetsmatrix-database

9 01/06/2015 Toetsvragen construeren  D.w.z. Eenzelfde toetsvraag komt maar 1 keer voor in de database Eenzelfde toetsvraag kan in meerdere toetsen opgenomen zijn op meerdere plaatsen  Herkenning van toetsvragen is belangrijk Mappenstructuur Naamgeving Aparte kenmerken (tags)

10 01/06/2015 Vraagscore  Score per item: Score bepaalt weging item in de toets Dezelfde score kan in meerdere toetsen gelden Makkelijk hanteerbare eenheden gebruiken: bv. 12 (deelbaar door 1, 2, 3, 4, 6)

11 01/06/2015 Assessment Manager  Vraagselectie Kenmerken Mappen Naam  Feedback  Tijdslimiet  Presentatiestijlen (templates)

12 01/06/2015 Administratie  Deelnemers toevoegen  Groepen maken  Toetsplanning en autorisatie Schedule Studenten toegang geven tot de toets (eventueel in groepen) voor afname Tijdstip van toegang bepalen

13 01/06/2015 Rapportages  Bekijken en analyseren resultaten Per groep/deelnemer Per toetsitem  Veel standaardrapporten Lijstrapport Coachingrapport ………  Bewerken van standaard rapporten

14 01/06/ interfaces  Webinterface Webinterface  Client voor ontwikkelaar Meer verschillende toetsvragen

15 01/06/2015

16 Bb 7 versus QMP

17 01/06/2015 Toetsitems Toetsmodule Blackboard 7Question Mark Perception Database van toetsen met itemsAparte database voor toetsmatrix en voor toetsitems Per toets per cursus worden toetsitems bewaard, d.w.z. hetzelfde toetsitem wordt gekopieerd in andere toetsen of cursussen Toetsen verwijzen naar toetsitems in één database. Meerdere toetsen kunnen hetzelfde item bevatten. Hetzelfde toetsitem wordt op meerdere plaatsen bewaard en moet op meerdere plaatsen worden aangepast. Hetzelfde toetsitem wordt op één plaats bewaard en kan daar aangepast worden Binnen cursussen kun je toetsvragen via de soort en categorieën, trefwoorden en moeilijkheidsgraad terugvinden. Iedere individuele toetsontwerper kan eigen kenmerken definiëren. Binnen de database kun je toetsvragen op allerlei centraal gedefinieerde kenmerken, op ID en in een mappenstructuur terugvinden. Iets beperkter aantal vraagsoorten, andere vraagsoorten, iets beperktere multimediale mogelijkheden Meer en andere vraagsoorten, uitgebreidere multimediale mogelijkheden Feedback per vraag en per antwoorditem Uploaden van vragen volgens vast formaat (geen internationale standaard) Geen download van vragen in standaard formaat Uploaden van vragen volgens vast formaat (QTI-standaard) Downloaden van toetsvragen in standaardformaat

18 01/06/2015 Toetsen Toetsmodule Blackboard 7 Question Mark Perception De leeromgeving staat open: alleen diagnostische en instaptoetsen Mogelijkheid tot ‘secured’ browser Toetsvragen en toetsen zijn in één database verwerkt. Aparte toetsmatrices verwijzen naar aparte database voor toetsitems At random volgorde vragen At random keuze vragen uit pool At random volgorde antwoorditems At random volgorde vragen At random keuze vragen uit vragendatabase At random volgorde antwoorditems Beperking toegankelijkheid:  Op tijdstip  Aantal keren van benadering  Met wachtwoord  Toets niet onderbreken  Verbod op opnieuw antwoorden  Op naam toekennen Beperking toegankelijkheid:  Op tijdstip  Aantal keren van benadering  Met wachtwoord  Toets niet onderbreken  Verbod op opnieuw antwoorden  Op naam toekennen Rol supervisor, die controleert of juist persoon de toets maakt Feedback per toets en per deelselectie vragen van dezelfde categorie (topic) Adaptief: sprongen tussen toetsen.Adaptief: Sprongen tussen toetsen. Sprongen binnen een toets afhankelijk van de resultaten op eerdere vragen

19 01/06/2015 Rapportages Toetsmodule Blackboard 7Question Mark Perception 5 standaard rapportages (niet aanpasbaar)4 soorten standaardrapportages (alle aanpasbaar). In totaal 11 standaard rapportages. Daarnaast maatwerkrapportage mogelijk Overzichtsrapportage: Welke toetsen zijn beschikbaar, door wie gemaakt…. Over de resultaten van de deelnemer (s):  Gradebook-totaalscorelijst met doorklik naar Coaching rapport  Coaching rappport: gedetailleerde info per vraag voor een deelnemer  Per deelnemer totaal scorelijst per toets met doorklik naar coaching rapport Over de resultaten van de deelnemer (s):  Scorelijst met doorklik naar Coaching rapport  Coachingrapport: gedetaillerde info per vraag voor een deelnemer  Deelnemer rapport over meerdere toetsen met doorklik naar Coachingrapport  Scorelijst over meerdere toetsen met berekening gewogen gemiddelde en doorklik naar Coaching rapport  Vergelijkingsrapport: vergelijken van resultaten van dezelfde groep op 2 verschillende toetsmomenten, vergelijking van verschillende groepen op dezelfde toets

20 01/06/2015 Rapportages Toetsmodule Blackboard 7Question Mark Perception Over de kwaliteit van de toetsen en toetsitems:  per toetsitem: antwoordfrequentie  Enkele statistische gegevens per toets Over de kwaliteit van de toetsen en toetsitems:  Vraagstatistieken rapport: uitgebreide statistische analyse per item, per toets en per topic  Itemanalyserapport: uitgebreide statistische analyse per item, per toets en per topic uitgaande van klassieke testtheorie  Enquêterapport/ grafische weergave van antwoordfrequentie. Grafische weergave Grafische weergave rapportages Export van resultaten mogelijk in csv- bestand. 2 verschillende rapportages t.b.v. export:  Export naar Ascii  Export naar Excel Zelf deels bepalen welke gegevens geëxporteerd worden.

21 01/06/2015 Toetsorganisatie Toetsmodule Blackboard 7Question Mark Perception Laagdrempelig gebruikEenvoudig te gebruiken door wizards Uitgebreide mappenstructuur voor itembank en toetsenbank, metadatastructuurmappenstructuur voor itembank en toetsenbank Autonomie per docentSamenwerking tussen docenten, hergebruik van items Docent beheert toetstoegang autonoom, nauwelijks rollen met verschillende rechten. Uitgebreidere organisatie met verschillende rollen en rechten Workflow Status toetsitems Centraal beheerder van toetstoegang en autorisatie Informele toetsorganisatieFormele toetsorganisatie: omgaan met mappenstructuur, procedures en rollen Mogelijkheden tot integratie leeromgeving met andere systemen, bv. schooladministratie Mogelijkheden tot integratie met andere systemen, bv. schooladministratie

22 01/06/2015 Conclusie Toetsmodule Blackboard 7Question Mark Perception Beperkter aantal vraagsoorten en multimedia gebruik Uitgebreider aantal vraagsoorten en multimedia gebruik Geen Content Management van Toetsitems (alleen binnen 1 cursus, binnen 1 toets) Content management van toetsitems Geen ‘secured’ toetsen van toetsenMeerdere mogelijkheden voor ‘Secured’ toetsen Beperkt rapportage-instrumentUitgebreide standaard rapportagemogelijkheden Aanpasbare rapportages Maatwerk Geen toetsorganisatie nodigToetsorganisatie nodig Geen standaardformaat voor import en export van vragen Gestandaardiseerd formaat voor import en export

23 01/06/2015 Model van Nolan tijd Mate van imple menta tie Pioniers School -breed Integratie

24 01/06/2015 Model van Nolan voor digitaal toetsen  Pioniers Docentniveau Verkennen van digitale toetsen maken Leren omgaan met digitale toetsvragen  Schoolbreed Samenwerken tussen docenten aan kwalitatief goede toetsvragen. Herbruikbaarheid Content management: 1 vraag op 1 plaats in de database Rapportages op kwaliteit Pakket van wensen en eisen t.a.v. programmatuur: Vraagsoorten Gebruik multimedia  Integratie Integratie tussen systemen, bv. Elektronische leeromgeving Studentadministratiesysteem Afstemming tussen verschillende scholen

25 01/06/2015 Model van Nolan tijd Mate van imple menta tie Toets- module Bb 7 QMP

26 Overbruggen van de afstand Leen van Kaam, Stoas Informatisering

27 01/06/2015 Doel van de brug Bb-QMP  Eén keer inloggen;  Toetsen is onderdeel van het leren;  Gebruikersgemak;  Voorkomen van dubbel beheer, met name op gebied van gebruikersbeheer en toekennen van rechten.

28 01/06/2015 Waar vind je de brug? Docent:  Tools voor het beheren van toetsen en gebruikers in QMP  Control Panel: voor het toevoegen van een toets Student:  Content Area’s: als diagnostische toets of adaptief leerprogramma  Tools: als ‘formele’ toets

29 01/06/2015 Demonstratie Docent Mogelijkheden van de docent:  Overzetten van gebruikers en groepen van een Bb-cursus naar QMP;  Plaats en tijd onafhankelijk beheren van toetsvragen, toetsen, gebruikers in QMP;  Toevoegen van een diagnostische toets aan een cursus;  Toevoegen van een ‘formele’toets.  Toetsresultaten in ‘online Gradebook’

30 01/06/2015 Demonstratie Student Mogelijkheden van de student:  Maken van een diagnostische toets;  Bekijken van een rapportage op toetsresultaten;  Resultaten in ‘My grades’  Maken van een ‘formele toets’

31 DALI

32 01/06/2015 Wat is DALI?  Diagnostic Assessment Learning Interface  DALI is een omgeving voor Questionmark Perception  DALI geeft inzicht in de individuele prestaties van uw deelnemers op de verschillende onderwerpen of competenties

33 01/06/2015 Waarom DALI?  Oefenen met vragen = leren.  DALI biedt een eenvoudig te gebruiken competentie management tool  Zelfstandig en vraaggestuurd leren

34 01/06/2015 DALI Interface  De DALI Interface bestaat uit 4 onderdelen Menu Bevat de Opties en Verander scorebanden menu’s. Deze bevat informatie over de verschillende topics of competenties. Ook kunnen eigen scorebanden worden ingesteld.

35 01/06/2015 DALI Interface  Deelnemers Bevat een lijst van alle deelnemers die de betreffende coach mag bekijken. Dit is dus alleen zichtbaar voor coaches.

36 01/06/2015 DALI Interface  Topics Bevat een lijst van topics en subtopics die door de deelnemer zijn afgenomen. Dit is zowel voor de coach als voor de deelnemer zichtbaar.

37 01/06/2015 DALI Interface  Options Bevat Topic feedback, Statistieken en leerdoelen betreffende het geselecteerde topic.

38 01/06/2015 DALI Overzichten  Laatste topic feedback Het opgelichte topic geeft de laatst verkregen feedback weer.

39 01/06/2015 DALI Overzichten  Statistics Geeft de resultaten weer van het betreffende onderwerp

40 01/06/2015 DALI Overzichten  Leerdoelen Hier worden de doelstellingen van het betreffende onderwerp weergegeven.

41 01/06/2015 DALI Overzichten  Scorebanden veranderen De topics worden in een bepaalde kleur weergegeven om de prestaties van de deelnemer weer te geven. Dit geeft een simpele grafische weergave welke onderdelen goed gaan en welke minder goed. Deelnemers en coaches kunnen zelf de scorebanden aanpassen.

42 01/06/2015 DALI als deelnemer  Deelnemers gaan naar DALI via de perception.dll

43 01/06/2015 DALI als deelnemer  Deelnemer heeft een ‘quiz’ gemaakt  Deelnemer definieert eigen scoreband  Gekleurde mappen geeft stand van zaken weer per leerdoel.

44 01/06/2015 DALI als deelnemer  Deelnemer kan de resultaten bekijken in DALI en eventueel nog eens oefenen.  Deelnemer dubbelklikt op het topic dat geoefend moet worden. Hierdoor wordt een ‘quiz’ aangemaakt en opgestart. Deze quiz wordt weer verwijderd bij het afsluiten.

45 01/06/2015 DALI als coach  Inloggen in DALI vanuit de Enterprise Manager

46 01/06/2015 DALI als coach  Coaches zien een lijst van deelnemers, gerangschikt in groepen. Kunnen overzicht per deelnemer krijgen Zij zien alleen die deelnemers waar ze rechten voor hebben.

47 01/06/2015 DALI als coach

48 01/06/2015 DALI als coach

49 01/06/2015 Vragen?

50 Antwoordfrequenties

51 Vergelijking van groepen

52 01/06/2015 Kwalificatiestructuur: globaal

53 01/06/2015 Kwalificatiestructuur: uitgebreid


Download ppt "Digitaal toetsen Leen van Kaam Stoas. 01/06/2015 Inhoud presentatie  Behoeften t.a.v. het vragen stellen  3 mogelijke instrumenten globaal vergeleken."

Verwante presentaties


Ads door Google