Digitaal toetsen Leen van Kaam Stoas

Inhoud presentatie Behoeften t.a.v. het vragen stellen 3 mogelijke instrumenten globaal vergeleken Eigenschappen toetsmodules Toetsmodule Blackboard 7 Question Mark Perception Adaptief toetsen Welke toetsprogrammatuur past in welke implementatiefase ? Brug tussen QMP en Blackboard DALI als instrument voor formatief toetsen

Behoefte Formatieve toetsen Summatieve toetsen Enquêtes Instaptoets Diagnose tijdens voortgang en achteraf Summatieve toetsen Enquêtes Vragen tijdens het leren t.b.v. het leren Adaptieve toetsen (Peer) feedback geven/krijgen op grond van standaard vragenlijsten ‘Testen’

Scorm Bloemverkoper Vragenlijst met feedback (demo, demo)

Toetsmodule in leeromgeving (Bb) Toetsservice-systeem Scormmodule Toetsmodule in leeromgeving (Bb) Toetsservice-systeem Toetsen is platform-onafhankelijk Toetsen is platform-afhankelijk Export en Import in standaard-formaat Rapportage voor student: Kan binnen de module feedback krijgen Achteraf alleen eindscore en ‘completed’ of niet Coachingrapport (direct en achteraf beschikbaar wanneer gewenst) Zelf vorm te geven coachingrapport (direct en achteraf beschikbaar wanneer gewenst) Rapportage voor docent: Alleen eindscore en ‘completed of niet’. Gradebook Coachingrapport Vraaganalyse per toets En andere rapportages Meerdere rapportages kwaliteitsontwikkeling

Question Mark Perception in vogelvlucht

Toetsmatrix samenstellen (Papier of) beeldscherm Toetscyclus Administratie Perception is een systeem dat de hele cyclus doorloopt: Item –ontwikkeling = Databank met vragen / checklistvragen of toetsvragen Toetssamenstelling = Databank met toetsen (sessies) / assessments Twee programma’s die lokaal staan geinstalleerd: publicatie naar de server. 2. Administratie en beveiliging= welke groepen mogen de toetsen maken onder welke beveiliging Dit gebeurt via de server: dus browser gestuurd. 3. Afname in de browser (IE werkt het best) of op papier. 4. Rapportage: - over de resultaten naar studentenvolgsysteem of het portfolio - over de vragen e.d.: levert weer informatie voor de ontwikkeling. Voorbeelden van vraagtypen kunnen zo bekeken worden. Straks een voorbeeld. Toetsmatrix samenstellen Afname (Papier of) beeldscherm Items construeren Rapportage

Toetsmatrix-database Vragen-database Toetsmatrix-database Map 1 Map 2 Map 3 Item a Item i Item k Item h Item j Item g Item b Item u Item l Item c Item s Item p Item n Item r Item q Item d Item o Item e Item t Item f Item o Toets 1 Toets 2 Toets 3

Toetsvragen construeren D.w.z. Eenzelfde toetsvraag komt maar 1 keer voor in de database Eenzelfde toetsvraag kan in meerdere toetsen opgenomen zijn op meerdere plaatsen Herkenning van toetsvragen is belangrijk Mappenstructuur Naamgeving Aparte kenmerken (tags)

Vraagscore Score per item: Score bepaalt weging item in de toets Dezelfde score kan in meerdere toetsen gelden Makkelijk hanteerbare eenheden gebruiken: bv. 12 (deelbaar door 1, 2, 3, 4, 6)

Assessment Manager Vraagselectie Feedback Tijdslimiet Kenmerken Mappen Naam Feedback Tijdslimiet Presentatiestijlen (templates)

Administratie Deelnemers toevoegen Groepen maken Toetsplanning en autorisatie Schedule Studenten toegang geven tot de toets (eventueel in groepen) voor afname Tijdstip van toegang bepalen

Rapportages Bekijken en analyseren resultaten Veel standaardrapporten Per groep/deelnemer Per toetsitem Veel standaardrapporten Lijstrapport Coachingrapport ……… Bewerken van standaard rapporten

2 interfaces Webinterface Client voor ontwikkelaar Meer verschillende toetsvragen

Bb 7 versus QMP

Toetsitems Toetsmodule Blackboard 7 Question Mark Perception Database van toetsen met items Aparte database voor toetsmatrix en voor toetsitems Per toets per cursus worden toetsitems bewaard, d.w.z. hetzelfde toetsitem wordt gekopieerd in andere toetsen of cursussen Toetsen verwijzen naar toetsitems in één database. Meerdere toetsen kunnen hetzelfde item bevatten. Hetzelfde toetsitem wordt op meerdere plaatsen bewaard en moet op meerdere plaatsen worden aangepast. Hetzelfde toetsitem wordt op één plaats bewaard en kan daar aangepast worden Binnen cursussen kun je toetsvragen via de soort en categorieën, trefwoorden en moeilijkheidsgraad terugvinden. Iedere individuele toetsontwerper kan eigen kenmerken definiëren. Binnen de database kun je toetsvragen op allerlei centraal gedefinieerde kenmerken, op ID en in een mappenstructuur terugvinden. Iets beperkter aantal vraagsoorten, andere vraagsoorten, iets beperktere multimediale mogelijkheden Meer en andere vraagsoorten, uitgebreidere multimediale mogelijkheden Feedback per vraag en per antwoorditem Uploaden van vragen volgens vast formaat (geen internationale standaard) Geen download van vragen in standaard formaat Uploaden van vragen volgens vast formaat (QTI-standaard) Downloaden van toetsvragen in standaardformaat

Toetsen Toetsmodule Blackboard 7 Question Mark Perception De leeromgeving staat open: alleen diagnostische en instaptoetsen Mogelijkheid tot ‘secured’ browser Toetsvragen en toetsen zijn in één database verwerkt. Aparte toetsmatrices verwijzen naar aparte database voor toetsitems At random volgorde vragen At random keuze vragen uit pool At random volgorde antwoorditems At random keuze vragen uit vragendatabase Beperking toegankelijkheid: Op tijdstip Aantal keren van benadering Met wachtwoord Toets niet onderbreken Verbod op opnieuw antwoorden Op naam toekennen Rol supervisor, die controleert of juist persoon de toets maakt Feedback per toets en per deelselectie vragen van dezelfde categorie (topic) Adaptief: sprongen tussen toetsen. Adaptief: Sprongen tussen toetsen. Sprongen binnen een toets afhankelijk van de resultaten op eerdere vragen De secured browser zorgt ervoor dat een student, geen tweede browser kan openen om bv. Te zoeken in de leeromgeving of op internet naar een juist antwoord. De supervisor is iemand die op de toetswerkplek controleert of degene die aanwezig is ook de bedoelde toetsdeelnemer is. In QMP kan ingesteld worden dat een supervisor naar verificatie van de deelnemer de toegang tot de toets moet accorderen.

Rapportages Toetsmodule Blackboard 7 Question Mark Perception 5 standaard rapportages (niet aanpasbaar) 4 soorten standaardrapportages (alle aanpasbaar). In totaal 11 standaard rapportages. Daarnaast maatwerkrapportage mogelijk Overzichtsrapportage: Welke toetsen zijn beschikbaar, door wie gemaakt…. Over de resultaten van de deelnemer (s): Gradebook-totaalscorelijst met doorklik naar Coaching rapport Coaching rappport: gedetailleerde info per vraag voor een deelnemer Per deelnemer totaal scorelijst per toets met doorklik naar coaching rapport Scorelijst met doorklik naar Coaching rapport Coachingrapport: gedetaillerde info per vraag voor een deelnemer Deelnemer rapport over meerdere toetsen met doorklik naar Coachingrapport Scorelijst over meerdere toetsen met berekening gewogen gemiddelde en doorklik naar Coaching rapport Vergelijkingsrapport: vergelijken van resultaten van dezelfde groep op 2 verschillende toetsmomenten, vergelijking van verschillende groepen op dezelfde toets In QMP kan ook gerapporteerd worden op topic-niveau. In een toets kunnen vragen over verschillende onderwerpen aan bod komen. Per onderwerp kan gerapporteerd worden over de resultaten.

Rapportages Toetsmodule Blackboard 7 Question Mark Perception Over de kwaliteit van de toetsen en toetsitems: per toetsitem: antwoordfrequentie Enkele statistische gegevens per toets Vraagstatistieken rapport: uitgebreide statistische analyse per item, per toets en per topic Itemanalyserapport: uitgebreide statistische analyse per item, per toets en per topic uitgaande van klassieke testtheorie Enquêterapport/ grafische weergave van antwoordfrequentie. Grafische weergave rapportages Export van resultaten mogelijk in csv-bestand. 2 verschillende rapportages t.b.v. export: Export naar Ascii Export naar Excel Zelf deels bepalen welke gegevens geëxporteerd worden.

Toetsorganisatie Toetsmodule Blackboard 7 Question Mark Perception Laagdrempelig gebruik Eenvoudig te gebruiken door wizards Uitgebreide mappenstructuur voor itembank en toetsenbank, metadatastructuur Autonomie per docent Samenwerking tussen docenten, hergebruik van items Docent beheert toetstoegang autonoom, nauwelijks rollen met verschillende rechten. Uitgebreidere organisatie met verschillende rollen en rechten Workflow Status toetsitems Centraal beheerder van toetstoegang en autorisatie Informele toetsorganisatie Formele toetsorganisatie: omgaan met mappenstructuur, procedures en rollen Mogelijkheden tot integratie leeromgeving met andere systemen, bv. schooladministratie Mogelijkheden tot integratie met andere systemen, bv. schooladministratie

Conclusie Toetsmodule Blackboard 7 Question Mark Perception Beperkter aantal vraagsoorten en multimedia gebruik Uitgebreider aantal vraagsoorten en multimedia gebruik Geen Content Management van Toetsitems (alleen binnen 1 cursus, binnen 1 toets) Content management van toetsitems Geen ‘secured’ toetsen van toetsen Meerdere mogelijkheden voor ‘Secured’ toetsen Beperkt rapportage-instrument Uitgebreide standaard rapportagemogelijkheden Aanpasbare rapportages Maatwerk Geen toetsorganisatie nodig Toetsorganisatie nodig Geen standaardformaat voor import en export van vragen Gestandaardiseerd formaat voor import en export De verschillen in vraagsoorten en toetswijze zullen ws. In de loop van de tijd steeds kleiner worden. Dat is niet de meerwaarde van QMP op lange termijn. De ingewikkeldere toetsorganisatie die bij QMP nodig is, werpt vaak drempels op, als het alleen maar gaat om flitsende vraagsoorten en multimedia. Die ingewikkeldere organisatie wordt met name gerechtvaardigd wanneer men herbruikbaarheid van toetsitems (en dus content management van toetsitems) hoog in het vaandel heeft staan of wil werken aan de kwaliteit van toetsvragen en toetsen of toetsen voor een cijfer digitaal wil afnemen. (Blackboard is hiervoor niet geschikt).

Mate van implementatie Model van Nolan Mate van implementatie Integratie School-breed Pioniers Horizontaal tijd, verticaal mate van implementatie. Eerste lijn is de eerste implementatiecyclus van pioniers tot iets van bovenaf planmatig, schoolbreed wordt geïmplementeerd. Dit is beperkt gebruik van van theorie van Nolan. Nolan had in zijn eerste boek slechts 2 cycli. In zijn tweede boek heeft hij bijgesteld naar 3 cycli. Cyclus van integratie is toegevoegd. Dan kan integratie zijn van meerdere applicaties, bv. Schooladministratie-toetsen-leeromgeving, maar ook integratie tussen voorgezset onderwijs-beroepsonderwijs-hoger onderwijs. Gegeven is dat de gewone gebruiker niet verder dan 1 cyclus vooruitkijkt. Tussen elke fase kunnen gebruikers een terugval ervaren. Bv. De pioniers worden beperkt in hun vrijheden, door coordinatie en afstemming. Het is de kunst van de implementator het gevoel beknpt te worden voor de gebruikers te minimaliseren. tijd

Model van Nolan voor digitaal toetsen Pioniers Docentniveau Verkennen van digitale toetsen maken Leren omgaan met digitale toetsvragen Schoolbreed Samenwerken tussen docenten aan kwalitatief goede toetsvragen. Herbruikbaarheid Content management: 1 vraag op 1 plaats in de database Rapportages op kwaliteit Pakket van wensen en eisen t.a.v. programmatuur: Vraagsoorten Gebruik multimedia Integratie Integratie tussen systemen, bv. Elektronische leeromgeving Studentadministratiesysteem Afstemming tussen verschillende scholen Eerste doel is de gebruikers over de drempel halen met laagdrempelige mogelijkheden. Gericht op het verkennen van functionaliteit. Vaak werkt ieder met zijn eigen (vakspecifieke) speeltje: autonomie per docent. Er is weinig uitwisseling van data tussen docenten en ieder heeft eigen look& feel. Doel is digitaal toetsen onder docenten bekend te maken en algemeen te laten gebruiken: volume dus. Dan ontstaan er nieuwe behoeftes (zie bv. Dia implementatiecyclus) Voldoen aan die behoeftes betekent vaak dat een deel van de pioniers het eigen speeltje met alle mogelijkheden moeten inleveren. Iedere docent levert vaak de autonomie in. De laagdrempeligheid verdwijnt. Daartegenover staat dat men middelen krijgt om te voldoen aan de eisen en wensen die je als school en gebruikers in deze zou moeten hebben. Integratie is een antwoord op andere nieuwe behoeftes en eisen, bijvoorbeeld: gebruikers die in het schooladministratiesysteem/leeromgeving worden ingeschreven, worden direct ook bekend in toetssysteem: centraal gebruikersbeheer resultaten uit de toetsomgeving worden direct bekend in de leeromgeving/ in het schooladministratiesysteem Gebruik van gelegitimeerde (bv door CITO ontwikkelde) toetsenbanken ………………………….

Mate van implementatie Model van Nolan Mate van implementatie QMP Toets-module Bb 7 QMP De toetsmodule in Blackboard 6 kan een middel zijn om de eerste fase van digitaal toetsen in te gaan, zonder al te veel extra kosten. De laagdrempeligheid kan leiden tot enthousiasme bij de docenten en snel resultaat. De toetsmodule van Blackboard is niet voldoende om bijvoorbeeld: de grenzen tussen de verschillende vakken/docenten te doorbreken Prestaties van studenten over alle vakken/thema’s inzichtelijk te maken Vergelijking van groepen/cohorten mogelijk te maken te werken aan herbruikbaarheid voor toetsvragen en toetsitems te werken aan de kwaliteit van toetsitems en toetsen aan de hand van statistische rapportages Vragen gemaakt voor Bb zijn ws. in de toekomst te converteren naar QMP. Als je kiest voor QMP in de eerste cyclus, moet je goed weten waarom je dat doet….. De eisen die QMP aan je toetsorganisatie stelt kunnen naar docenten toe drempels opwerpen. Het is de vraag of een school op korte termijn (1-2 jaar) van cyclus 1 naar 2 gaat……. Anderzijds tussen cyclus 1 en 2 overstappen van de toetsmodule Bb naar QMP leidt tot het gevoel van dubbel werk en wellicht tot het gevoel van terugval en zo ook tot drempels bij het implementeren. tijd

Overbruggen van de afstand Leen van Kaam, Stoas Informatisering

Doel van de brug Bb-QMP Eén keer inloggen; Toetsen is onderdeel van het leren; Gebruikersgemak; Voorkomen van dubbel beheer, met name op gebied van gebruikersbeheer en toekennen van rechten.

Waar vind je de brug? Docent: Tools voor het beheren van toetsen en gebruikers in QMP Control Panel: voor het toevoegen van een toets Student: Content Area’s: als diagnostische toets of adaptief leerprogramma Tools: als ‘formele’ toets

Demonstratie Docent Mogelijkheden van de docent: Overzetten van gebruikers en groepen van een Bb-cursus naar QMP; Plaats en tijd onafhankelijk beheren van toetsvragen, toetsen, gebruikers in QMP; Toevoegen van een diagnostische toets aan een cursus; Toevoegen van een ‘formele’toets. Toetsresultaten in ‘online Gradebook’

Demonstratie Student Mogelijkheden van de student: Maken van een diagnostische toets; Bekijken van een rapportage op toetsresultaten; Resultaten in ‘My grades’ Maken van een ‘formele toets’

DALI

Wat is DALI? Diagnostic Assessment Learning Interface DALI is een omgeving voor Questionmark Perception DALI geeft inzicht in de individuele prestaties van uw deelnemers op de verschillende onderwerpen of competenties

Waarom DALI? Oefenen met vragen = leren. DALI biedt een eenvoudig te gebruiken competentie management tool Zelfstandig en vraaggestuurd leren

DALI Interface De DALI Interface bestaat uit 4 onderdelen Menu Bevat de Opties en Verander scorebanden menu’s. Deze bevat informatie over de verschillende topics of competenties. Ook kunnen eigen scorebanden worden ingesteld.

DALI Interface Deelnemers Bevat een lijst van alle deelnemers die de betreffende coach mag bekijken. Dit is dus alleen zichtbaar voor coaches.

DALI Interface Topics Bevat een lijst van topics en subtopics die door de deelnemer zijn afgenomen. Dit is zowel voor de coach als voor de deelnemer zichtbaar.

DALI Interface Options Bevat Topic feedback, Statistieken en leerdoelen betreffende het geselecteerde topic.

DALI Overzichten Laatste topic feedback Het opgelichte topic geeft de laatst verkregen feedback weer.

DALI Overzichten Statistics Geeft de resultaten weer van het betreffende onderwerp

DALI Overzichten Leerdoelen Hier worden de doelstellingen van het betreffende onderwerp weergegeven.

DALI Overzichten Scorebanden veranderen De topics worden in een bepaalde kleur weergegeven om de prestaties van de deelnemer weer te geven. Dit geeft een simpele grafische weergave welke onderdelen goed gaan en welke minder goed. Deelnemers en coaches kunnen zelf de scorebanden aanpassen.

DALI als deelnemer Deelnemers gaan naar DALI via de perception.dll

DALI als deelnemer Deelnemer heeft een ‘quiz’ gemaakt Deelnemer definieert eigen scoreband Gekleurde mappen geeft stand van zaken weer per leerdoel.

DALI als deelnemer Deelnemer kan de resultaten bekijken in DALI en eventueel nog eens oefenen. Deelnemer dubbelklikt op het topic dat geoefend moet worden. Hierdoor wordt een ‘quiz’ aangemaakt en opgestart. Deze quiz wordt weer verwijderd bij het afsluiten.

DALI als coach Inloggen in DALI vanuit de Enterprise Manager

DALI als coach Coaches zien een lijst van deelnemers, gerangschikt in groepen. Kunnen overzicht per deelnemer krijgen Zij zien alleen die deelnemers waar ze rechten voor hebben.

DALI als coach

DALI als coach

Vragen?

Antwoordfrequenties

Vergelijking van groepen

Kwalificatiestructuur: globaal

Kwalificatiestructuur: uitgebreid