Blackboard Digitaal toetsen

Introductie Herm Joosten Doel: intervisie, inspiratie 1. Blackboard (testing) functionaliteit Je vaardigheden Niveaus van BB vaardigheid Upgraden van je vaardigheid 2. Digitaal toetsen Voor en nadelen, toetsprogrammas, soorten toetsen, soorten vragen 3.Digitale leeromgeving Leerdoelen, en de mogelijkheid die met BB in verschillende werkvormen te realiseren. Voorbeelden.

1. Blackboard

Motieven om BB te gebruiken Werkdruk Student/staff ratio, onderwijslast Efficiency in communicatie, toetsen etc Effectiviteit? Toegevoegde waarde van BB, vergeleken met traditionele onderwijsvormen?

Leren via Blackboard Studenten leren via Interactie met de inhoud BB Principle 1: Good Practice Encourages Active Learning Interactie met de docent BB Principle 2: Good Practice Encourages Student-Faculty Contact BB Principle 3: Good Practice Gives Prompt Feedback Interactie met andere studenten BB Principle 4: Good Practice Develops Reciprocity and Cooperation Among Students Blackboard kan al die interacties bevorderen

Blackboard (testing) features Assignments: testing student work, including online activities Communication: email, threaded discussion, real-time chat, group pages, Links: by the instructor or institution Student tools: grades, drop box, Blogs (Course, group or individual) Test Manager: administer quizzes, practice tests, surveys and examinations Gradebook - single location for all grades with some sorting capability

Jouw Blackboard vaardigheden? Posting an announcement Sending email within the system to one student or all students Establishing discussion forums Posting responses or moderating discussion forums Setting up groups Uploading content Managing students' assignments Designing exams Developing question pools Grading assignments and quiz submissions Resetting student exams Setting points for assignments and quizzes Sorting and filtering the course gradebook Enabling various settings in your course Tracking student progress Making your course available or unavailable Copying select content from course to course Archiving your course

Niveaus van Blackboard gebruik 1. opslagplaats van cursusinformatie 2. tool om produktiviteit te verhogen 3. communicatiemedium 4. aanvullend tov colleges en werkgroepen (dwz. online activiteiten) 5. integratie met colleges en werkgroepen 6. ontwikkelen van dynamic knowledge base obv werk studenten/docenten 7. virtuele cursus.

Gepercipieerde Voordelen Meestal worden course information, announcements en communicatie als eerste gebruikt door docenten. Het eerste voordeel dat zij zien is een efficientere organisatie en communicatie Studenten zien vaak online discussie als een eerste voordeel

Upgrade je vaardigheden! http://www.palomar.edu/ATRC/Training/Bb/default.htm https://blackboard.shsu.edu/webapps/lobj-expo-bb_bb60/user/8FA461E73793BCDB/Blackboard_Tutorials/Home

2. Digitaal toetsen

Digitaal toetsen Het gebruik van computers om de voortgang van studenten te meten. Op papier, door machine gelezen of op de computer Stand-alone, netwerk of web-based Met of zonder toezicht Vooral om kennis, begrip en toepassing te toetsen Minder geschikt voor analyse, synthese, evaluatie Makkelijk beoordelen en voortgang beheren Diagnostisch, formatief, summatief

Soorten toetsen Diagnostische toetsen (in orientatiefase) Om te meten welke kennis nog ontbreekt Bv diagnostische toets, instaptoets, voorkennistoets Formatieve toetsen (in oefenfase) Om kennis op te doen / te leren Om te motiveren Om vooruitgang te meten Niet perse onder gecontroleerde condities Bv zelftoets Vooral in orientatiefase en oefenfase Summatieve toetsen (in cijferfase) Worden beoordeeld Vinden plaats onder gecontroleerde condities Moeten betrouwbaar en valide zijn Bv opdrachten, overhoringen, proefwerken, tentamens, (praktijk)examens. Vooral in certificeringsfase

Soorten toetsen Zelf assessment (student door zichzelf) Kan, via tests op BB, of via tests op internet (bv psych tests of via uitgever) mail results naar docent Peer assessment (student door andere student) Kan, via peer assessment Student assessment (student door docent) Kan, via tests Docent assessment (docent door student) Kan, via peer assessment, survey of test

Voordelen digitaal toetsen Meer mogelijkheden om toets te ontwerpen Bestaande databases met vragen Zelf database maken Thuis of op werk Gebruik multimedia (video, geluid) bij toets Varierende volgorde van vragen (minder spieken) Uit database diagnostische of oefentoets maken Meer mogelijkheden voor de student om toets te maken Qua tijdstip Qua tempo Qua lokatie Qua volgorde Mogelijkheid om hints, tips, verdiepende vragen aan te bieden Student krijgt directe beoordeling en feedback (motiveert)

Voordelen digitaal toetsen Beheer van toetsen makkelijker Alle toetsen worden digitaal bewaard Databases met vragen kunnen uitgewisseld worden Beoordelen van de toets makkelijker Deels automatisch nakijken Bij gesloten vragen betrouwbaar nagekeken Deels automatisch cijfers verwerkt in gradebook Resultaten in een oogopslag Distributie van toetsen onder docenten gemakkelijker Invoeren cijfers door team docenten gemakkelijker Cijfers kunnen eventueel per groep ingevoerd worden Toetsanalyse is makkelijker Statistische tools in BB Meer sturingsinformatie voor docenten en studenten tijdens het leerproces.

Nadelen digitaal toetsen Het identificatieprobleem: is de persoon die claimt de toets gemaakt te hebben, wel degelijk wie hij beweert te zijn? Het is moeilijker om te checken of studenten niet samenwerken. Bij open vragen of essayvragen is betrouwbare correctie door het programma zelf moeilijk. De cesuur moet op voorhand worden vastgesteld en is daarna moeilijker aan te passen dan bij klassieke toetsen. ICT proficiency van student (meestal geen probleem) ICT proficiency van docent (soms wel een probleem)

Nadelen digitaal toetsen De aanmaak en aanpassing van een databank kost veel tijd. Zeker omdat klassieke toetsvragen niet altijd zo maar kunnen overgebracht worden. Het systeem moet afdoende beveiligd zijn tegen misbruik. Indien er multimedia gebruikt wordt, moeten pc’s dit ondersteunen. Spieken van beeldscherm moet onmogelijk zijn

Digitaal toetsen is in het algemeen minder geschikt voor Mondelinge vaardigheden Presentatie vaardigheden Sociale vaardigheden niet-IT practische vaardigheden (wellicht in de toekomst meer) Hogere orde-vaardigheden (tenzij je erg creatief bent) (althans: die kun je niet automatisch laten nakijken)

Toetsprogramma’s Vrijwel alle digitale toetsprogramma’s zijn als volgt opgebouwd: 1. Een module om vragen te ontwerpen (docent) 2. Een module om toetsen af te nemen (student) 3. Een module om toetsresultaten te bekijken en te analyseren (docent)

Ontwerp vragen Een voor een invoeren in BB, http://tac.nvcc.edu/blackboard/faculty/assessment/tests.htm#manual  Importeren van een database van de uitgever. Maken middels Blackboard's required format and upload questions. Maken in word en daarna een aparte test generator gebruiken die de test formatteert voor import in BB.

Soorten vragen Multiple Choice Multiple answer True/False, Een goed antwoord Multiple answer Meer goede antwoorden True/False, Goed/fout, eens/oneens, ja/nee Opinion scale/Likert Eens/oneens Ordering Zet antwoorden in goede volgorde Matching Match de items in lijst A met de items in lijst B.

Soorten vragen Fill in the Blank De president van de VS heet … Calculate (with variable values) and fill in the blank 2x6= … Random Block Neemt een willekeurige set vragen uit een question pool. From a question pool Kies vragen handmatig Essay & Short Answer Langere geschreven antwoorden File response Upload een word of excel file als reactie op opdracht

Test Settings Test Information Test availability Name, description, external window Test availability Link visible, announcement Allow multiple attempts Enabled, disabled Force completion Set time limit, force c., display until, password Test feedback Score only, detailed results, correct answers, feedback Presentation All at once, backtracking, randomize

Nog niet mogelijk? Computer adaptive testing De computer past de vragen (het niveau en de volgorde) aan aan het niveau van de student. Zo krijg je niet teveel makkelijke of moeilijke vragen

Ontmoedigen van fraude Toets onder toezicht of Force completion of the test on the first attempt. Display questions one at a time and prohibit backtracking. Set time limit Randomize the order of questions. Use Random Blocks

Hoe maak je een test in BB? Volgende presentatie http://celt.cui.edu/CELT/BB_Quiz_Survey/BB_quiz_survey.htm

3. Digitale leeromgeving

Digitale leeromgeving Combineren van Leerdoelen Werkvormen Blackboard functionaliteit en beoordelen Voorbeelden.

Doelen van leren kennis begrip toepassing analyse synthese evaluatie vaardigheden (practisch, sociaal etc) attitudes (professioneel, academisch etc)

Werkvormen 1 Doceervorm Demonstratievorm Spreekbeurt, gastspreker Videoclip, audioclip Demonstratievorm videoclip Spreekbeurt, gastspreker Film kijken, teksten lezen, geluidsfragmenten beluisteren Youtube, uitzendinggemist, websites Zelfstudie Literatuurstudie: referenties, links opgeven (doi)

Werkvormen 2 Onderwijsleergesprek Vraaggesprek (vragen van studenten) Zou kunnen: video met “blanks” Vraaggesprek (vragen van studenten) Via chat, forums, met medestudenten of docent Interview brainstorming Kan, via forum of chat Vragen beantwoorden Kan uitstekend, Via assessment Associatieoefening Kan, via groepsfuncties of forum Kettingreacties (via stellingen) Kan, via forum of peer assessment of chat Schrijfronde (via stellingen) Kan, via forum of peer assessment

Werkvormen 3 Geleide discussie, Paneldiscussie, Forumdiscussie, Nabespreking Kan, via forum of peer assessment, assignments Formeel debat, Kortgeding Kan, via forum, chat Rollenspel, Simulatiespel Kan, via forum Oefeningen maken Kan, via assignments Oefeningen konstrueren en maken Kan, via groepsfuncties Schrijftaken

Samengevat: overwegingen bij toetsen in BB Bedenk een digitale toets voor jouw vak Type: Diagnostisch, formatief of summatief? Doel: Kennis, begrip, toepassing, analyse, synthese, evaluatie? Werkvorm? Individueel of groep? Self, peer or teacher assessed? Automatisch nakijken of niet? BB functionaliteit: test, survey, discussion board, peer assesment, blog, media. Multimedia? Embed of link.

Suggesties voor toetsen

Suggesties voor gebruik BB aan het begin van de cursus Biedt studenten de mogelijkheid om te oefenen met tests Biedt ze een voorbeeldtest met meerdere pogingen. Survey om motivatie voor cursus te meten En bespreek die motivatie in het college Survey om hun beginkennis te toetsen En laat de studenten weten of hun kennis voldoende is

Suggesties voor gebruik BB aan het begin van de cursus Open twee discussion forums Vragen over de inhoud Andere studenten en docent antwoorden Vragen over de organisatie

Suggesties voor gebruik BB tijdens de cursus Exam om te toetsen of studenten het college voorbereid hebben Dag voor het college Exam om te toetsen wat studenten onthouden hebben van je college Dag na het college Survey om feedback te vergaren over de colleges (moeilijkheidsgraad, snelheid) Levert info op om cursus aan te passen

Suggesties voor gebruik BB tijdens de cursus Online debat Docent post een uitdagende stelling Studenten worden onderverdeeld in drie groepen: pro, contra en jury Pro en contra bereiden hun argumenten voor en discussieren online (chat, discussieforum) De jury beoordeelt de discussie en roept een winnaar uit in een presentatie tijdens het college/de werkgroep

Suggesties voor gebruik BB tijdens de cursus Real-time survey Er zijn nieuwe tools om tijdens colleges surveys of tests te doen met behulp van SMS

Suggesties voor gebruik BB tijdens de cursus Gebruik assignments met externe media(video, audio, tekst, artikelen) Maak een link naar de video clip, audio clip of tekst (bv. krantenartikel) (wet. artikelen via doi) of embed. Combineer dat met een opdracht Er zijn veel bronnen voor media (uitgevers, universiteiten, media) Of maak je eigen clips Zijn op elk moment te zien of te beluisteren

Suggesties voor gebruik BB tijdens de cursus Laat studenten individueel of in groepen een blog maken (vergelijk portfolio) van hun vorderingen Laat studenten elkaars werk beoordelen via peer assignments

Suggesties voor gebruik BB na afloop van de cursus Gebruik survey of test om de cursus te evalueren Laat studenten onderdelen van de cursus beoordelen in een mc-test Laat studenten drie plus en drie minpunten van de cursus noemen in een essay test

Einde Nog meer voorbeelden in de bijlage Dank voor uw aandacht Veel plezier met BB En met de presentaties van Manfred en Paul

Bijlage 1 aanwijzingen voor studenten

Aanwijzingen voor studenten bij het maken van online tests Vooraf: Maak de test pas als je er klaar voor bent. Sluit andere programmas op je pc. Gebruik firefox, of een andere browser als firefox problemen oplevert. Ververs of resize je beeldscherm niet als je begonnen bent aan de test Wacht niet tot het laatste moment voor je de test maakt. Als er dan een probleem is, kan er niks meer aan gedaan worden

Aanwijzingen voor studenten bij het maken van online tests Tijdens de test: Klik maar een keer op de test-link. Als je twee keer klikt denkt BB dat je de test al gedaan hebt (en mag je niet meer) Klik niet op forward en backward in je browser. Klik maar een keer op submit; je krijgt een bevestiging van ontvangst van je test . • Fill-in-the-blank vragen zijn hoofdlettergevoelig. Gebruik alleen kleine letters

Bijlage 2 suggesties voor online toetsen

Suggesties voor toetsen aan het begin van de cursus Associatie test Vraag studenten om hun associaties mbt het onderwerp van je cursus Bijvoorbeeld in het discussion forum Gebruik de info in je college (scroll door de posts)

Suggesties voor toetsen aan het begin van de cursus Test met stellingen Vraag studenten te reageren op stellingen (eens-oneens) Gebruik survey Verzamel de data (statistics) Presenteer de resultaten in je college

Suggesties om te toetsen tijdens de cursus Discussie in forum Eerste post is business case of probleem van docent Studenten posten hun reactie, reflectie of oplossing En reageren op de posts van anderen Reacties worden beoordeeld (of niet)

Suggesties om te toetsen tijdens de cursus Brainstorming in forum Eerste post is business case of probleem van docent Studenten of groepen posten oplossing zonder te reageren op andere posts posts worden beoordeeld (of niet)

Suggesties om te toetsen tijdens de cursus Rollenspel discussie in forum Eerste post is business case of probleem van docent Studenten hebben verschillende rollen (management-werknemer, arts-patient etc) en reageren als zodanig Een groep presenteert een overview van de discussie in het volgende college.

Suggesties om te toetsen tijdens de cursus Online article search Studenten krijgen de opdracht om artikelen te zoeken over een bepaald onderwerp Ze beschrijven hun zoekstrategie en het resultaat Docent verzamelt de informatie En stelt die weer ter beschikking aan de studenten