Digitale toetsen op afstand Bregatha de Gooijer

Programma Achtergrond Uitgangspunten Digitale toetsen bij Elektrotechniek Uitbreiding toetsen Eerste ervaringen na uitbreiding En nu verder…

Achtergrond Leerstofcoördinator Engineering (Elektrotechniek en Werktuigbouwkunde) E-learnopleidingen (PBNA overgenomen in 2003) Omzetten leerstof en lesinhoud voor e-learners/maatwerkstudenten

Elektrotechniek: studenten 74 E-learning studenten + 44 contractanten Alleen e-learnvariant als Deeltijd niet mogelijk is Reguliere Deeltijd is voor veel studenten niet haalbaar omdat ze bijv. bij de marine werken, op een booreiland zitten enz.

E-learning Elektrotechniek HOF onderwijs 1 opleiding, meerdere varianten Leren in drie omgevingen Beperkte tijd- en plaatsonafhankelijkheid voor studenten Losse onderwijseenheden mogelijk Varianten: Voltijd, deeltijd en e-learning deeltijd.

Uitgangspunten: leren in drie omgevingen werk Omgeving Digitale omgeving School omgeving Samenhang belangrijk. Digitale leeromgeving is heel belangrijk gezien de doelgroep. Wat op afstand kan, doen we ook op afstand. Op die manier wél aanbod van de school, maar mogelijk om dit plaatsonafhankelijk te volgen.

Digitale toetsing Onderdeel van de digitale leeromgeving is de digitale toetsing. Oorspronkelijke doelen: - stimuleren aandacht voor theorie - directe feedback voor studenten zonder nakijkwerk voor docent. In eerste instantie vooral een middel voor de docent om te kijken of er wel voldoende aandacht aan de theorie besteed was, juist bij vakken (toen nog) die afgesloten werden met een project. Bijkomend voordeel voor de ons en de docenten was dat we op die manier meer inzicht hadden in de student: je kon zien in hoeverre die de stof beheerste. Onze e-learnstudenten liepen niet in de pas met het reguliere onderwijs. Daardoor kwam ingestuurd werk altijd onverwachts en “bovenop” de werklast van de docent. Soms bleef de toets daardoor lang liggen.

Voordelen studenten Minder vaak naar school want de toets kan op afstand gemaakt worden Ze hebben inzicht in hoeverre ze de leerstof beheersen Directe feedback Activerende manier van leren Variatie in de werkvorm Een deel van de voordelen krijg je natuurlijk ook door gewoon een antwoordmodel aan te bieden waardoor de studenten zelf hun tentamen na kunnen kijken. Nadeel: geen intelligente feedback. Als we dat zouden doen: veel zwaardere programma’s, veel meer denkwerk en een veel duurdere toets.

Uitvoering: oefentoetsen - voorbereiding op tentamen - oefenen van onderdelen van de leerstof Oefentoetsen om apart delen uit de leerstof te oefenen, toets als activerende leervorm. Altijd duidelijk maken aan de student wat voor soort toets dit precies is. In het begin oefentoetsen die delen van de stof benadrukten. Studenten waren dan boos omdat ze de oefentoetsen goed konden maken maar de toets niet.

Uitvoering: toetsen Toetsen tellen mee in de beoordeling (vink/percentage cijfer) Grijs gebied tussen formatief en summatief Nadeel: geen zekerheid dat de student de toets zelf maakt. Meer controle: - instellingen bij de toets - reflectie óver de toets - mix aan instrumenten Voordelen (actief leren, versterking theorie want student volgt bij het leren vaak de toetsen, zicht op waar de student staat en studenten hoeven niet naar school te komen) zo groot voor e-learnstudenten dat we toch voor digitale toetsing kiezen. Instellingen bij de toets: random vragen kiezen zodat iedere student een andere toets krijgt, wachtwoord laten opvragen en toets dan pas openstellen, toets maar 1 keer laten maken, tijdslimiet aanbrengen. Kan alleen als toets onderdeel uitmaakt van breder palet. Wij deden vaak: opdracht, digitale toets en reflectie over gemaakte toets opnemen in portfolio. Bij twijfel alsnog oproepen voor gesprek en student bevragen op onderdeel waar twijfel over heerst. Allerlei andere mixen aan beoordelingsinstrumenten zijn natuurlijk ook mogelijk!

Voorbeelden voorbeeld van losse vakken toetsen in blackboard

Voorbeeld

Voorbeeld: EMC verschillende soorten vragen en feedback

Voorbeeld: TMA Andere vraag en let op feedback.

Voorbeeld: ELC1a Verschil oefentoetsen en toetsen

Voorbeeld ELC1a Inhoudelijke feedback.

Achterliggende keuzes Inpassing in de OWE feedback opnemen hoe ziet de feedback eruit wanneer geef je de feedback random vragen soort vragen niveau vragen Voor studenten op afstand is uitgebreide feedback zeer zinvol. Studenten waarderen dit ook erg. Extra begeleiding voor studenten! Maar het is wel veel werk voor de docent. Geef je feedback bij foute antwoorden? En inhoudelijk of verwijs je naar de leerstof? En per antwoord andere feedback? En wanneer geef je de feedback? Denkt de student zelf nog wel na als hij de feedback gelijk kan zien? Soort vragen: heel veel vraagsoorten. Wij maken vooral gebruik van ja/nee en mc, maar ook van open vragen. Er is nog veel meer mogelijk. Net als bij het gewone onderwijs lagen de keuzes bij de docent, e-learnteam heeft adviserende rol.

Uitbreiding Ervaringen waren erg positief Uitbreiding inzetten toetsvragen naar VT en RDT In QMP Studenten, betrokken docenten en het e-learnteam waren enthousiast over de mogelijkheden van digitale toetsen. Kan het breder ingezet worden? Kansen voor de reguliere onderwijs: middel om zelfstudie te bevorderen en hopelijk de rendementen te verbeteren. Als er eenmaal vragen ontwikkeld zijn, scheelt het de docent vooral nakijktijd. Toetsvragen ontwikkelen kost veel tijd en hoe breder we de toetsen zinvol in kunnen zetten, hoe beter! Overstap naar QMP omdat dit systeem door de HAN ondersteund wordt.

Toetssyteem in QMP

Eerste stappen Omzetten (oud) Blackboard materiaal Nieuwe structuur van database ontwerpen Oude vragen in nieuwe structuur passen (op basis van nieuwe curriculum) Per VT/DT/eDT onderwijseenheid toetsen beschikbaar stellen via het internet formatieve toetsen met feedback Stap 1 en 2 zijn uitgevoerd. Bezig met stap 3 en 4. In de eerste OWE 2 nieuwe toetsen afgenomen voor 3 groepen. Steeds samen met een groepje betrokken docenten, die ook naar elkaars vragen kijken. Krijgen hier uren voor. We zetten nu een database op en dat vereist veel meer organisatie en overeenstemming. Zo is er een structuur van de database en hebben we besloten voor bepaalde typen vragen: meerkeuze en ja/nee en allemaal kennisniveau 1 (propedeuse) en ofwel kennis, ofwel toepassingsvragen.

Voorbeelden QMP Voorbeelden in QMP Oefentoets meetnauwkeurigheid

Oefentoets Meetnauwkeurigheid

Voorbeelden feedback

Voorbeelden feedback

Eerste ervaringen Ontwikkelen van digitale toetsvragen wordt lastig gevonden Niet op voorhand duidelijk wat een goede toetsvraag is Niet duidelijk voor docenten wanneer iets een kennis en wanneer iets een toepassingsvraag is Studenten moeten meer informatie krijgen vooral. Zo was de pass/fail grens niet duidelijk Wat voor e-learnstudenten goed werkt, is niet persé een voordeel in de klas Toetsen vooral geschikt voor verbale vorm Stabiliteit voorwaarde Was geen overeenstemming over wanneer een vraag nou precies een toepassingsvraag was en wanneer een kennisvraag. Dit is natuurlijk niet specifiek voor digitale toetsen maar het komt nu naar boven! In de groep wordt wel overeenstemming bereikt. Sommige docenten kiezen voor een training. Eigenlijk een voordeel! e-learnstudenten: random vragen. In de klas was dat juist lastig bij de oefentoets. Als de docent een vraag wilde bespreken, bleken verschillende studenten verschillende vragen te hebben. Verbaal: talig, maar formules lastig en bij het overzetten zijn zelfs afbeeldingen lang niet altijd goed meegekomen. Stabiliteit in de systemen (overgang Bb naar QMP heeft heel veel tijd gekost) stabiliteit in Onderwijs, in betrokken mensen en natuurlijk in het programma zelf. Studenten die een toets maken en dan uit het programma worden gegooid zijn (terecht) boos.

En nu verder… Welke nieuwe toepassingen zijn er mogelijk als we een vragenbank hebben? Kwaliteitsbewaking toetsvragen verbeteren Zijn er toepassingen in de hoofdfase van het onderwijs? Rijker materiaal? Nieuwe toepassingen: van alles mogelijk, van diagnostische toetsen, voorafgaand aan het college wat vragen stellen om de kennis te activeren enz. Toepassingen in de hoofdfase? Digitale toetsing geschikt voor hoger niveau? Mogelijk andere vraagvormen inzetten, bijv. casusachtige vragen inzetten. Kwaliteitsbewaking heel makkelijk door analyse door QMP. Je kunt kijken welke vragen goed “scoren” en slechte vragen nog eens bekijken (vragen die niet onderscheiden of slecht gemaakt worden door goede studenten). Op die manier kan je een betere set vragen krijgen. Denk bij rijker materiaal aan filmpjes/foto’s die je op kunt nemen of aan simulaties. Heel scala aan digitale toetsing aanwezig maar nog niet onderzocht.

Opdrachten Bedenk situaties in je eigen onderwijs waarin je een digitale toets op afstand zou willen inzetten. Hoe zou je dat organiseren? Denk aan inbedding in je onderwijs, ontwikkeling van de toets, instellingen, informeren van studenten…. Maak één vraag voor zo’n toets en ontwikkel ook de feedback hierbij