Ervaringen en ontwikkelingen Utrecht 15 februari 2011

Ervaringen en ontwikkelingen Pretesten –Doelstellingen –Aantallen –Ervaringen Ontwikkelingen –Redactie proces –Rapportages en statistiek

Doelstellingen pre-testen 1.Testen van toetsinfrastructuur op de betrokken instituten 2.Cesuurbepaling van de toets 1.Beoordeling van de kwaliteit van de toetsen en individuele toetsitems

Totaal over vier weken Ruim voldoende materiaal voor analyses Nederlands, Engels, geschiedenis, aardrijkskunde, natuurkunde, biologie en scheikunde

Ervaringen Gebruik van multiple choice werkt goed Ja/nee werkt, vereist echter veel meer vragen Andere typen vragen scoren niet goed, wordt verder bekeken Multimedia wordt afgeraden Niet beveiligd en beveiligd worden getoetst Meer controle nodig op standaarden en “look & feel” Deelnemers gegevens Lettertypen/fonts Figuren Codering vragen Opbouw en omvang vragenblokken

Ervaringen Validiteit Moeilijkheidsgraad Objectiviteit Discriminerend Betrouwbaarheid Maken van items is (te) tijdrovend Hoeveel items zijn nodig? Rapportages zijn (te) tijdrovend Planning aanpassen (van productie rijp maken van toetsen) Checklists samenstellen ten behoeve van redacties, coördinatoren, beheerders, leverancier(s), surveillanten, studenten, enzovoort Surveillanten hebben iets meer begeleiding nodig

Ontwikkelingen Pretesten 2 de graad in februari Pretesten Pabo’s Ervaringen aanvullen en uitwisselen Staande organisatie inrichten Rollen, activiteiten en protocollen beschrijven en overeenkomen Redactieproces beter ondersteunen

Generieke Matrijs Productie Items Productie Items Goedkeuren Items Goedkeuren Items Productie Toetsen Productie Toetsen Goedkeuren Toets(en) Goedkeuren Toets(en) Specifieke Matrijs Afname(s) Beoordeling & Resultaten Beoordeling & Resultaten Rapportages Aanvullen Item kenmerken Nieuwe inzichten

Generieke Matrijs Waarom is Generieke Matrijs zinvol of noodzakelijk? Wie stelt deze matrijs samen? Hoeveel graden van vrijheid zijn gewenst? Welke dimensies moeten gerespecteerd worden? - domeinen en leerdoelen / vak - betrouwbaarheid en validiteit - gewenste moeilijkheidsgraad, objectiviteit en discriminerend vermogen Wie keurt Generieke Matrijs goed voor welke periode?

Goedkeuren Items Goedkeuren Items Waarom is Goedkeuren Items zinvol en noodzakelijk? Wie keur wanneer een Item goed? Hoeveel goedgekeurde Items zijn gewenst? Welke dimensies moeten gerespecteerd worden? - inhoud van vraag - bronnen, domeinen en leerdoelen - betrouwbaarheid en validiteit - moeilijkheidsgraad, objectiviteit, discriminerend vermogen, enzovoort.. Wie accepteert een Item en wat is de (minimale/maximale) periode voor houdbaarheid?

Ontwikkelingen Redactie en goedkeuringsprocessen (enkele functies) –Gelijke vraag detectie –Tele-samenwerking in teams –Vraag gekoppeld aan vraagdoel –Toetsmatrijs samenstellen en bewerken –Toetsmatrijs en automatische voorstellen (genereren) van toetsen, met weging van moeilijkheidsgraden en domeinen –Historie van item –Automatische rapportages –Invoer van multiple choice eenvoudig –Wiskundige (rekenkundige tekens) in standaard editor –Eenvoudige manier van beoordelen en beoordelingen vergelijken

Ontwikkelingen Redactie en goedkeuringsprocessen (enkele functies –Aanpasbaar aan specifieke eisen –Feedback per item –Real-time statistieken over redactie proces en status items –Mogelijkheid om redacteuren vragen te sturen –Intuïtieve schermen