Het online opzetten, afnemen, beoordelen en verwerken van toetsen Toetsspiegel.nl Het online opzetten, afnemen, beoordelen en verwerken van toetsen

Toetsspiegel.nl Inleiding Doel Soorten vragen Multiple evaluation vragen Beveiliging Conclusies / Aanbevelingen Vragen

Inleiding Aanleiding tot opdracht Opdracht opdracht toetsdeskundig Fontys: Dr. Ir. P. Holmes Opdracht online webapplicatie Door de HBOspiegel in contact gekomen met toetsdeskundige Zelf afgestudeerd met onderwerp ME Dit was op papier wat 2 keuzes tot beperking heeft Dus Opdracht op een online webapplicatie te maken met 2 of meer ME keuzes En andere vragen

Snel en eenvoudig meten wat de cursist weet Doel toetsspiegel Snel en eenvoudig meten wat de cursist weet - Methode zekerheid aangeven , cursist geeft zelf aan wat hij wel en niet weet SNEL: omdat resultaten direct beschikbaar EENVOUDIG: je maakt een toets, neemt af

Soorten vragen Open Ja / nee Numeriek Multiple choice Multiple evaluation Open met tekst een antwoord gegeven nadeel: zelf nakijken Ja/nee een antwoord goed MC meerdere keuzes, een antwoord goed ME meerdere keuzes, een antwoord goed en per antwoordkeuze ook aangegeven wat je weet. NUM antwoord is een getal antwoord kan 3 zijn, maar ook tussen 2 en 4

Multiple evaluation

Multiple evaluation

Multiple evaluation

Multiple evaluation Wat zijn multiple evaluation vragen? cursist geeft aan hoe zeker hij van zijn antwoord is hierdoor geeft de cursist zelf aan hoeveel hij weet met weinig vragen een goed beeld van zijn kennis Verschil met multiple choice leergedrag toetsaanpak leergedrag: bij MC is ‘oppervlakkig leren’ de optimale strategie (overal wat van af weten); bij ME krijg je de beste resultaten als je (delen van) de stof goed beheerst (en dus met zekerheid kunt beantwoorden), en verder heel goed weet wat je niet weet (en dus ook niet moet gokken!). toetsaanpak: bij MC werkt gokken meestal in je voordeel (bluffers scoren hoger); bij ME moet je nooit gokken, want dat wordt flink afgestraft! De hoogste score krijg je bij ME als je realistisch bent; je moet je kennis niet overschatten, maar ook niet onderschatten.

Multiple evaluation Aangeven zekerheid Voorbeeld 1 Voorbeeld 2 Vraag is dus: Hoe combineer ik het antwoord en de zekerheid van het antwoord naar een beoordeling (=punt 1..10) Voorbeeld 3

Multiple evaluation Score berekening ME bepaling in 2 stappen 2: score omzetten in punt Legenda s score per schuifbalk n aantal schuifbalken v waarde van schuifbalk t tolerantie

Multiple evaluation Tolerantie Tolerantie tabel n=2 n=3 n=4 n=5 T=3 Soepel 0.0804 0.0134 0.0041 0.0016 T=4 Streng 0.0362 0.0043 0.0010 0.0003 Tolerantie: mate waarin je gestraft wordt voor een fout antwoord Legenda t Tolerantie n aantal schuifbalken

Multiple evaluation Originele grafiek Horizontaal (score) Verticaal (cijfer) ME bepaling in 2 stappen 1: score berekening 2: score omzetten in punt Zekerheid laten zien beloning, onzeker bestraf

Multiple evaluation ME = aangegeven score (5) Mc = schakel (2,5) M1 = maximum (10) S0 = minimum cijfer (1) S1 = maximum cijfer (10) Sc = schakel (5,5)

Multiple evaluation Geoptimaliseerde grafiek Uit toetstpraktijk Paul Holmes blijkt dat het beter kan: Score eerlijker in een cijfer uit te drukken 3 vlak en 6 stijl

Multiple evaluation Origineel en geoptimaliseerd Weet van je weet Neutraal laten eerst en nu. Nu lager punt voor weet niet en hoger punt voor weet zeker 3 en 6

Multiple evaluation Evaluatie Terugkoppeling naar cursist realisme Terugkoppeling examinator totale realisme r.i.t. r.i.r. interactief vraag mee laten tellen of laten vervallen r.i.t.: "correlatie item-test", d.w.z. tussen vraagscore en overall toetsscores. r.i.r.: "correlatie item-rest", d.w.z. tussen vraagscore en totaalscore voor alle overige restscores.

Multiple evaluation Evaluatie (realisme < 0.5) toe1 = "OVERSCHATTING" (realisme > 0.5 en realisme < 0.8) toe1 = "Overschatting" (realisme >= 0.9 en realisme < 1.1) toe1 = "Realistisch" (realisme > 1.1 and realisme < 1.25) toe1 = "Vrij realistisch" (realisme > 1.25 and realisme < 1.5) toe1 = "Onderschatting" ANDERS toe1 = "ONDERSCHATTING"

Beveiliging Webapplicatie Database account Gebruikers account Tijdelijk account Database account: -- voordelen - bepaalde informatie kan niet aan de gebruiker worden getoond -- nadelen - user/pwd in ieder request Gebruikers account - flexibel - een programmeer foutje en gebruiker heeft toegang Tijdelijk account -- waarneer deze wordt aangemaakt, wordt een code gegenereerd. Deze code komt in een tabel waaraan het nummer van de cursist ziet. Hierdoor weet je met welke cursists je te maken hebt en aan welke toets hij deelneemt

Beveiliging Fraude Afkijken Chatten Opzoeken informatie op internet willekeurige volgorde Chatten niet te voorkomen met de webapplicatie Opzoeken informatie op internet gedeeltelijk te voorkomen Afkijken - willekeurige volgorde Chatten - kan niet Opzoeken

Conclusies / aanbevelingen Beveiliging oefenen certificerend Oefenen - ja Toetsen evalueren - ja Certificerend - nee

Conclusies / aanbevelingen Mogelijke uitbreidingen / verbeteringen toetslokaal monitoren invulhulp trefwoorden in open vragen uitbreiding beoordeel en verwerk mogelijkheden koppeling naar leerlingenadministratie Toetslokaal Monitoren Invulhulp trefwoorden in open vragen uitbreiding beoordeel en verwerk mogelijkheden Meerdere antwoorden goed bij multiple choice Numerieke vragen meerdere gebieden goed Handmatig overschrijven automatische scores

Conclusies / aanbevelingen Implementatie Stap 1 gebruik door examinatoren Stap 2 gebruik door cursisten met oefentoetsen Stap 3 gebruik door cursisten met certificerende toetsen

Vragen