Het online opzetten, afnemen, beoordelen en verwerken van toetsen

Presentatie over: "Het online opzetten, afnemen, beoordelen en verwerken van toetsen"— Transcript van de presentatie:

1 Het online opzetten, afnemen, beoordelen en verwerken van toetsen
Toetsspiegel.nl Het online opzetten, afnemen, beoordelen en verwerken van toetsen

2 Toetsspiegel.nl Inleiding Doel Soorten vragen
Multiple evaluation vragen Beveiliging Conclusies / Aanbevelingen Vragen

3 Inleiding Aanleiding tot opdracht Opdracht
opdracht toetsdeskundig Fontys: Dr. Ir. P. Holmes Opdracht online webapplicatie Door de HBOspiegel in contact gekomen met toetsdeskundige Zelf afgestudeerd met onderwerp ME Dit was op papier wat 2 keuzes tot beperking heeft Dus Opdracht op een online webapplicatie te maken met 2 of meer ME keuzes En andere vragen

4 Snel en eenvoudig meten wat de cursist weet
Doel toetsspiegel Snel en eenvoudig meten wat de cursist weet - Methode zekerheid aangeven , cursist geeft zelf aan wat hij wel en niet weet SNEL: omdat resultaten direct beschikbaar EENVOUDIG: je maakt een toets, neemt af

5 Soorten vragen Open Ja / nee Numeriek Multiple choice
Multiple evaluation Open met tekst een antwoord gegeven nadeel: zelf nakijken Ja/nee een antwoord goed MC meerdere keuzes, een antwoord goed ME meerdere keuzes, een antwoord goed en per antwoordkeuze ook aangegeven wat je weet. NUM antwoord is een getal antwoord kan 3 zijn, maar ook tussen 2 en 4

6 Multiple evaluation

7 Multiple evaluation

8 Multiple evaluation

9 Multiple evaluation Wat zijn multiple evaluation vragen?
cursist geeft aan hoe zeker hij van zijn antwoord is hierdoor geeft de cursist zelf aan hoeveel hij weet met weinig vragen een goed beeld van zijn kennis Verschil met multiple choice leergedrag toetsaanpak leergedrag: bij MC is ‘oppervlakkig leren’ de optimale strategie (overal wat van af weten); bij ME krijg je de beste resultaten als je (delen van) de stof goed beheerst (en dus met zekerheid kunt beantwoorden), en verder heel goed weet wat je niet weet (en dus ook niet moet gokken!). toetsaanpak: bij MC werkt gokken meestal in je voordeel (bluffers scoren hoger); bij ME moet je nooit gokken, want dat wordt flink afgestraft! De hoogste score krijg je bij ME als je realistisch bent; je moet je kennis niet overschatten, maar ook niet onderschatten.

10 Multiple evaluation Aangeven zekerheid Voorbeeld 1 Voorbeeld 2
Vraag is dus: Hoe combineer ik het antwoord en de zekerheid van het antwoord naar een beoordeling (=punt 1..10) Voorbeeld 3

11 Multiple evaluation Score berekening ME bepaling in 2 stappen
2: score omzetten in punt Legenda s score per schuifbalk n aantal schuifbalken v waarde van schuifbalk t tolerantie

12 Multiple evaluation Tolerantie Tolerantie tabel n=2 n=3 n=4 n=5 T=3
Soepel 0.0804 0.0134 0.0041 0.0016 T=4 Streng 0.0362 0.0043 0.0010 0.0003 Tolerantie: mate waarin je gestraft wordt voor een fout antwoord Legenda t Tolerantie n aantal schuifbalken

13 Multiple evaluation Originele grafiek Horizontaal (score)
Verticaal (cijfer) ME bepaling in 2 stappen 1: score berekening 2: score omzetten in punt Zekerheid laten zien beloning, onzeker bestraf

14 Multiple evaluation ME = aangegeven score (5) Mc = schakel (2,5)
M1 = maximum (10) S0 = minimum cijfer (1) S1 = maximum cijfer (10) Sc = schakel (5,5)

15 Multiple evaluation Geoptimaliseerde grafiek
Uit toetstpraktijk Paul Holmes blijkt dat het beter kan: Score eerlijker in een cijfer uit te drukken 3 vlak en 6 stijl

16 Multiple evaluation Origineel en geoptimaliseerd Weet van je weet
Neutraal laten eerst en nu. Nu lager punt voor weet niet en hoger punt voor weet zeker 3 en 6

17 Multiple evaluation Evaluatie Terugkoppeling naar cursist
realisme Terugkoppeling examinator totale realisme r.i.t. r.i.r. interactief vraag mee laten tellen of laten vervallen r.i.t.: "correlatie item-test", d.w.z. tussen vraagscore en overall toetsscores. r.i.r.: "correlatie item-rest", d.w.z. tussen vraagscore en totaalscore voor alle overige restscores.

18 Multiple evaluation Evaluatie (realisme < 0.5)
toe1 = "OVERSCHATTING" (realisme > 0.5 en realisme < 0.8) toe1 = "Overschatting" (realisme >= 0.9 en realisme < 1.1) toe1 = "Realistisch" (realisme > 1.1 and realisme < 1.25) toe1 = "Vrij realistisch" (realisme > 1.25 and realisme < 1.5) toe1 = "Onderschatting" ANDERS toe1 = "ONDERSCHATTING"

19 Beveiliging Webapplicatie Database account Gebruikers account
Tijdelijk account Database account: -- voordelen - bepaalde informatie kan niet aan de gebruiker worden getoond -- nadelen - user/pwd in ieder request Gebruikers account - flexibel - een programmeer foutje en gebruiker heeft toegang Tijdelijk account -- waarneer deze wordt aangemaakt, wordt een code gegenereerd. Deze code komt in een tabel waaraan het nummer van de cursist ziet. Hierdoor weet je met welke cursists je te maken hebt en aan welke toets hij deelneemt

20 Beveiliging Fraude Afkijken Chatten Opzoeken informatie op internet
willekeurige volgorde Chatten niet te voorkomen met de webapplicatie Opzoeken informatie op internet gedeeltelijk te voorkomen Afkijken - willekeurige volgorde Chatten - kan niet Opzoeken

21 Conclusies / aanbevelingen
Beveiliging oefenen certificerend Oefenen - ja Toetsen evalueren - ja Certificerend - nee

22 Conclusies / aanbevelingen
Mogelijke uitbreidingen / verbeteringen toetslokaal monitoren invulhulp trefwoorden in open vragen uitbreiding beoordeel en verwerk mogelijkheden koppeling naar leerlingenadministratie Toetslokaal Monitoren Invulhulp trefwoorden in open vragen uitbreiding beoordeel en verwerk mogelijkheden Meerdere antwoorden goed bij multiple choice Numerieke vragen meerdere gebieden goed Handmatig overschrijven automatische scores

23 Conclusies / aanbevelingen
Implementatie Stap 1 gebruik door examinatoren Stap 2 gebruik door cursisten met oefentoetsen Stap 3 gebruik door cursisten met certificerende toetsen

24 Vragen