Toetsen en toetsbeleid Universiteit Maastricht Toetsen en toetsbeleid Lambert Schuwirth

Toetsen en toetsbeleid Universiteit Maastricht overzicht van de presentatie toetsing algemeen lessen uit de literatuur wat betekent dit voor digitaal toetsen? overwegingen bij digitaal toetsen conclusies

Toetsen en toetsbeleid Universiteit Maastricht algemene introductie wat is essentieel? de goede professional

Toetsen en toetsbeleid Universiteit Maastricht wat is een goede professional? goed handschrfit mediakennis reflectief persoon goede attitude weet veel levenservaren goede manager goede teamwerker empathisch persoon communicator vaardigheden goede probleemoplosser

Toetsen en toetsbeleid Universiteit Maastricht eenvoudig he? slaagt competent test zakt incompetent

Toetsen en toetsbeleid Universiteit Maastricht eenvoudig is het niet competent incompetent slaagt zakt

Toetsen en toetsbeleid Universiteit Maastricht twee grote problemen toetsing meet vaker competentie dan performance  er bestaan geen (externe) gouden standaarden 

Toetsen en toetsbeleid Universiteit Maastricht wat is dan een goede toets? zijn open vragen beter dan gesloten? mondeling beter dan schriftelijk? computer beter dan pen en papier? portfolio beter dan kennis\toetsing?

Toetsen en toetsbeleid Universiteit Maastricht wat is dan een goede toets? intrinsieke standaarden

Toetsen en toetsbeleid Universiteit Maastricht intrinsieke standaarden     U = B V E K A B = betrouwbaarheid V = validiteit E = educational impact K = kosten A = acceptatiegraad

Toetsen en toetsbeleid Universiteit Maastricht betrouwbaarheid 48% 68% 0% 100% 58%

Toetsen en toetsbeleid Universiteit Maastricht betrouwbaarheid: steekproeffout

Toetsen en toetsbeleid Universiteit Maastricht betrouwbaarheid: meetfout

Toetsen en toetsbeleid Universiteit Maastricht betrouwbaarheid: overwegingen why is it not the holy grail B C D A zak-slaaggrens

Toetsen en toetsbeleid Universiteit Maastricht validiteit toetsinhoud toetsdoel

Toetsen en toetsbeleid Universiteit Maastricht validiteit: indirecte validiteit een examen is een psychologische test en moet ook op die wijze gevalideerd worden: - correlaties - verschillen in gemiddelde scores - factoranalyses

Toetsen en toetsbeleid Universiteit Maastricht validiteit: directe validiteit een examen is een verzameling direct praktijk- relevante opgaven en moet ook zo gevalideerd worden - blauwdrukken - itemconstructie - kwaliteitscontrole

Toetsen en toetsbeleid Universiteit Maastricht educational impact curriculum toetsing inhoud vorm programmering docent student regelgeving

Toetsen en toetsbeleid Universiteit Maastricht kosten - toetsing is belangrijk, maar - toetsing is duur, en - hoog-kwalitatieve toetsing is heel duur

Toetsen en toetsbeleid Universiteit Maastricht acceptatie - politieke aspecten - support in de eigen groep - verantwoordelijkheid t.o.v. maatschappij

Toetsen en toetsbeleid Universiteit Maastricht intrinsieke standaarden     U = Bg Vg Eg Kg Ag B = betrouwbaarheid V = validiteit E = educational impact K = kosten A = acceptatie g = gewicht

Toetsen en toetsbeleid Universiteit Maastricht keuze belang 100 % 0 % aspect B V E KC A

Toetsen en toetsbeleid Universiteit Maastricht keuzes: commercieel toetsinstituut belang 100 % 0 % aspect B V E K A

Toetsen en toetsbeleid Universiteit Maastricht keuzes: onderwijsinstelling belang 100 % 0 % aspect B V E K A

Toetsen en toetsbeleid Universiteit Maastricht overzicht van de presentatie toetsing algemeen lessen uit de literatuur wat betekent dit voor digitaal toetsen? overwegingen bij digitaal toetsen conclusies

Toetsen en toetsbeleid Universiteit Maastricht lessen uit de literatuur 1 vorm versus inhoud 2 domeinspecificiteit 3 objectiviteit versus steekproefneming 4 proces- versus uitkomstmeting 5 toetstheorie versus toetspraktijk 6 wet van behoud van energie 7 actie is - reactie

Toetsen en toetsbeleid Universiteit Maastricht zincompletering antoniemen analogieën MCQ OEQ FIB

Toetsen en toetsbeleid Universiteit Maastricht lessen uit de literatuur 1 vorm versus inhoud vorm bepaalt in hoge mate wat de toets meet de inhoud is secundair gecompliceerde inhouden zijn niet beter wegingen zijn psychometrisch niet zinvol

Toetsen en toetsbeleid Universiteit Maastricht lessen uit de literatuur 1 vorm versus inhoud 2 domeinspecificiteit 3 objectiviteit versus steekproefneming 4 proces- versus uitkomstmeting 5 toetstheorie versus toetspraktijk 6 wet van behoud van energie 7 actie is - reactie

Toetsen en toetsbeleid Universiteit Maastricht 2 domeinspecificiteit Casus 2 Casus 2 Casus 1

Betrouwbaarheid als functie van toetstijd Korte Essay2 0.68 0.73 0.84 0.82 Praktijk Video toets6 0.62 0.76 0.93 Toets- tijd in Uren 1 2 4 8 MCQ1 0.62 0.76 0.93 Paper cases1 0.36 0.53 0.69 0.82 Monde- ling3 0.50 0.69 0.82 0.90 Obser- vatie assessment5 0.43 0.60 0.76 0.86 Correlatie maat Arno 1Norcini et al., 1985 2Stalenhoef-Halling et al., 1990 3Swanson, 1987 5Newble & Swanson, 1987 6Ram et al., 1999

Toetsen en toetsbeleid Universiteit Maastricht lessen uit de literatuur 1 vorm versus inhoud 2 domeinspecificiteit 3 objectiviteit versus steekproefneming 4 proces- versus uitkomstmeting 5 toetstheorie versus toetspraktijk 6 wet van behoud van energie 7 actie is - reactie

Toetsen en toetsbeleid Universiteit Maastricht 3 objectiviteit versus steekproefneming Mozart Lambert experts Suppose I were to write ten pieces of music and submit them to a panel of experts to judge the musical artistry, and I would submit 10 pieces written by Andrew Lloyd Webber (or any other composer), the panel would undoubtedly come to the conclusion that Webber is the greater artist than I am. It does not matter whether I would submit ten different pieces written by me, or ten new pieces written by Lloyd-Webber, or even replace the experts by ten differnet experts. The decision will generalise in all sources of variance, as long as the sampling is done correctly. Correct sampling does not only mean sufficient data points, but also collected in the right way.

Toetsen en toetsbeleid Universiteit Maastricht lessen uit de literatuur 1 vorm versus inhoud 2 domeinspecificiteit 3 objectiviteit versus steekproefneming 4 proces- versus uitkomstmeting 5 toetstheorie versus toetspraktijk 6 wet van behoud van energie 7 actie is - reactie

Toetsen en toetsbeleid Universiteit Maastricht 4 proces- versus uitkomstmeting ingangsklacht oplossing

Toetsen en toetsbeleid Universiteit Maastricht lessen uit de literatuur 1 vorm versus inhoud 2 domeinspecificiteit 3 objectiviteit versus steekproefneming 4 proces- versus uitkomstmeting 5 toetstheorie versus toetspraktijk 6 wet van behoud van energie 7 actie is - reactie

Toetsen en toetsbeleid Universiteit Maastricht 5 toetstheorie versus toetspraktijk Als er meer dan één manier is om een taak te doen en één van die manieren zal in een ramp resulteren, dan zal iemand het zo doen Murphy is een optimist Hoe beter de toetsmethode, hoe minder mensen haar begrijpen Diegenen die de methode het minst begrijpen hebben de grootste mond en de meeste macht binnen de instelling

Toetsen en toetsbeleid Universiteit Maastricht lessen uit de literatuur 1 vorm versus inhoud 2 domeinspecificiteit 3 objectiviteit versus steekproefneming 4 proces- versus uitkomstmeting 5 toetstheorie versus toetspraktijk 6 wet van behoud van energie 7 actie is - reactie

Toetsen en toetsbeleid Universiteit Maastricht 6 wet van behoud van energie Je kunt maar maximaal zoveel kwaliteit uit je toetsing krijgen als bereid bent er aan tijd, geld en mankracht in te stoppen

Toetsen en toetsbeleid Universiteit Maastricht lessen uit de literatuur 1 vorm versus inhoud 2 domeinspecificiteit 3 objectiviteit versus steekproefneming 4 proces- versus uitkomstmeting 5 toetstheorie versus toetspraktijk 6 wet van behoud van energie 7 actie is - reactie

Toetsen en toetsbeleid Universiteit Maastricht 7 actie is - reactie Iedere actie op het gebied van onderwijs en toetsing leidt tot een reactie van studenten: - onverwacht - ongewenst - oncontroleerbaar

Toetsen en toetsbeleid Universiteit Maastricht 7 actie is - reactie dus onderzoek regelmatig en stel bij

Toetsen en toetsbeleid Universiteit Maastricht overzicht van de presentatie toetsing algemeen lessen uit de literatuur wat betekent dit voor digitaal toetsen? overwegingen bij digitaal toetsen conclusies

Toetsen en toetsbeleid Universiteit Maastricht lessen voor digitaal toetsen 1 vorm versus inhoud gedigitaliseerde MC toets is niet anders dan een gedigitaliseerde MC toets. plaatjes/filmpjes, geluidjes hebben maar een beperkt effect variatie aan vraagvormen is nodig, er is niet één enkele die het allemaal kan ontwikkelingen dus richten op uitbreiding variatie

Toetsen en toetsbeleid Universiteit Maastricht lessen voor digitaal toetsen 2 domeinspecificiteit Niet lange simulaties voor summatieve toetsing. Is geprobeerd, werkt niet Korte key-features werken

Toetsen en toetsbeleid Universiteit Maastricht lessen voor digitaal toetsen 3 objectiviteit versus steekproefneming Hi-fi is niet gelijk aan validiteit. Als sample te klein is is ook de mooiste simulatie/VP nutteloos om uitspraken te doen In IT-toetsing ook open vormen gebruiken (eventueel handscoren) hoe kan IT-toetsing subjectieve assessment ondersteunen. Voorbeeld AKO-folio.

Toetsen en toetsbeleid Universiteit Maastricht lessen voor digitaal toetsen 4 proces- versus uitkomstmeting Verhaal PMPs in de 8-er jaren: Scoring  geen eenduidigheid over proces. Lange vertakte simulaties lijken goed, maar zijn het niet Proficiency versus efficience: expertise meet je niet door grondigheid te meten maar casusspecificiek efficiëntie. Leg uit wat expertise is.

Toetsen en toetsbeleid Universiteit Maastricht lessen voor digitaal toetsen 5 toetstheorie versus toetspraktijk software-implementatieproblemen (Noem SAP bij ons). Denk aan onverwacht fout gebruik (verhaal modem bij eerste computerafname)

Toetsen en toetsbeleid Universiteit Maastricht lessen voor digitaal toetsen 6 wet van behoud van energie Tijdsinvestering. Goede software die echt iets toevoegt vereist goede ontwikkeling. Combinatie onderwijskundigen, onderwijsgevers en IT-specialisten.

Toetsen en toetsbeleid Universiteit Maastricht lessen voor digitaal toetsen 7 actie is - reactie Secure item banking bestaat niet plagiaat en plagiaatcontrole copy/paste internet is een rijke bron

Toetsen en toetsbeleid Universiteit Maastricht overzicht van de presentatie toetsing algemeen lessen uit de literatuur wat betekent dit voor digitaal toetsen? overwegingen bij digitaal toetsen conclusies

Toetsen en toetsbeleid Universiteit Maastricht overwegingen bij IT in assessment 1 logistieke zaken 2 financiële zaken 3 psychometrische zaken 4 onderwijskundige zaken 5 acceptatie

Toetsen en toetsbeleid Universiteit Maastricht overwegingen bij IT in assessment 1 logistieke zaken tele-distant testing authentificatie/time frame asynchrone assessment monitoring kwaliteitscontroleprocessen maar: server down virussen computer kapot beperkte afnamecapaciteit hackers mediagebruik redistributie van uitgaven

Toetsen en toetsbeleid Universiteit Maastricht overwegingen bij IT in assessment 2 financiële zaken hergebruik items drukkosten data-invoer automatische planning maar: systeembeheerder afschrijving apparatuur software-aanschaf software-ontwikkeling

Toetsen en toetsbeleid Universiteit Maastricht overwegingen bij IT in assessment 3 psychometrische zaken itemanalyses equating sequential testing computer adaptive testing IRT-modelling statistische analyses

Toetsen en toetsbeleid Universiteit Maastricht overwegingen bij IT in assessment 4 onderwijskundige zaken simulaties van lo-fi tot hi-fi informatiezoekopdrachten knowledge management e-portfolios maar: vaak mooie oplossingen waarvoor nog geen probleem bestond (na de implementatie vaak wel) vraag is altijd waarom de gekozen oplossing de beste was nieuwigheid gaat er snel van af informatiemanagement voor docenten

Toetsen en toetsbeleid Universiteit Maastricht overwegingen bij IT in assessment 5 acceptatie gebruikersgemak/digibetisme betrouwbaarheid instructie/helpfunctie veiligheid fool-proof flexibiliteit

Toetsen en toetsbeleid Universiteit Maastricht overzicht van de presentatie toetsing algemeen lessen uit de literatuur wat betekent dit voor digitaal toetsen? overwegingen bij digitaal toetsen conclusies

Toetsen en toetsbeleid Universiteit Maastricht samenvatting en belangrijkste lessen Fitness for purpose is de belangrijkste leidraad Er is veel bekend, vind niet opnieuw het wiel uit Een goede beslissing is een rationele beslissing Plan en monitor iedere nieuwe implementatie

Toetsen en toetsbeleid Universiteit Maastricht Dank u

Toetsen en toetsbeleid Universiteit Maastricht