Toetsen en toetsbeleid

Presentatie over: "Toetsen en toetsbeleid"— Transcript van de presentatie:

1 Toetsen en toetsbeleid
Universiteit Maastricht Toetsen en toetsbeleid Lambert Schuwirth

2 Toetsen en toetsbeleid
Universiteit Maastricht overzicht van de presentatie toetsing algemeen lessen uit de literatuur wat betekent dit voor digitaal toetsen? overwegingen bij digitaal toetsen conclusies

3 Toetsen en toetsbeleid
Universiteit Maastricht algemene introductie wat is essentieel? de goede professional

4 Toetsen en toetsbeleid
Universiteit Maastricht wat is een goede professional? goed handschrfit mediakennis reflectief persoon goede attitude weet veel levenservaren goede manager goede teamwerker empathisch persoon communicator vaardigheden goede probleemoplosser

5 Toetsen en toetsbeleid
Universiteit Maastricht eenvoudig he? slaagt competent test zakt incompetent

6 Toetsen en toetsbeleid
Universiteit Maastricht eenvoudig is het niet competent incompetent slaagt zakt

7 Toetsen en toetsbeleid
Universiteit Maastricht twee grote problemen toetsing meet vaker competentie dan performance  er bestaan geen (externe) gouden standaarden 

8 Toetsen en toetsbeleid
Universiteit Maastricht wat is dan een goede toets? zijn open vragen beter dan gesloten? mondeling beter dan schriftelijk? computer beter dan pen en papier? portfolio beter dan kennis\toetsing?

9 Toetsen en toetsbeleid
Universiteit Maastricht wat is dan een goede toets? intrinsieke standaarden

10 Toetsen en toetsbeleid
Universiteit Maastricht intrinsieke standaarden     U = B V E K A B = betrouwbaarheid V = validiteit E = educational impact K = kosten A = acceptatiegraad

11 Toetsen en toetsbeleid
Universiteit Maastricht betrouwbaarheid 48% 68% 0% 100% 58%

12 Toetsen en toetsbeleid
Universiteit Maastricht betrouwbaarheid: steekproeffout

13 Toetsen en toetsbeleid
Universiteit Maastricht betrouwbaarheid: meetfout

14 Toetsen en toetsbeleid
Universiteit Maastricht betrouwbaarheid: overwegingen why is it not the holy grail B C D A zak-slaaggrens

15 Toetsen en toetsbeleid
Universiteit Maastricht validiteit toetsinhoud toetsdoel

16 Toetsen en toetsbeleid
Universiteit Maastricht validiteit: indirecte validiteit een examen is een psychologische test en moet ook op die wijze gevalideerd worden: - correlaties - verschillen in gemiddelde scores - factoranalyses

17 Toetsen en toetsbeleid
Universiteit Maastricht validiteit: directe validiteit een examen is een verzameling direct praktijk- relevante opgaven en moet ook zo gevalideerd worden - blauwdrukken - itemconstructie - kwaliteitscontrole

18 Toetsen en toetsbeleid
Universiteit Maastricht educational impact curriculum toetsing inhoud vorm programmering docent student regelgeving

19 Toetsen en toetsbeleid
Universiteit Maastricht kosten - toetsing is belangrijk, maar - toetsing is duur, en - hoog-kwalitatieve toetsing is heel duur

20 Toetsen en toetsbeleid
Universiteit Maastricht acceptatie - politieke aspecten - support in de eigen groep - verantwoordelijkheid t.o.v. maatschappij

21 Toetsen en toetsbeleid
Universiteit Maastricht intrinsieke standaarden     U = Bg Vg Eg Kg Ag B = betrouwbaarheid V = validiteit E = educational impact K = kosten A = acceptatie g = gewicht

22 Toetsen en toetsbeleid
Universiteit Maastricht keuze belang 100 % 0 % aspect B V E KC A

23 Toetsen en toetsbeleid
Universiteit Maastricht keuzes: commercieel toetsinstituut belang 100 % 0 % aspect B V E K A

24 Toetsen en toetsbeleid
Universiteit Maastricht keuzes: onderwijsinstelling belang 100 % 0 % aspect B V E K A

25 Toetsen en toetsbeleid
Universiteit Maastricht overzicht van de presentatie toetsing algemeen lessen uit de literatuur wat betekent dit voor digitaal toetsen? overwegingen bij digitaal toetsen conclusies

26 Toetsen en toetsbeleid
Universiteit Maastricht lessen uit de literatuur 1 vorm versus inhoud 2 domeinspecificiteit 3 objectiviteit versus steekproefneming 4 proces- versus uitkomstmeting 5 toetstheorie versus toetspraktijk 6 wet van behoud van energie 7 actie is - reactie

27 Toetsen en toetsbeleid
Universiteit Maastricht zincompletering antoniemen analogieën MCQ OEQ FIB

28 Toetsen en toetsbeleid
Universiteit Maastricht lessen uit de literatuur 1 vorm versus inhoud vorm bepaalt in hoge mate wat de toets meet de inhoud is secundair gecompliceerde inhouden zijn niet beter wegingen zijn psychometrisch niet zinvol

29 Toetsen en toetsbeleid
Universiteit Maastricht lessen uit de literatuur 1 vorm versus inhoud 2 domeinspecificiteit 3 objectiviteit versus steekproefneming 4 proces- versus uitkomstmeting 5 toetstheorie versus toetspraktijk 6 wet van behoud van energie 7 actie is - reactie

30 Toetsen en toetsbeleid
Universiteit Maastricht 2 domeinspecificiteit Casus 2 Casus 2 Casus 1

31 Betrouwbaarheid als functie van toetstijd
Korte Essay2 0.68 0.73 0.84 0.82 Praktijk Video toets6 0.62 0.76 0.93 Toets- tijd in Uren 1 2 4 8 MCQ1 0.62 0.76 0.93 Paper cases1 0.36 0.53 0.69 0.82 Monde- ling3 0.50 0.69 0.82 0.90 Obser- vatie assessment5 0.43 0.60 0.76 0.86 Correlatie maat Arno 1Norcini et al., 1985 2Stalenhoef-Halling et al., 1990 3Swanson, 1987 5Newble & Swanson, 1987 6Ram et al., 1999

32 Toetsen en toetsbeleid
Universiteit Maastricht lessen uit de literatuur 1 vorm versus inhoud 2 domeinspecificiteit 3 objectiviteit versus steekproefneming 4 proces- versus uitkomstmeting 5 toetstheorie versus toetspraktijk 6 wet van behoud van energie 7 actie is - reactie

33 Toetsen en toetsbeleid
Universiteit Maastricht 3 objectiviteit versus steekproefneming Mozart Lambert experts Suppose I were to write ten pieces of music and submit them to a panel of experts to judge the musical artistry, and I would submit 10 pieces written by Andrew Lloyd Webber (or any other composer), the panel would undoubtedly come to the conclusion that Webber is the greater artist than I am. It does not matter whether I would submit ten different pieces written by me, or ten new pieces written by Lloyd-Webber, or even replace the experts by ten differnet experts. The decision will generalise in all sources of variance, as long as the sampling is done correctly. Correct sampling does not only mean sufficient data points, but also collected in the right way.

34 Toetsen en toetsbeleid
Universiteit Maastricht lessen uit de literatuur 1 vorm versus inhoud 2 domeinspecificiteit 3 objectiviteit versus steekproefneming 4 proces- versus uitkomstmeting 5 toetstheorie versus toetspraktijk 6 wet van behoud van energie 7 actie is - reactie

35 Toetsen en toetsbeleid
Universiteit Maastricht 4 proces- versus uitkomstmeting ingangsklacht oplossing

36 Toetsen en toetsbeleid
Universiteit Maastricht lessen uit de literatuur 1 vorm versus inhoud 2 domeinspecificiteit 3 objectiviteit versus steekproefneming 4 proces- versus uitkomstmeting 5 toetstheorie versus toetspraktijk 6 wet van behoud van energie 7 actie is - reactie

37 Toetsen en toetsbeleid
Universiteit Maastricht 5 toetstheorie versus toetspraktijk Als er meer dan één manier is om een taak te doen en één van die manieren zal in een ramp resulteren, dan zal iemand het zo doen Murphy is een optimist Hoe beter de toetsmethode, hoe minder mensen haar begrijpen Diegenen die de methode het minst begrijpen hebben de grootste mond en de meeste macht binnen de instelling

38 Toetsen en toetsbeleid
Universiteit Maastricht lessen uit de literatuur 1 vorm versus inhoud 2 domeinspecificiteit 3 objectiviteit versus steekproefneming 4 proces- versus uitkomstmeting 5 toetstheorie versus toetspraktijk 6 wet van behoud van energie 7 actie is - reactie

39 Toetsen en toetsbeleid
Universiteit Maastricht 6 wet van behoud van energie Je kunt maar maximaal zoveel kwaliteit uit je toetsing krijgen als bereid bent er aan tijd, geld en mankracht in te stoppen

40 Toetsen en toetsbeleid
Universiteit Maastricht lessen uit de literatuur 1 vorm versus inhoud 2 domeinspecificiteit 3 objectiviteit versus steekproefneming 4 proces- versus uitkomstmeting 5 toetstheorie versus toetspraktijk 6 wet van behoud van energie 7 actie is - reactie

41 Toetsen en toetsbeleid
Universiteit Maastricht 7 actie is - reactie Iedere actie op het gebied van onderwijs en toetsing leidt tot een reactie van studenten: - onverwacht - ongewenst - oncontroleerbaar

42 Toetsen en toetsbeleid
Universiteit Maastricht 7 actie is - reactie dus onderzoek regelmatig en stel bij

43 Toetsen en toetsbeleid
Universiteit Maastricht overzicht van de presentatie toetsing algemeen lessen uit de literatuur wat betekent dit voor digitaal toetsen? overwegingen bij digitaal toetsen conclusies

44 Toetsen en toetsbeleid
Universiteit Maastricht lessen voor digitaal toetsen 1 vorm versus inhoud gedigitaliseerde MC toets is niet anders dan een gedigitaliseerde MC toets. plaatjes/filmpjes, geluidjes hebben maar een beperkt effect variatie aan vraagvormen is nodig, er is niet één enkele die het allemaal kan ontwikkelingen dus richten op uitbreiding variatie

45 Toetsen en toetsbeleid
Universiteit Maastricht lessen voor digitaal toetsen 2 domeinspecificiteit Niet lange simulaties voor summatieve toetsing. Is geprobeerd, werkt niet Korte key-features werken

46 Toetsen en toetsbeleid
Universiteit Maastricht lessen voor digitaal toetsen 3 objectiviteit versus steekproefneming Hi-fi is niet gelijk aan validiteit. Als sample te klein is is ook de mooiste simulatie/VP nutteloos om uitspraken te doen In IT-toetsing ook open vormen gebruiken (eventueel handscoren) hoe kan IT-toetsing subjectieve assessment ondersteunen. Voorbeeld AKO-folio.

47 Toetsen en toetsbeleid
Universiteit Maastricht lessen voor digitaal toetsen 4 proces- versus uitkomstmeting Verhaal PMPs in de 8-er jaren: Scoring  geen eenduidigheid over proces. Lange vertakte simulaties lijken goed, maar zijn het niet Proficiency versus efficience: expertise meet je niet door grondigheid te meten maar casusspecificiek efficiëntie. Leg uit wat expertise is.

48 Toetsen en toetsbeleid
Universiteit Maastricht lessen voor digitaal toetsen 5 toetstheorie versus toetspraktijk software-implementatieproblemen (Noem SAP bij ons). Denk aan onverwacht fout gebruik (verhaal modem bij eerste computerafname)

49 Toetsen en toetsbeleid
Universiteit Maastricht lessen voor digitaal toetsen 6 wet van behoud van energie Tijdsinvestering. Goede software die echt iets toevoegt vereist goede ontwikkeling. Combinatie onderwijskundigen, onderwijsgevers en IT-specialisten.

50 Toetsen en toetsbeleid
Universiteit Maastricht lessen voor digitaal toetsen 7 actie is - reactie Secure item banking bestaat niet plagiaat en plagiaatcontrole copy/paste internet is een rijke bron

51 Toetsen en toetsbeleid
Universiteit Maastricht overzicht van de presentatie toetsing algemeen lessen uit de literatuur wat betekent dit voor digitaal toetsen? overwegingen bij digitaal toetsen conclusies

52 Toetsen en toetsbeleid
Universiteit Maastricht overwegingen bij IT in assessment 1 logistieke zaken 2 financiële zaken 3 psychometrische zaken 4 onderwijskundige zaken 5 acceptatie

53 Toetsen en toetsbeleid
Universiteit Maastricht overwegingen bij IT in assessment 1 logistieke zaken tele-distant testing authentificatie/time frame asynchrone assessment monitoring kwaliteitscontroleprocessen maar: server down virussen computer kapot beperkte afnamecapaciteit hackers mediagebruik redistributie van uitgaven

54 Toetsen en toetsbeleid
Universiteit Maastricht overwegingen bij IT in assessment 2 financiële zaken hergebruik items drukkosten data-invoer automatische planning maar: systeembeheerder afschrijving apparatuur software-aanschaf software-ontwikkeling

55 Toetsen en toetsbeleid
Universiteit Maastricht overwegingen bij IT in assessment 3 psychometrische zaken itemanalyses equating sequential testing computer adaptive testing IRT-modelling statistische analyses

56 Toetsen en toetsbeleid
Universiteit Maastricht overwegingen bij IT in assessment 4 onderwijskundige zaken simulaties van lo-fi tot hi-fi informatiezoekopdrachten knowledge management e-portfolios maar: vaak mooie oplossingen waarvoor nog geen probleem bestond (na de implementatie vaak wel) vraag is altijd waarom de gekozen oplossing de beste was nieuwigheid gaat er snel van af informatiemanagement voor docenten

57 Toetsen en toetsbeleid
Universiteit Maastricht overwegingen bij IT in assessment 5 acceptatie gebruikersgemak/digibetisme betrouwbaarheid instructie/helpfunctie veiligheid fool-proof flexibiliteit

58 Toetsen en toetsbeleid
Universiteit Maastricht overzicht van de presentatie toetsing algemeen lessen uit de literatuur wat betekent dit voor digitaal toetsen? overwegingen bij digitaal toetsen conclusies

59 Toetsen en toetsbeleid
Universiteit Maastricht samenvatting en belangrijkste lessen Fitness for purpose is de belangrijkste leidraad Er is veel bekend, vind niet opnieuw het wiel uit Een goede beslissing is een rationele beslissing Plan en monitor iedere nieuwe implementatie

60 Toetsen en toetsbeleid
Universiteit Maastricht Dank u

61 Toetsen en toetsbeleid
Universiteit Maastricht