Silvester Draaijer VUA Onderwijscentrum VU W E E T W A T O N D E R W IJ S W A A R D I S Kennistoets - Verbeteren van de toetskwaliteit door Sylvester Draaijer (UVA) Silvester Draaijer VUA

Onderwijscentrum VU VU: 20.000 studenten Onderwijscentrum VU 1e graads lerarenopleiding Scholing en Advisering o.a. ICTO Kwaliteitszorg (o.a. onderwijsevaluaties en tentamenschrapkaarten service) Communities of Learners als centraal thema Assessment is één van de aandachtspunten Pre-master assessment VU Taaltoets VU Portfolio Peer-Review (SURF project met UU en TUD) Digitaal Toetsen

Toetsen Toetsen dicteren het studiegedrag van studenten in belangrijke mate Onderwijs ontwikkelen: begin bij de toets

Formatief – Summatief Classroom Assessment Techniques, Kennistoets, Essaytoets, Casustoets, Voortgangstoets, Overall toets, Vaardigheidstoets, Peer assessment, Peer Instruction, Stage- en praktijkopdracht, Projectopdracht, Gedrags-assessment, Afstudeeropdracht, Intaketoets, Portfolio assessment, Criteriumgericht interview, Reflectieopdracht

Kennis: wat is het? Daryl Cagle. www.slate.com

Kennis: wat is het?

Nadenken over kennis Nonaka & Takeuchi To tacit knowledge To explicit knowledge From tacit knowledge Socialization Externalization From explicit knowledge Internalization Combination

Kennis in HBO-context Hernieuwde aandacht voor ‘kennis’: waarom? Tegen Tegen edutainment? Tegen constructivisme? Tegen nieuwlichterij? Tegen ‘al dat projectonderwijs’ en ‘al dat probleemgestuurd onderwijs’ Tegen al die groepsopdrachten? Voor ‘Experts’ hebben hun kennis in prachtige (studie)boeken neergelegd. Dat moeten we gebruiken. Kennis bezitten en kunnen toepassen is voorwaardelijk voor het oplossen van (complexere) problemen Mayer (2004) developed a literature review spanning fifty years and concluded "The research in this brief review shows that the formula constructivism = hands-on activity is a formula for educational disaster”. Kirschner, P. A., Sweller, J., and Clark, R. E. (2006). "Why minimal guidance during instruction does not work: an analysis of the failure of constructivist, discovery, problem-based, experiential, and inquiry-based teaching". Educational Psychologist 41 (2): 75–86. Om een ‘expert’ te worden moet je 10.000 uur denkarbeid/ervaring opdoen (onderzoek in het medisch domein) 4 jaar 1200 uur studie = 4800 uur

Kennis in HBO-context Kennis van feiten, concepten, processen, procedures en theoriën gericht op een specifieke beroepscontext. Het vermogen om deze kennis toe te passen om beroepsspecifieke problemen op te lossen. Mayer (2004) developed a literature review spanning fifty years and concluded "The research in this brief review shows that the formula constructivism = hands-on activity is a formula for educational disaster”. Kirschner, P. A., Sweller, J., and Clark, R. E. (2006). "Why minimal guidance during instruction does not work: an analysis of the failure of constructivist, discovery, problem-based, experiential, and inquiry-based teaching". Educational Psychologist 41 (2): 75–86. Om een ‘expert’ te worden moet je 10.000 uur denkarbeid/ervaring opdoen (onderzoek in het medisch domein) 4 jaar 1200 uur studie = 4800 uur

Wat is toetsen? Een ‘meting doen’ met een bijbehorende uitspraak over de mate van beheersing van kennis en vaardigheid, vaak met een zak/slaag beslissing Centrale begrippen Validiteit Betrouwbaarheid Formatief, Summatief Schade en .. Bennett’s “Multi-faceted Organization Scheme” (Bennett, 1993, p. 47)3 Dochy met name

Nadenken over toetsen Simpele toets met één vraag (meting) Doel: vaststellen of de zaal voldoende kennis heeft van Toetsen en Beoordelen Doel: vaststellen wat we vanochtend en vanmiddag gaan doen Vraag Wie heeft een cursus Toetsen en Beoordelen gevolgd?

Nadenken over toetsen Inhoudsvaliditeit? Construct validiteit? Criterium validiteit? Predictieve validiteit?

Validiteit: toetsmatrijs De vragen in de toets leveren een goede afspiegeling op van de stof in combinatie met het beoogde beheersingsniveau. Onderwerpen uit de stof Cognitief niveau Let op: Cognitief niveau ≠ Moeilijkheidsgraad Onder-werpen Reproductie Toepassing Inzicht Totaal 1 2 4 3 7 Enz. .. 50

Validiteit: toetsmatrijs Werk met startzinnen Weten en Begrijpen: nagaan of de student kennis heeft van onderwerpen Wat is de beste definitie voor ....? Wat is (niet) karakteristiek voor ....? Uit welke onderdelen bestaat het probleem? Wat is de geschiedenis van het probleem? Welke verschillende categorieën zijn er in het probleem? Kritisch denken (evalueren): nagaan of de student de eigenschappen van feiten, procedures, principes of theoriën kan gebruiken. Wat is het meest effectief (gepast) voor ....? Wat is beter (slechter) ....? Wat is het meest effectief voor ....? Wat is de meest kritieke stap in aan procedure? Als je weet dat X waar is, wat is dan tevens waar over Y? Wat is (niet) nodig in een procedure? Wat is het belang van het probleem ? So what ? Kritisch denken (voorspellen): nagaan of de student op basis van feiten, procedures, principes of theoriën kan aangeven wat gevolgen, consequenties e.d. zijn. Wat zou er gebeuren als ....? Als dit gebeurt, wat zou je doen? Op basis van wat ...., wat zou je doen? Gegeven ... wat is belangrijkste reden dat .... Probleem oplossen (gegeven een scenario): nagaan of de student op basis van gegeven problemen oplossingen kan geven of oplossingen kan beoordelen. Wat is de aard van het probleem? Wat heb je nodig om dit probleem op te lossen? Wat is een mogelijke oplossing? Wat is de meeste effectieve (efficiente) oplossing? Waarom is .... de meest effectieve (efficiënte) oplossing?

p, a, Rit, Rir, Rar, Cronbach α / KR20, 1-2-3-PL IRT …. Nadenken over toetsen Betrouwbaarheid? p, a, Rit, Rir, Rar, Cronbach α / KR20, 1-2-3-PL IRT …. Terecht Onterecht Gezakt Geslaagd

Betrouwbaarheid Hoe meer vragen hoe betrouwbaarder Hoe groter de spreiding van kennis onder studentenpopulatie, hoe betrouwbaarder de toets Soort Antwoordtijd Aantal vragen normaal gesproken nodig voor een betrouwbare toets Juist/Onjuist vraag of twee alternatieven 50 seconden 80 Drie alternatieven 60 seconden 60 Vier alternatieven 75 seconden 40

Betrouwbaarheid Goede toetsvragen maken Vooraf Meten op het bedoelde cognitieve niveau Scheiden competente van niet-competente studente Zijn niet te gemakkelijk of te moeilijk Zijn relevant/motiverend Vooraf Loop alle checklists af Laat collega’s de vragen controleren Laat toetsdeskundigen de vragen controleren Doe proefafnames … maar dit alles is geen garantie – proof of the pudding is in the eating Doe de oefening vraagconstructie

Betrouwbaarheid Consistent beoordelen Gesloten vragen – easy Open vragen – antwoordmodel/nakijkschema Doe de oefening ‘interbeoordelaarsbetrouwbaarheid’

Over cijfers geven raadscore cijfer 1 5,5 10 maximale score cesuurscore Proportie studenten die slaagt.

Toets en itemanalyse We gaan de oefening doen Vragen niet te moeilijke of gemakkelijk (P) Vragen moeten positief correleren (Rir) Correct antwoord moet positief correleren Incorrect antwoord moet niet te vaak worden gekozen Betrouwbaarheid (KR20) – wanneer voldoende?

voorbeeld TENTAMEN : DOCENT : ***** **-**-2001 FACULTEIT: *** AFDELING : *** _______________________________________________________________ MEERKEUZE VRAGEN FORMULIER 1 P - WAARDEN VRAAG ALT-1 ALT-2 ALT-3 ALT-4 * P-ITEM Sx Rir 1 0.06 0.08 0.11 +0.75 0.00 0.75 0.19 0.34 2 0.09 0.06 +0.79 0.05 0.01 0.79 0.16 0.21 3 +0.81 0.05 0.08 0.06 0.00 0.81 0.16 0.24 4 0.16 0.12 +0.60 0.13 0.00 0.60 0.24 0.37 5 0.26 0.03 +0.71 0.01 0.00 0.71 0.21 0.34 6 0.10 +0.77 0.12 0.02 0.00 0.77 0.18 0.26 7 +0.79 0.03 0.16 0.03 0.00 0.79 0.16 0.26 8 0.31 0.06 +0.52 0.11 0.00 0.52 0.25 0.27 9 0.08 0.40 0.03 +0.49 0.00 0.49 0.25 0.17 10 0.06 0.03 +0.87 0.04 0.00 0.87 0.11 0.27 11 0.10 0.02 +0.83 0.05 0.00 0.83 0.14 0.32 12 0.05 0.03 +0.86 0.06 0.00 0.86 0.12 0.30 13 0.54 +0.26 0.16 0.04 0.00 0.26 0.19 -0.07 14 0.25 0.21 0.11 +0.44 0.00 0.44 0.25 0.30 15 0.23 +0.62 0.04 0.10 0.00 0.62 0.23 0.31 16 +0.49 0.29 0.08 0.14 0.00 0.49 0.25 0.24 17 0.01 0.34 +0.65 0.01 0.00 0.65 0.23 0.14 18 0.07 0.06 +0.85 0.02 0.00 0.85 0.13 -0.10 19 0.01 0.08 +0.88 0.04 0.00 0.88 0.11 0.31 20 0.30 +0.35 0.11 0.24 0.00 0.35 0.23 0.05 21 +0.82 0.03 0.07 0.08 0.00 0.82 0.14 0.35 22 0.21 0.36 0.31 +0.12 0.00 0.12 0.11 0.09 23 +0.86 0.09 0.03 0.01 0.00 0.86 0.12 0.23 24 +0.83 0.03 0.10 0.05 0.00 0.83 0.14 0.36 25 +0.84 0.08 0.01 0.06 0.00 0.84 0.13 0.32 26 +0.46 0.05 0.05 0.44 0.00 0.46 0.25 0.56 27 0.23 +0.66 0.06 0.06 0.00 0.66 0.23 0.61 28 0.18 0.19 0.25 +0.37 0.00 0.37 0.23 0.44 29 0.14 +0.64 0.08 0.14 0.00 0.64 0.23 0.40 30 0.07 0.07 +0.79 0.06 0.00 0.79 0.16 0.36 31 +0.66 0.16 0.03 0.14 0.00 0.66 0.22 0.40 32 0.09 +0.48 0.18 0.25 0.00 0.48 0.25 0.37 33 +0.74 0.05 0.02 0.19 0.00 0.74 0.19 0.49 34 +0.55 0.08 0.24 0.13 0.00 0.55 0.25 0.01 35 0.03 0.27 +0.51 0.18 0.00 0.51 0.25 0.46 36 0.15 +0.18 0.45 0.22 0.00 0.18 0.14 0.04 37 0.16 0.08 +0.43 0.32 0.01 0.43 0.24 0.18 38 0.32 +0.60 0.06 0.02 0.00 0.60 0.24 0.39 39 0.38 0.13 0.08 +0.42 0.00 0.42 0.24 0.48 40 0.19 0.05 +0.71 0.05 0.00 0.71 0.21 0.28 KR-20 : 0.82 Aantal studenten : 154 | S KR20 KR20(75) Gem. Score Gem. p-waarde ______|___________________________________________________________ | MK | 6.16 0.82 0.89 25.00 0.63 WO | --- --- --- --- ---

Wat willen studenten met toetsing? Should be for learning Should be reliable, valid, fair and consistent Should consist of effective and constructive feedback Should be innovative and have the capacity to inspire and motivate Should measure understanding and application, rather than recall National Union of Students’ Principles of Effective Assessment[1] [1] Times Higher Education, 29th January 2009

Wat willen studenten met toetsing? Should be conducted throughout the course, rather than being positioned as a final event Should develop key skills such as peer and reflective assessment Should be central to staff development and teaching strategies, and frequently reviewed Should be of a manageable amount for both tutors and students Should encourage dialogue between students and their tutors and students and their peers National Union of Students’ Principles of Effective Assessment[1] [1] Times Higher Education, 29th January 2009

ICT: MC, MR, drag-and-drop, math

ICT: Lineair question

ICT: Animation, Simulation, Video

IRT (Item Response Theory, Latent Trait Analysis

Itembanking

Quizzing – studentgericht formatief toetsen Toets met diagnostische functie tbv tentamen Toets om te leren/oefenen

Voorbeeld 1: Peer instruction ConceptTest Ontwikkeld door Eric Mazur, Harvard University

Voorbeeld 2a: opfrissen van voorkennis Faculteit Aard- en Levenswetenschappen VU, cursus Plantenfysiologie

Voorbeeld 2b: Aanjagen van een Practicum Faculteit Aard- en Levenswetenschappen VU, cursus Basin Analysis

Voorbeeld 3a: Actieve verwerking van collegestof Faculteit Pedagogiek en Psychologie VU, cursussen Algemene Methodologie en Functieleer

Voorbeeld 4a: Collegeverbeteraar Faculteit Pedagogiek en Psychologie VU, cursus Historische Pedagogie

Voorbeeld 4b: Collegeverbeteraar Inleiding Voorbeelden Conclusie Faculteit Rechten VU, cursus Beginselen Strafrecht

Conclusie Meerdere varianten mogelijk van online Quizzing Zorg dat de toetsen zijn ‘ingebed’ in de cursus. Zorg er zo mogelijk voor dat studenten kunnen overleggen!