Silvester Draaijer VUA

Presentatie over: "Silvester Draaijer VUA"— Transcript van de presentatie:

1 Silvester Draaijer VUA
Onderwijscentrum VU W E E T W A T O N D E R W IJ S W A A R D I S Kennistoets - Verbeteren van de toetskwaliteit door Sylvester Draaijer (UVA) Silvester Draaijer VUA

2 Onderwijscentrum VU VU: 20.000 studenten Onderwijscentrum VU
1e graads lerarenopleiding Scholing en Advisering o.a. ICTO Kwaliteitszorg (o.a. onderwijsevaluaties en tentamenschrapkaarten service) Communities of Learners als centraal thema Assessment is één van de aandachtspunten Pre-master assessment VU Taaltoets VU Portfolio Peer-Review (SURF project met UU en TUD) Digitaal Toetsen

3 Toetsen Toetsen dicteren het studiegedrag van studenten in belangrijke mate Onderwijs ontwikkelen: begin bij de toets

4 Formatief – Summatief Classroom Assessment Techniques, Kennistoets, Essaytoets, Casustoets, Voortgangstoets, Overall toets, Vaardigheidstoets, Peer assessment, Peer Instruction, Stage- en praktijkopdracht, Projectopdracht, Gedrags-assessment, Afstudeeropdracht, Intaketoets, Portfolio assessment, Criteriumgericht interview, Reflectieopdracht

5 Kennis: wat is het? Daryl Cagle.

6 Kennis: wat is het?

7 Nadenken over kennis Nonaka & Takeuchi To tacit knowledge
To explicit knowledge From tacit knowledge Socialization Externalization From explicit knowledge Internalization Combination

8 Kennis in HBO-context Hernieuwde aandacht voor ‘kennis’: waarom? Tegen
Tegen edutainment? Tegen constructivisme? Tegen nieuwlichterij? Tegen ‘al dat projectonderwijs’ en ‘al dat probleemgestuurd onderwijs’ Tegen al die groepsopdrachten? Voor ‘Experts’ hebben hun kennis in prachtige (studie)boeken neergelegd. Dat moeten we gebruiken. Kennis bezitten en kunnen toepassen is voorwaardelijk voor het oplossen van (complexere) problemen Mayer (2004) developed a literature review spanning fifty years and concluded "The research in this brief review shows that the formula constructivism = hands-on activity is a formula for educational disaster”. Kirschner, P. A., Sweller, J., and Clark, R. E. (2006). "Why minimal guidance during instruction does not work: an analysis of the failure of constructivist, discovery, problem-based, experiential, and inquiry-based teaching". Educational Psychologist 41 (2): 75–86. Om een ‘expert’ te worden moet je uur denkarbeid/ervaring opdoen (onderzoek in het medisch domein) 4 jaar 1200 uur studie = 4800 uur

9 Kennis in HBO-context Kennis van feiten, concepten, processen, procedures en theoriën gericht op een specifieke beroepscontext. Het vermogen om deze kennis toe te passen om beroepsspecifieke problemen op te lossen. Mayer (2004) developed a literature review spanning fifty years and concluded "The research in this brief review shows that the formula constructivism = hands-on activity is a formula for educational disaster”. Kirschner, P. A., Sweller, J., and Clark, R. E. (2006). "Why minimal guidance during instruction does not work: an analysis of the failure of constructivist, discovery, problem-based, experiential, and inquiry-based teaching". Educational Psychologist 41 (2): 75–86. Om een ‘expert’ te worden moet je uur denkarbeid/ervaring opdoen (onderzoek in het medisch domein) 4 jaar 1200 uur studie = 4800 uur

10 Wat is toetsen? Een ‘meting doen’ met een bijbehorende uitspraak over de mate van beheersing van kennis en vaardigheid, vaak met een zak/slaag beslissing Centrale begrippen Validiteit Betrouwbaarheid Formatief, Summatief Schade en .. Bennett’s “Multi-faceted Organization Scheme” (Bennett, 1993, p. 47)3 Dochy met name

11 Nadenken over toetsen Simpele toets met één vraag (meting)
Doel: vaststellen of de zaal voldoende kennis heeft van Toetsen en Beoordelen Doel: vaststellen wat we vanochtend en vanmiddag gaan doen Vraag Wie heeft een cursus Toetsen en Beoordelen gevolgd?

12 Nadenken over toetsen Inhoudsvaliditeit? Construct validiteit?
Criterium validiteit? Predictieve validiteit?

13 Validiteit: toetsmatrijs
De vragen in de toets leveren een goede afspiegeling op van de stof in combinatie met het beoogde beheersingsniveau. Onderwerpen uit de stof Cognitief niveau Let op: Cognitief niveau ≠ Moeilijkheidsgraad Onder-werpen Reproductie Toepassing Inzicht Totaal 1 2 4 3 7 Enz. .. 50

14 Validiteit: toetsmatrijs
Werk met startzinnen Weten en Begrijpen: nagaan of de student kennis heeft van onderwerpen Wat is de beste definitie voor ....? Wat is (niet) karakteristiek voor ....? Uit welke onderdelen bestaat het probleem? Wat is de geschiedenis van het probleem? Welke verschillende categorieën zijn er in het probleem? Kritisch denken (evalueren): nagaan of de student de eigenschappen van feiten, procedures, principes of theoriën kan gebruiken. Wat is het meest effectief (gepast) voor ....? Wat is beter (slechter) ....? Wat is het meest effectief voor ....? Wat is de meest kritieke stap in aan procedure? Als je weet dat X waar is, wat is dan tevens waar over Y? Wat is (niet) nodig in een procedure? Wat is het belang van het probleem ? So what ? Kritisch denken (voorspellen): nagaan of de student op basis van feiten, procedures, principes of theoriën kan aangeven wat gevolgen, consequenties e.d. zijn. Wat zou er gebeuren als ....? Als dit gebeurt, wat zou je doen? Op basis van wat ...., wat zou je doen? Gegeven ... wat is belangrijkste reden dat .... Probleem oplossen (gegeven een scenario): nagaan of de student op basis van gegeven problemen oplossingen kan geven of oplossingen kan beoordelen. Wat is de aard van het probleem? Wat heb je nodig om dit probleem op te lossen? Wat is een mogelijke oplossing? Wat is de meeste effectieve (efficiente) oplossing? Waarom is .... de meest effectieve (efficiënte) oplossing?

15 p, a, Rit, Rir, Rar, Cronbach α / KR20, 1-2-3-PL IRT ….
Nadenken over toetsen Betrouwbaarheid? p, a, Rit, Rir, Rar, Cronbach α / KR20, PL IRT …. Terecht Onterecht Gezakt Geslaagd

16 Betrouwbaarheid Hoe meer vragen hoe betrouwbaarder
Hoe groter de spreiding van kennis onder studentenpopulatie, hoe betrouwbaarder de toets Soort Antwoordtijd Aantal vragen normaal gesproken nodig voor een betrouwbare toets Juist/Onjuist vraag of twee alternatieven 50 seconden 80 Drie alternatieven 60 seconden 60 Vier alternatieven 75 seconden 40

17 Betrouwbaarheid Goede toetsvragen maken Vooraf
Meten op het bedoelde cognitieve niveau Scheiden competente van niet-competente studente Zijn niet te gemakkelijk of te moeilijk Zijn relevant/motiverend Vooraf Loop alle checklists af Laat collega’s de vragen controleren Laat toetsdeskundigen de vragen controleren Doe proefafnames … maar dit alles is geen garantie – proof of the pudding is in the eating Doe de oefening vraagconstructie

18 Betrouwbaarheid Consistent beoordelen Gesloten vragen – easy
Open vragen – antwoordmodel/nakijkschema Doe de oefening ‘interbeoordelaarsbetrouwbaarheid’

19 Over cijfers geven raadscore cijfer 1 5,5 10 maximale score
cesuurscore Proportie studenten die slaagt.

20 Toets en itemanalyse We gaan de oefening doen
Vragen niet te moeilijke of gemakkelijk (P) Vragen moeten positief correleren (Rir) Correct antwoord moet positief correleren Incorrect antwoord moet niet te vaak worden gekozen Betrouwbaarheid (KR20) – wanneer voldoende?

21 voorbeeld TENTAMEN : DOCENT : ***** **-**-2001 FACULTEIT: *** AFDELING : *** _______________________________________________________________ MEERKEUZE VRAGEN FORMULIER 1 P - WAARDEN VRAAG ALT-1 ALT-2 ALT-3 ALT-4 * P-ITEM Sx Rir KR : Aantal studenten : | S KR KR20(75) Gem. Score Gem. p-waarde ______|___________________________________________________________ | MK | WO |

22 Wat willen studenten met toetsing?
Should be for learning Should be reliable, valid, fair and consistent Should consist of effective and constructive feedback Should be innovative and have the capacity to inspire and motivate Should measure understanding and application, rather than recall National Union of Students’ Principles of Effective Assessment[1] [1] Times Higher Education, 29th January 2009

23 Wat willen studenten met toetsing?
Should be conducted throughout the course, rather than being positioned as a final event Should develop key skills such as peer and reflective assessment Should be central to staff development and teaching strategies, and frequently reviewed Should be of a manageable amount for both tutors and students Should encourage dialogue between students and their tutors and students and their peers National Union of Students’ Principles of Effective Assessment[1] [1] Times Higher Education, 29th January 2009

24

25 ICT: MC, MR, drag-and-drop, math

26 ICT: Lineair question

27 ICT: Animation, Simulation, Video

28 IRT (Item Response Theory, Latent Trait Analysis

29 Itembanking

30 Quizzing – studentgericht formatief toetsen
Toets met diagnostische functie tbv tentamen Toets om te leren/oefenen

31 Voorbeeld 1: Peer instruction
ConceptTest Ontwikkeld door Eric Mazur, Harvard University

32 Voorbeeld 2a: opfrissen van voorkennis
Faculteit Aard- en Levenswetenschappen VU, cursus Plantenfysiologie

33 Voorbeeld 2b: Aanjagen van een Practicum
Faculteit Aard- en Levenswetenschappen VU, cursus Basin Analysis

34 Voorbeeld 3a: Actieve verwerking van collegestof
Faculteit Pedagogiek en Psychologie VU, cursussen Algemene Methodologie en Functieleer

35 Voorbeeld 4a: Collegeverbeteraar
Faculteit Pedagogiek en Psychologie VU, cursus Historische Pedagogie

36 Voorbeeld 4b: Collegeverbeteraar
Inleiding Voorbeelden Conclusie Faculteit Rechten VU, cursus Beginselen Strafrecht

37 Conclusie Meerdere varianten mogelijk van online Quizzing
Zorg dat de toetsen zijn ‘ingebed’ in de cursus. Zorg er zo mogelijk voor dat studenten kunnen overleggen!