De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

1 W E E T W A T O N D E R W IJ S W A A R D I S Onderwijscentrum VU Kennistoets - Verbeteren van de toetskwaliteit door Sylvester Draaijer (UVA)  Silvester.

Verwante presentaties


Presentatie over: "1 W E E T W A T O N D E R W IJ S W A A R D I S Onderwijscentrum VU Kennistoets - Verbeteren van de toetskwaliteit door Sylvester Draaijer (UVA)  Silvester."— Transcript van de presentatie:

1 1 W E E T W A T O N D E R W IJ S W A A R D I S Onderwijscentrum VU Kennistoets - Verbeteren van de toetskwaliteit door Sylvester Draaijer (UVA)  Silvester Draaijer  VUA  Silvester Draaijer  VUA

2 2 Onderwijscentrum VU  VU: studenten  Onderwijscentrum VU  1 e graads lerarenopleiding  Scholing en Advisering o.a. ICTO  Kwaliteitszorg (o.a. onderwijsevaluaties en tentamenschrapkaarten service)  Communities of Learners als centraal thema  Assessment is één van de aandachtspunten Pre-master assessment VU Taaltoets VU Portfolio Peer-Review (SURF project met UU en TUD) Digitaal Toetsen  VU: studenten  Onderwijscentrum VU  1 e graads lerarenopleiding  Scholing en Advisering o.a. ICTO  Kwaliteitszorg (o.a. onderwijsevaluaties en tentamenschrapkaarten service)  Communities of Learners als centraal thema  Assessment is één van de aandachtspunten Pre-master assessment VU Taaltoets VU Portfolio Peer-Review (SURF project met UU en TUD) Digitaal Toetsen

3 3 Toetsen  Toetsen dicteren het studiegedrag van studenten in belangrijke mate  Onderwijs ontwikkelen: begin bij de toets  Toetsen dicteren het studiegedrag van studenten in belangrijke mate  Onderwijs ontwikkelen: begin bij de toets

4 4 Formatief – Summatief Classroom Assessment Techniques, Kennistoets, Essaytoets, Casustoets, Voortgangstoets, Overall toets, Vaardigheidstoets, Peer assessment, Peer Instruction, Stage- en praktijkopdracht, Projectopdracht, Gedrags-assessment, Afstudeeropdracht, Intaketoets, Portfolio assessment, Criteriumgericht interview, Reflectieopdracht

5 5 Kennis: wat is het?

6 6

7 7 Nadenken over kennis Nonaka & Takeuchi To tacit knowledgeTo explicit knowledge From tacit knowledge SocializationExternalization From explicit knowledge InternalizationCombination

8 8 Kennis in HBO-context  Hernieuwde aandacht voor ‘kennis’: waarom?  Tegen  Tegen edutainment?  Tegen constructivisme?  Tegen nieuwlichterij?  Tegen ‘al dat projectonderwijs’ en ‘al dat probleemgestuurd onderwijs’  Tegen al die groepsopdrachten?  Voor  ‘Experts’ hebben hun kennis in prachtige (studie)boeken neergelegd. Dat moeten we gebruiken.  Kennis bezitten en kunnen toepassen is voorwaardelijk voor het oplossen van (complexere) problemen  Hernieuwde aandacht voor ‘kennis’: waarom?  Tegen  Tegen edutainment?  Tegen constructivisme?  Tegen nieuwlichterij?  Tegen ‘al dat projectonderwijs’ en ‘al dat probleemgestuurd onderwijs’  Tegen al die groepsopdrachten?  Voor  ‘Experts’ hebben hun kennis in prachtige (studie)boeken neergelegd. Dat moeten we gebruiken.  Kennis bezitten en kunnen toepassen is voorwaardelijk voor het oplossen van (complexere) problemen

9 9 Kennis in HBO-context  Kennis van feiten, concepten, processen, procedures en theoriën gericht op een specifieke beroepscontext.  Het vermogen om deze kennis toe te passen om beroepsspecifieke problemen op te lossen.  Kennis van feiten, concepten, processen, procedures en theoriën gericht op een specifieke beroepscontext.  Het vermogen om deze kennis toe te passen om beroepsspecifieke problemen op te lossen.

10 10 Wat is toetsen?  Een ‘meting doen’ met een bijbehorende uitspraak over de mate van beheersing van kennis en vaardigheid, vaak met een zak/slaag beslissing  Centrale begrippen  Validiteit  Betrouwbaarheid  Formatief, Summatief  Een ‘meting doen’ met een bijbehorende uitspraak over de mate van beheersing van kennis en vaardigheid, vaak met een zak/slaag beslissing  Centrale begrippen  Validiteit  Betrouwbaarheid  Formatief, Summatief

11 11 Nadenken over toetsen  Simpele toets met één vraag (meting)  Doel: vaststellen of de zaal voldoende kennis heeft van Toetsen en Beoordelen  Doel: vaststellen wat we vanochtend en vanmiddag gaan doen  Vraag  Wie heeft een cursus Toetsen en Beoordelen gevolgd?  Simpele toets met één vraag (meting)  Doel: vaststellen of de zaal voldoende kennis heeft van Toetsen en Beoordelen  Doel: vaststellen wat we vanochtend en vanmiddag gaan doen  Vraag  Wie heeft een cursus Toetsen en Beoordelen gevolgd?

12 12 Nadenken over toetsen  Inhoudsvaliditeit?  Construct validiteit?  Criterium validiteit?  Predictieve validiteit?  Inhoudsvaliditeit?  Construct validiteit?  Criterium validiteit?  Predictieve validiteit?

13 13 Validiteit: toetsmatrijs De vragen in de toets leveren een goede afspiegeling op van de stof in combinatie met het beoogde beheersingsniveau.  Onderwerpen uit de stof  Cognitief niveau Let op: Cognitief niveau ≠ Moeilijkheidsgraad De vragen in de toets leveren een goede afspiegeling op van de stof in combinatie met het beoogde beheersingsniveau.  Onderwerpen uit de stof  Cognitief niveau Let op: Cognitief niveau ≠ Moeilijkheidsgraad Onder- werpen Reproduc tie Toepassi ng InzichtTotaal Enz... Totaal.. 50

14 14 Validiteit: toetsmatrijs Werk met startzinnen Weten en Begrijpen: nagaan of de student kennis heeft van onderwerpen Wat is de beste definitie voor....? Wat is (niet) karakteristiek voor....? Uit welke onderdelen bestaat het probleem? Wat is de geschiedenis van het probleem? Welke verschillende categorieën zijn er in het probleem? Kritisch denken (evalueren): nagaan of de student de eigenschappen van feiten, procedures, principes of theoriën kan gebruiken. Wat is het meest effectief (gepast) voor....? Wat is beter (slechter)....? Wat is het meest effectief voor....? Wat is de meest kritieke stap in aan procedure? Als je weet dat X waar is, wat is dan tevens waar over Y? Wat is (niet) nodig in een procedure? Wat is het belang van het probleem ? So what ? Kritisch denken (voorspellen): nagaan of de student op basis van feiten, procedures, principes of theoriën kan aangeven wat gevolgen, consequenties e.d. zijn. Wat zou er gebeuren als....? Als dit gebeurt, wat zou je doen? Op basis van wat...., wat zou je doen? Gegeven... wat is belangrijkste reden dat.... Probleem oplossen (gegeven een scenario): nagaan of de student op basis van gegeven problemen oplossingen kan geven of oplossingen kan beoordelen. Wat is de aard van het probleem? Wat heb je nodig om dit probleem op te lossen? Wat is een mogelijke oplossing? Wat is de meeste effectieve (efficiente) oplossing? Waarom is.... de meest effectieve (efficiënte) oplossing?

15 15 Nadenken over toetsen  Betrouwbaarheid? p, a, Rit, Rir, Rar, Cronbach α / KR20, PL IRT …. TerechtOnterecht Gezakt Geslaagd

16 16 Betrouwbaarheid  Hoe meer vragen hoe betrouwbaarder  Hoe groter de spreiding van kennis onder studentenpopulatie, hoe betrouwbaarder de toets  Hoe meer vragen hoe betrouwbaarder  Hoe groter de spreiding van kennis onder studentenpopulatie, hoe betrouwbaarder de toets SoortAntwoordtijdAantal vragen normaal gesproken nodig voor een betrouwbare toets Juist/Onjuist vraag of twee alternatieven 50 seconden80 Drie alternatieven 60 seconden60 Vier alternatieven 75 seconden40

17 17 Betrouwbaarheid  Goede toetsvragen maken  Meten op het bedoelde cognitieve niveau  Scheiden competente van niet-competente studente  Zijn niet te gemakkelijk of te moeilijk  Zijn relevant/motiverend  Vooraf  Loop alle checklists af  Laat collega’s de vragen controleren  Laat toetsdeskundigen de vragen controleren  Doe proefafnames  … maar dit alles is geen garantie – proof of the pudding is in the eating  Doe de oefening vraagconstructie  Goede toetsvragen maken  Meten op het bedoelde cognitieve niveau  Scheiden competente van niet-competente studente  Zijn niet te gemakkelijk of te moeilijk  Zijn relevant/motiverend  Vooraf  Loop alle checklists af  Laat collega’s de vragen controleren  Laat toetsdeskundigen de vragen controleren  Doe proefafnames  … maar dit alles is geen garantie – proof of the pudding is in the eating  Doe de oefening vraagconstructie

18 18 Betrouwbaarheid  Consistent beoordelen  Gesloten vragen – easy  Open vragen – antwoordmodel/nakijkschema  Doe de oefening ‘interbeoordelaarsbetrouwbaarheid’  Consistent beoordelen  Gesloten vragen – easy  Open vragen – antwoordmodel/nakijkschema  Doe de oefening ‘interbeoordelaarsbetrouwbaarheid’

19 19 raadscore cijfer 1 5,5 10 maximale scorecesuurscore Proportie studenten die slaagt. Over cijfers geven

20 20 Toets en itemanalyse  We gaan de oefening doen  Vragen niet te moeilijke of gemakkelijk (P)  Vragen moeten positief correleren (Rir)  Correct antwoord moet positief correleren  Incorrect antwoord moet niet te vaak worden gekozen  Betrouwbaarheid (KR20) – wanneer voldoende?  We gaan de oefening doen  Vragen niet te moeilijke of gemakkelijk (P)  Vragen moeten positief correleren (Rir)  Correct antwoord moet positief correleren  Incorrect antwoord moet niet te vaak worden gekozen  Betrouwbaarheid (KR20) – wanneer voldoende?

21 21 voorbeeld TENTAMEN : DOCENT : ***** **-**-2001 FACULTEIT: *** AFDELING : *** _______________________________________________________________ MEERKEUZE VRAGEN FORMULIER 1 P - WAARDEN VRAAG ALT-1 ALT-2 ALT-3 ALT-4 * P-ITEM Sx Rir _______________________________________________________________ KR-20 : 0.82 Aantal studenten : 154 | S KR20 KR20(75) Gem. Score Gem. p-waarde ______|___________________________________________________________ | MK | WO |

22 22 Wat willen studenten met toetsing?  Should be for learning  Should be reliable, valid, fair and consistent  Should consist of effective and constructive feedback  Should be innovative and have the capacity to inspire and motivate  Should measure understanding and application, rather than recall  Should be for learning  Should be reliable, valid, fair and consistent  Should consist of effective and constructive feedback  Should be innovative and have the capacity to inspire and motivate  Should measure understanding and application, rather than recall

23 23 Wat willen studenten met toetsing?  Should be conducted throughout the course, rather than being positioned as a final event  Should develop key skills such as peer and reflective assessment  Should be central to staff development and teaching strategies, and frequently reviewed  Should be of a manageable amount for both tutors and students  Should encourage dialogue between students and their tutors and students and their peers  Should be conducted throughout the course, rather than being positioned as a final event  Should develop key skills such as peer and reflective assessment  Should be central to staff development and teaching strategies, and frequently reviewed  Should be of a manageable amount for both tutors and students  Should encourage dialogue between students and their tutors and students and their peers

24 24

25 25 ICT: MC, MR, drag-and-drop, math

26 26 ICT: Lineair question

27 27 ICT: Animation, Simulation, Video

28 28 IRT (Item Response Theory, Latent Trait Analysis

29 29 Itembanking

30 30 Quizzing – studentgericht formatief toetsen  Toets met diagnostische functie tbv tentamen  Toets om te leren/oefenen  Toets met diagnostische functie tbv tentamen  Toets om te leren/oefenen

31 31 Voorbeeld 1: Peer instruction  ConceptTest  Ontwikkeld door Eric Mazur, Harvard University  ConceptTest  Ontwikkeld door Eric Mazur, Harvard University

32 32 Voorbeeld 2a: opfrissen van voorkennis  Faculteit Aard- en Levenswetenschappen VU, cursus Plantenfysiologie

33 33 Voorbeeld 2b: Aanjagen van een Practicum  Faculteit Aard- en Levenswetenschappen VU, cursus Basin Analysis

34 34 Voorbeeld 3a: Actieve verwerking van collegestof  Faculteit Pedagogiek en Psychologie VU, cursussen Algemene Methodologie en Functieleer

35 35 Voorbeeld 4a: Collegeverbeteraar  Faculteit Pedagogiek en Psychologie VU, cursus Historische Pedagogie

36 36 Voorbeeld 4b: Collegeverbeteraar  Faculteit Rechten VU, cursus Beginselen Strafrecht Inleiding Voorbeelden Conclusie

37 37 Conclusie  Meerdere varianten mogelijk van online Quizzing  Zorg dat de toetsen zijn ‘ingebed’ in de cursus.  Zorg er zo mogelijk voor dat studenten kunnen overleggen!  Meerdere varianten mogelijk van online Quizzing  Zorg dat de toetsen zijn ‘ingebed’ in de cursus.  Zorg er zo mogelijk voor dat studenten kunnen overleggen!


Download ppt "1 W E E T W A T O N D E R W IJ S W A A R D I S Onderwijscentrum VU Kennistoets - Verbeteren van de toetskwaliteit door Sylvester Draaijer (UVA)  Silvester."

Verwante presentaties


Ads door Google