RU-onderwijsdag 23 mei 2006 Workshop Toetsen en beoordelen 1 ‘Traditioneel’ versus ‘Modern’ Mariëlle Theunissen (ILS) Arie Geerding (IOWO) Ad van Hout (MSO)

Waarom aandacht voor toetsen en beoordelen? RU-onderwijsdag 23 mei 2006 Workshop Toetsen en beoordelen 1 Waarom aandacht voor toetsen en beoordelen? Veranderende eisen aan toetsen en beoordelen vanuit accreditatiekader directe relatie met uitstroomkwalificaties grotere transparantie óók integrale toetsmomenten en niet alleen deeltoetsen Ontwikkeling naar competentiegericht leren en opleiden in hoger beroepsonderwijs ook in wetenschappelijk onderwijs én de RU!

Waar gaat het om bij toetsen en beoordelen? RU-onderwijsdag 23 mei 2006 Workshop Toetsen en beoordelen 1 Waar gaat het om bij toetsen en beoordelen? Nagaan of studenten de doelen van een programmaonderdeel hebben bereikt Deze doelen zijn (direct) afgeleid van de (eind)kwalificaties Zijn de kwalificaties competenties dan zijn de doelen ook geformuleerd in de vorm van competenties.

Wat is een competentie? Werkomschrijving: RU-onderwijsdag 23 mei 2006 Workshop Toetsen en beoordelen 1 Wat is een competentie? Werkomschrijving: Complexe (d.w.z. niet-enkelvoudige) vaardigheid waarmee een taak verricht wordt in een specifieke context (beroep of academisch) met geïntegreerd gebruik van noodzakelijke onderliggende kennis en eenvoudige vaardigheden en attitudes leidt tot een prestatie die voldoet aan beroepsspecifieke en/of academische eisen.

Voorbeeld van een competentie RU-onderwijsdag 23 mei 2006 Workshop Toetsen en beoordelen 1 Voorbeeld van een competentie Competentie: Onderzoeken Op doelgerichte en methodische wijze ontwikkelen van nieuwe wetenschappelijke kennis en inzichten als junior-onderzoeker bij een wetenschappelijk onderzoeksinstituut op het gebied van X met als opdrachtgever …. en als opdracht … met als product(en) een onderzoeksvoorstel en een onderzoeksverslag die voldoen aan de volgende eisen ….

Goed toetsen en beoordelen …. RU-onderwijsdag 23 mei 2006 Workshop Toetsen en beoordelen 1 Goed toetsen en beoordelen …. … heeft als voorwaarde: duidelijke en relevante doelen! Met andere woorden: de kwaliteit van de toetsing hangt in grote mate af van de kwaliteit van de doelformulering (en in geval van competenties van de competentieformulering).

‘Moderne’ toetsvormen RU-onderwijsdag 23 mei 2006 Workshop Toetsen en beoordelen 1 ‘Moderne’ toetsvormen Competentiegericht toetsen = Assessment Meest voorkomende / genoemde assessmentvormen: Proeve van bekwaamheid Overall toets / Casustoets Assessmentcenter Portfolioassessment Criteriumgericht interview.

Proeve van bekwaamheid RU-onderwijsdag 23 mei 2006 Workshop Toetsen en beoordelen 1 Proeve van bekwaamheid Voorbeeld: Als extern organisatieadviseur een concurrentieanalyse maken voor een middelgrote nationale onderneming m.b.v. het 5 krachtenmodel van Porter. Demonstreren van competentie(s) Aan de hand van een opdracht in een bepaalde context een bepaald product maken en daarmee alle aspecten van de competentie in samenhang laten zien beoordeling a.d.v. criteria Summatief: certificering of doorstroombeslissing.

Proeve van bekwaamheid RU-onderwijsdag 23 mei 2006 Workshop Toetsen en beoordelen 1 Proeve van bekwaamheid In de werksituatie: direct d.m.v. observatie: b.v. échte patiënten tandheelkunde ·    indirect d.m.v. bewijzen uit de werksituatie: bijv. technisch ontwerp, beleidsnota, wetenschappelijk artikel. In nagebootste werksituatie (simulatie): ·    ook weer direct: b.v. oefenrechtbank, managementgame, simulatiepatiënten ·    of indirect: b.v. een pleitnota, behandelplan, concurrentieanalyse, onderzoeksverslag.

Overall toets / Casustoets RU-onderwijsdag 23 mei 2006 Workshop Toetsen en beoordelen 1 Overall toets / Casustoets meet niet het echte handelen, maar voorgenomen handelen (cognitief strategieniveau) Evalueert vooral in hoeverre een student relevante realistische problemen kan identificeren, formuleren, analyseren en oplossen Impliceert kennis en is in die zin toegepaste kennistoets Open boek Eén grote of meerdere (kleine) casussen eventueel thuis van tevoren bestuderen Toets zelf bestaat uit combinatie van open en gesloten vragen Vooral summatief: certificering of doorstroombeslissing

Assessmentcenter Serie gestandaardiseerde proeven van bekwaamheid RU-onderwijsdag 23 mei 2006 Workshop Toetsen en beoordelen 1 Assessmentcenter Serie gestandaardiseerde proeven van bekwaamheid Vooral gericht op (observatie van) gedrag Zeer intensief …. …. in onderwijscontext eigenlijk onbetaalbaar

Portfolioassessment Workshop Toetsen en beoordelen 1 RU-onderwijsdag 23 mei 2006 Workshop Toetsen en beoordelen 1 Portfolioassessment Student verzamelt authentieke ‘bewijzen’ van competent zijn: uit werk- of stagesituatie óf uit onderwijssituatie     Producten     Verslagen     Beoordelingen Vaak formatief (ontwikkelingsgericht); maar óók summatief.

Criteriumgericht interview RU-onderwijsdag 23 mei 2006 Workshop Toetsen en beoordelen 1 Criteriumgericht interview Ondervraging van student om informatie over competentie(s) te krijgen a.h.v. van tevoren vastgestelde en gestandaardiseerde criteria / hoofdvragenlijst Zelfstandig of aanvulling op andere assessmentvormen (b.v. op portfolioassessment).

Validiteit En de kwaliteit??? Betrouwbaarheid Bruikbaarheid RU-onderwijsdag 23 mei 2006 Workshop Toetsen en beoordelen 1 En de kwaliteit??? Validiteit Meet het wat het moet meten? Betrouwbaarheid Meettechnische juistheid Bruikbaarheid Is het te doen door student, docent en opleiding? Is het betaalbaar en organiseerbaar?

Kennistoetsen zijn dus NIET valide om competenties te meten! RU-onderwijsdag 23 mei 2006 Workshop Toetsen en beoordelen 1 Validiteit Meet het wat het moet meten? De doelen! Competentiegericht = toevoegen van: Integraal en niet de losse delen Authenticiteit van taak en context Kennistoetsen zijn dus NIET valide om competenties te meten!

Overzicht kwaliteit toetsvormen RU-onderwijsdag 23 mei 2006 Workshop Toetsen en beoordelen 1 Overzicht kwaliteit toetsvormen Er is géén standaardoplossing! Keuze afhankelijk van het doel of de competentie validiteit betrouwbaarheid bruikbaarheid Proeve van bekwaamheid ++ +/- Overall/ Casustoets + Assessment Center - - Portfolio ass. Criteriumger. Interview Kennistoets

De beste methode is een methodemix RU-onderwijsdag 23 mei 2006 Workshop Toetsen en beoordelen 1 Algemeen geldt: De beste methode is een methodemix Competentiegerichtheid stelt specifieke eisen en sommige toetsvormen lenen zich daar beter voor Wat u er mee kunt? Dat kunt u het beste zelf bepalen!