Evalueren ondersteunen

Niveau Bologna (1999) EQF (2008) Decreet op kwalificatiestruct uur (2009) Domeinspecifieke leerresultatenkad ers Toetsing NVAO visitatie- en accreditatie Nieuw visitatie- en accreditatiekader (2010)

Rol van toetsing: Toetsen is sturend voor zowel het leerproces en de ontwikkeling van studenten als voor de optimalisatie van de kwaliteit van het onderwijs. (Joosten – ten Brinke, 2011)

 Als de student tevreden is, is de kwaliteit van de toetsing in orde.

Wat is kwaliteit?

Toetssysteem Toets Toetsprogramma Toetssysteem Toets Modaliteiten kiezen Ontwikkelen Afnemen Beoordelen Terugkoppelen Toetsprogramma

 De verantwoordelijkheid van de kwaliteit van de toets ligt bij de lector/ docent.

ValiditeitBetrouwbaarheidTransparantie… Toetssysteem Toets Modaliteiten kiezen Ontwikkelen Afnemen Beoordelen Terugkoppelen Toetsprogramma PDCA

ValiditeitBetrouwbaarheidTransparantie Toetssysteem Toets Modaliteiten kiezen Ontwikkelen Afnemen Beoordelen Het resultaat van de beoordeling is onafhankelijk van de beoordelaar. Terugkoppelen Toetsprogramma

ValiditeitBetrouwbaarheidTransparantie Toetssysteem Toets Modaliteiten kiezen Ontwikkelen Afnemen Beoordelen Antwoordmodel – beoordelingscriteria – afspraken Terugkoppelen Toetsprogramma

ValiditeitBetrouwbaarheidTransparantie Toetssysteem Toets Modaliteiten kiezen Ontwikkelen Afnemen Beoordelen Analyse resultaten, bevraging studenten, zelf- en peerscreening Terugkoppelen Toetsprogramma

ValiditeitBetrouwbaarheidTransparantie Toetssysteem Toets Modaliteiten kiezen Ontwikkelen Afnemen Beoordelen Workshops afstemming scores, doorlichting scoreprocedure Terugkoppelen Toetsprogramma

 Toetscommissies nemen de C uit de PDCA voor hun rekening.  Een kwaliteitsvolle toetspraktijk begint bij kwaliteitsvolle beoordelingsinstrumenten.

 Toetsplanontwikkeling – OOF Toetskoffer  Coachingstraject – OOF Toetskoffer  Beoordelingscriteria – OOF Bachelortoets

ValiditeitBetrouwbaarheidTransparantie Toetssysteem Toets Modaliteiten kiezen Ontwikkelen Afnemen Beoordelen Terugkoppelen Toetsprogramma Praktijk 1 toetsplanontwikkeling

ValiditeitBetrouwbaarheidTransparantie Toetssysteem Toets Modaliteiten kiezen Ontwikkelen Afnemen Beoordelen Terugkoppelen Toetsprogramma Praktijk 2 coachingstraject

ValiditeitBetrouwbaarheidTransparantie Toetssysteem Toets Modaliteiten kiezen Ontwikkelen Afnemen Beoordelen Terugkoppelen Toetsprogramma Praktijk 3 beoordelingscriteria

 Oprichten van toetscommissies  Voeren kwaliteitsbevordering- en borging van toetsing uit met behulp van een toetskoffer met instrumenten en methodieken

ValiditeitBetrouwbaarheidTransparantie Toetssysteem Toets Modaliteiten kiezen Ontwikkelen Afnemen Beoordelen Terugkoppelen Toetsprogramma Toetsplanontwikkeling

ToetsmatrixToetsplan Beschrijving huidige situatie inzake toetsing Opleidingsniveau Inventarisatie van huidige toetsvormen Koppeling aan beoordelaars, tijdstip van afname, doel, feedback, etc. Beschrijving van de gewenste situatie inzake toetsing Opleidingsniveau Systematisch beschrijving van alle toetsen Koppeling aan de competenties, beoordelaars, tijdstip van afname, doel, feedback, etc.

1. Inventarisatie huidige toetsing bij docenten 2. Opstellen toetsmatrix 3. Onderwijskundige analyse 4. Komen tot een toetsplan

Via onderwijskundig debat = medium om afstemming te bekomen tussen de toetspraktijk binnen de opleiding enerzijds en het competentieprofiel en de opleidingsvisie anderzijds

◦ Heuristiek  Richtinggevende vragen per essentieel aspect  Aspect van de organisatie  Aspect van relatie tussen toetsen en te verwerven competenties  Aspect van toetsvormen kiezen, toekennen en spreiden  Aspect van het doel van de evaluatie  Aspect van de beoordeling  Ter ondersteuning van het onderwijskundig debat

 Resultaat van onderwijskundig debat  Schriftelijke weergave van keuzeoverwegingen  Hulpinstrument bij uitschrijven ZER

1 2 3 Tijd Inhoud, niveau, integratie Eindtoets Bachelor

 Teams van studenten  (Onderzoeks-)project  Aangeleverd door externen uit het vakgebied  Begeleid door docenten en externe opdrachtgevers  Rapporteren conclusies/ product ◦ Paper ◦ Presentatie voor medestudenten, externen en docenten

1 2 3 Tijd Inhoud, niveau, integratie TOETSVORM Scriptie Overalltoets Project Portfolio Stage(verslag) … Eindtoets Bachelor

 Teams van studenten teamgericht werken  (Onderzoeks-)project projectmatig werken, informatieverwerving en -verwerking  Aangeleverd door externen uit het vakgebied oplossingsgericht werken  Begeleid door docenten en externe opdrachtgevers kritisch reflecteren  Rapporteren conclusies/ product communiceren

Problem solving communi cation Critical reflection Literacy skills Teamwor k Societal responsi bility Project manage ment

Beroeps- specifieke competenties Generieke competenties

◦ Gevalideerde  associatiebreed inzetbaar ◦ Set evaluatiecriteria  kwaliteit: betrouwbaarheid/ transparantie  Minimumcriteria  concretisering van niveau 6  Uitbreidingscriteria  differentiatie ◦ Sjabloon  toetsinstrument Flexibel gebruik Selectie criteria ‘Semi-’ generieke criteria Bijkomende beroepsspecifieke criteria

Assessment design Rating purpose(s) Rating form/ scale Procedures Rater Expertise Performance theory Beliefs Mood Affect Goals … Organizational context Norm, values Accountability Feedback culture Resources (time, training,…) … Ratee performance Rater Information Processing Private judgement Public decision making Score Feedback Model of performance assessment process (adapted by M. Govaerts, 2011 from DeNisi, 1996)

Criteria (experts) Literatuur Toetspraktijken Problem solving communicati on Critical reflection Literacy skillsTeamwork Societal responsibility Project management

Holistisch Analytisch Intuïtieve criteria Globale criteria Brede criteria Specifieke criteria Gedetailleerde criteria Zorgen Verschillende interpretatie  Contextspecificiteit  Globaal oordeel moet mogelijk blijven 

 Monitoring van het proces van probleemoplossen ◦ Identificatie en analyse van het probleem ◦ Ontwikkelen van de oplossing ◦ Uitvoeren en evalueren van de oplossing  Zelfregulatie ◦ Meta-begrip ◦ Metacognitieve planning

 Monitoring van het proces van probleemoplossen ◦ Identificatie en analyse van het probleem ◦ Ontwikkelen van de oplossing ◦ Uitvoeren en evalueren van de oplossing  Zelfregulatie ◦ Meta-begrip ◦ Metacognitieve planning

Identificatie van het probleem  Zoeken, selecteren en organiseren van relevante informatie ◦ Breedte van gebruikte informatie ◦ Verantwoording ◦ Detectie van betekenisvolle patronen  Bepalen van mogelijke problemen ◦ Correct begrip van de inhoud/ correcte inschatting van de situatie ◦ Analyse van de situatie ◦ Relevantie van de mogelijke problemen …

 Set criteria/ standaarden  Van set tot instrument  Test x 10  Implementatie x 19