Evalueren ondersteunen. Niveau Bologna (1999) EQF (2008) Decreet op kwalificatiestruct uur (2009) Domeinspecifieke leerresultatenkad ers Toetsing NVAO.

Presentatie over: "Evalueren ondersteunen. Niveau Bologna (1999) EQF (2008) Decreet op kwalificatiestruct uur (2009) Domeinspecifieke leerresultatenkad ers Toetsing NVAO."— Transcript van de presentatie:

1 Evalueren ondersteunen

2

3 Niveau Bologna (1999) EQF (2008) Decreet op kwalificatiestruct uur (2009) Domeinspecifieke leerresultatenkad ers Toetsing NVAO visitatie- en accreditatie Nieuw visitatie- en accreditatiekader (2010)

4 Rol van toetsing: Toetsen is sturend voor zowel het leerproces en de ontwikkeling van studenten als voor de optimalisatie van de kwaliteit van het onderwijs. (Joosten – ten Brinke, 2011)

5  Als de student tevreden is, is de kwaliteit van de toetsing in orde.

6 Wat is kwaliteit?

7 Toetssysteem Toets Toetsprogramma Toetssysteem Toets Modaliteiten kiezen Ontwikkelen Afnemen Beoordelen Terugkoppelen Toetsprogramma

8  De verantwoordelijkheid van de kwaliteit van de toets ligt bij de lector/ docent.

9 ValiditeitBetrouwbaarheidTransparantie… Toetssysteem Toets Modaliteiten kiezen Ontwikkelen Afnemen Beoordelen Terugkoppelen Toetsprogramma PDCA

10

11 ValiditeitBetrouwbaarheidTransparantie Toetssysteem Toets Modaliteiten kiezen Ontwikkelen Afnemen Beoordelen Het resultaat van de beoordeling is onafhankelijk van de beoordelaar. Terugkoppelen Toetsprogramma

12 ValiditeitBetrouwbaarheidTransparantie Toetssysteem Toets Modaliteiten kiezen Ontwikkelen Afnemen Beoordelen Antwoordmodel – beoordelingscriteria – afspraken Terugkoppelen Toetsprogramma

13 ValiditeitBetrouwbaarheidTransparantie Toetssysteem Toets Modaliteiten kiezen Ontwikkelen Afnemen Beoordelen Analyse resultaten, bevraging studenten, zelf- en peerscreening Terugkoppelen Toetsprogramma

14 ValiditeitBetrouwbaarheidTransparantie Toetssysteem Toets Modaliteiten kiezen Ontwikkelen Afnemen Beoordelen Workshops afstemming scores, doorlichting scoreprocedure Terugkoppelen Toetsprogramma

15  Toetscommissies nemen de C uit de PDCA voor hun rekening.  Een kwaliteitsvolle toetspraktijk begint bij kwaliteitsvolle beoordelingsinstrumenten.

16

17  Toetsplanontwikkeling – OOF Toetskoffer  Coachingstraject – OOF Toetskoffer  Beoordelingscriteria – OOF Bachelortoets

18 ValiditeitBetrouwbaarheidTransparantie Toetssysteem Toets Modaliteiten kiezen Ontwikkelen Afnemen Beoordelen Terugkoppelen Toetsprogramma Praktijk 1 toetsplanontwikkeling

19 ValiditeitBetrouwbaarheidTransparantie Toetssysteem Toets Modaliteiten kiezen Ontwikkelen Afnemen Beoordelen Terugkoppelen Toetsprogramma Praktijk 2 coachingstraject

20 ValiditeitBetrouwbaarheidTransparantie Toetssysteem Toets Modaliteiten kiezen Ontwikkelen Afnemen Beoordelen Terugkoppelen Toetsprogramma Praktijk 3 beoordelingscriteria

21

22  Oprichten van toetscommissies  Voeren kwaliteitsbevordering- en borging van toetsing uit met behulp van een toetskoffer met instrumenten en methodieken

23 ValiditeitBetrouwbaarheidTransparantie Toetssysteem Toets Modaliteiten kiezen Ontwikkelen Afnemen Beoordelen Terugkoppelen Toetsprogramma Toetsplanontwikkeling

24 ToetsmatrixToetsplan Beschrijving huidige situatie inzake toetsing Opleidingsniveau Inventarisatie van huidige toetsvormen Koppeling aan beoordelaars, tijdstip van afname, doel, feedback, etc. Beschrijving van de gewenste situatie inzake toetsing Opleidingsniveau Systematisch beschrijving van alle toetsen Koppeling aan de competenties, beoordelaars, tijdstip van afname, doel, feedback, etc.

25 1. Inventarisatie huidige toetsing bij docenten 2. Opstellen toetsmatrix 3. Onderwijskundige analyse 4. Komen tot een toetsplan

26 Via onderwijskundig debat = medium om afstemming te bekomen tussen de toetspraktijk binnen de opleiding enerzijds en het competentieprofiel en de opleidingsvisie anderzijds

27

28 ◦ Heuristiek  Richtinggevende vragen per essentieel aspect  Aspect van de organisatie  Aspect van relatie tussen toetsen en te verwerven competenties  Aspect van toetsvormen kiezen, toekennen en spreiden  Aspect van het doel van de evaluatie  Aspect van de beoordeling  Ter ondersteuning van het onderwijskundig debat

29  Resultaat van onderwijskundig debat  Schriftelijke weergave van keuzeoverwegingen  Hulpinstrument bij uitschrijven ZER

30

31

32

33 1 2 3 Tijd Inhoud, niveau, integratie Eindtoets Bachelor

34  Teams van studenten  (Onderzoeks-)project  Aangeleverd door externen uit het vakgebied  Begeleid door docenten en externe opdrachtgevers  Rapporteren conclusies/ product ◦ Paper ◦ Presentatie voor medestudenten, externen en docenten

35 1 2 3 Tijd Inhoud, niveau, integratie TOETSVORM Scriptie Overalltoets Project Portfolio Stage(verslag) … Eindtoets Bachelor

36  Teams van studenten teamgericht werken  (Onderzoeks-)project projectmatig werken, informatieverwerving en -verwerking  Aangeleverd door externen uit het vakgebied oplossingsgericht werken  Begeleid door docenten en externe opdrachtgevers kritisch reflecteren  Rapporteren conclusies/ product communiceren

37 Problem solving communi cation Critical reflection Literacy skills Teamwor k Societal responsi bility Project manage ment

38 Beroeps- specifieke competenties Generieke competenties

39 ◦ Gevalideerde  associatiebreed inzetbaar ◦ Set evaluatiecriteria  kwaliteit: betrouwbaarheid/ transparantie  Minimumcriteria  concretisering van niveau 6  Uitbreidingscriteria  differentiatie ◦ Sjabloon  toetsinstrument Flexibel gebruik Selectie criteria ‘Semi-’ generieke criteria Bijkomende beroepsspecifieke criteria

40 Assessment design Rating purpose(s) Rating form/ scale Procedures Rater Expertise Performance theory Beliefs Mood Affect Goals … Organizational context Norm, values Accountability Feedback culture Resources (time, training,…) … Ratee performance Rater Information Processing Private judgement Public decision making Score Feedback Model of performance assessment process (adapted by M. Govaerts, 2011 from DeNisi, 1996)

41 Criteria (experts) Literatuur Toetspraktijken Problem solving communicati on Critical reflection Literacy skillsTeamwork Societal responsibility Project management

42 Holistisch Analytisch Intuïtieve criteria Globale criteria Brede criteria Specifieke criteria Gedetailleerde criteria Zorgen Verschillende interpretatie  Contextspecificiteit  Globaal oordeel moet mogelijk blijven 

43  Monitoring van het proces van probleemoplossen ◦ Identificatie en analyse van het probleem ◦ Ontwikkelen van de oplossing ◦ Uitvoeren en evalueren van de oplossing  Zelfregulatie ◦ Meta-begrip ◦ Metacognitieve planning

44  Monitoring van het proces van probleemoplossen ◦ Identificatie en analyse van het probleem ◦ Ontwikkelen van de oplossing ◦ Uitvoeren en evalueren van de oplossing  Zelfregulatie ◦ Meta-begrip ◦ Metacognitieve planning

45 Identificatie van het probleem  Zoeken, selecteren en organiseren van relevante informatie ◦ Breedte van gebruikte informatie ◦ Verantwoording ◦ Detectie van betekenisvolle patronen  Bepalen van mogelijke problemen ◦ Correct begrip van de inhoud/ correcte inschatting van de situatie ◦ Analyse van de situatie ◦ Relevantie van de mogelijke problemen …

46  Set criteria/ standaarden  Van set tot instrument  Test x 10  Implementatie x 19

47