Evalueren bij afstuderen

Presentatie over: "Evalueren bij afstuderen"— Transcript van de presentatie:

1 Evalueren bij afstuderen
OOF Bachelortoets

2 Intro

3 Voorbeeld Teams van studenten (Onderzoeks-)project
Aangeleverd door externen uit het vakgebied Begeleid door docenten en externe opdrachtgevers Rapporteren conclusies/ product Paper Presentatie voor medestudenten, externen en docenten

4 Voorbeeld Herkent u aspecten uit deze toets?
MMA Maar ook: VPK, SW, CH, SPIZ, SO, VD… Welke competenties kan u beoordelen met dergelijke toets?

5 Voorbeeld MMA Kritische ingesteldheid Flexibiliteit Nauwkeurigheid
Professionaliteit Leergierigheid Goede omgang met feedback Timemanagement Planningsvaardigheden Samenwerkingsvaardigheden Schrijfvaardigheden

6 Inhoud, niveau, integratie
Project - inhoud TOETSVORM Scriptie - afstudeerwerk Overalltoets Project - sfstudeerproject Portfolio Stage(verslag) … Eindtoets Bachelor 3 Inhoud, niveau, integratie 2 1 tijd

7 Verloop workshop Intro Voorbeeld Kader Project Work (shop) World café
Theoretisch kader Assessment instrument (Work) Shop Voorbeeld Vragen

8 Kader

9 Project - aanleiding Bachelor Toets Kwaliteitsvolle toetsing=
Bologna (1999) EQF (2008) Decreet op kwalificatiestructuur (2009) Domeinspecifieke leerresultatenkaders Toets NVAO visitatie- en accreditatie Nieuw visitatie- en accreditatiekader (2010) – standaard 3 Kwaliteitsvolle toetsing= Bewijslast voor eindniveau Sturend effect

10 Project - aanleiding Assessmentinstrumenten voor eindevaluatie (divergent assessment): Verschillende opleidingen (TI, IZSP,…) Verschillende vormen en procedures Verschillende (beroepsspecifieke) focus Verschillende context Gelijkaardige evaluatiecriteria/ standaarden

11 Project - Algemene competenties
Denk- en redeneervaardigheid Verwerven en verwerken van informatie Kritische reflectie Projectmatig werken Creativiteit Uitvoeren eenvoudige leidinggevende taken Communiceren Levenslang leren

12 Project - Algemeen beroepsgerichte competenties
Teamgericht werken Oplossingsgericht werken Maatschappelijke verantwoordelijkheid samenhangend met de beroepspraktijk

13 Project - doelstellingen
Gevalideerde  associatiebreed inzetbaar Set evaluatiecriteria kwaliteit: betrouwbaarheid/ transparantie Minimumcriteria  concretisering van niveau 6 Uitbreidingscriteria  differentiatie Sjabloon  toetsinstrument

14 Project - timing WP1: Kaders WP2: Ontwerp WP3: Validering
WP4: Implementatie WP5: Disseminatie Adviesraad Intern seminarie Adviesraad Intern seminarie Adviesraad

15 Aan het project zullen 19 opleidingen deelnemen vanuit de KHLIM, Thomas Moore en KHleuven, die opgedeeld zijn in twee schillen. De middelste schil, “schil 1” waartoe jullie behoren, zal initieel ingeschakeld worden voor het aanleveren van het materiaal, op basis waarvan de criteria zullen ontwikkeld worden. Na het ontwikkelwerk zal een proefset van criteria worden voorgesteld aan schil 2, die deze zullen testen in hun opleiding (gebruiken naast bestaande beoordelingscriteria) en valideren. Een adviesraad – bestaande uit externen (kwaliteitszorgdeskundigen, toetsdeskundigen enz.) geven kritische feedback op het ontwikkelwerk en de resultaten van de implementatie, spreken zich ook uit over de randvoorwaarden.

16 Work

17

18 World Café 3 groepen – 3 thema’s – 1 toets (SPIZ) Per thema:
Bruikbaarheid criteria Eindniveau Scoren Per thema: Argumenten Zorgen Condities voor goede praktijk Doorschuiven en ‘verder borduren’

19 World Café – toets bruikbaarheid criteria
Argumenten Transparant Correct Objectief Zorgen Verschillende interpretatie Contextspecificiteit Globaal oordeel moet mogelijk blijven

20 Kader

21 Project – divergent assessment
Evaluatiecriteria/ standaarden Resultaten van studenten Expertise van assessoren Proces van beoordelen

22 Rater Information Processing
Assessment design Rating purpose(s) Rating form/ scale Procedures Ratee performance Rater Expertise Performance theory Beliefs Mood Affect Goals … Rater Information Processing Private judgement Organizational context Norm, values Accountability Feedback culture Resources (time, training,…) … Public decision making Score Feedback Model of performance assessment process (adapted by M. Govaerts, 2011 from DeNisi, 1996)

23 Project - Evaluatiecriteria
Gedetailleerde criteria Intuïtieve criteria Specifieke criteria Globale criteria Brede criteria Holistisch Analytisch Zorgen Verschillende interpretatie  Contextspecificiteit  Globaal oordeel moet mogelijk blijven 

24 Project - Evaluatiecriteria
Een goed evaluatiecriterium is: Betrouwbaar Valide Transparant Gelinkt aan competenties (~gelinkt aan evaluatievorm) Niet te algemeen, niet te specifiek geformuleerd Overlapt niet met andere criteria Naast het bepalen van de context, hebben we ook gekeken in de literatuur wat nu maakt dat een evaluatiecriterium een ‘goed’ evaluatiecriterium is. We kwamen tot enkele kwaliteitselementen. Betrouwbaar: eenduidig, kort geformuleerd Valide: gelinkt aan een competentie, op hetzelfde niveau geformuleerd Transparant: zowel duidelijk voor lector ALS student: duidelijk wel gedrag de student moet vertonen, niet teveel vakjargon (later in implementatiefase: ook aan studenten voorzien) Gelinkt aan competenties: betekent ook dat het op hetzelfde niveau geformuleerd is als de competentie bv. slaagt de competentie op kennen, toepassen, reflecteren  in het project competenties indelen aan de hand van hun werkwoorden op 2 dimensies om zo het drie-dimensionaal niveau te bepalen. Niet te algemeen, niet te specifiek: Er is een ideaal punt dat tussen algemeen en specifiek ligt. Te algemeen is weinig zeggend, weinig begrijpbaar en leidt tot teveel verschillen, maar vanaf een bepaalde mate van detail leidt meer detail toevoegen niet tot meer begrip – integendeel! Brede criteria sluiten aan bij dit item. Plaatsen in beoordelingsrooster: kwaliteit verhoogt

25 Project – gebruik evaluatiecriteria
Gevalideerde  associatiebreed inzetbaar Set evaluatiecriteria kwaliteit: betrouwbaarheid/ transparantie Minimumcriteria  concretisering van niveau 6 Uitbreidingscriteria  differentiatie Sjabloon  toetsinstrument Flexibel gebruik Selectie criteria ‘Semi-’ generieke criteria Bijkomende beroepsspecifieke criteria

26 Project – gebruik evaluatiecriteria
Structuur opmaken Criteria opvragen Criteria labelen Opgevraagde criteria – AC/ABC Literatuur AC/ ABC Differentiatie per toetsvorm Inventaris Criteria Inventaris Competenties Inventaris toetsvormen

27 Project - sharepoint

28 Shop

29 Structuur Generieke competenties Schalen Criteria Toetsvormen/niveau

30 Structuur Generieke competenties Schalen Criteria Toetsvormen/niveau
AC1 Denk- en redeneervaardigheid AC2 Verwerven en verwerken van informatie AC3 Kritische reflectie AC4 Projectmatig werken AC5 Creativiteit AC6 Uitvoeren eenvoudige leidinggevende taken AC7 Communiceren AC8 Levenslang leren ABC1 Teamgericht werken ABC2 Oplossingsgericht werken ABC3 Maatschappelijke verantwoordelijkheid samenhangend met beroepspraktijk

31 Structuur Generieke competenties Schalen Criteria Toetsvormen/niveau
De student kan relevante gegevens verzamelen, selecteren en structureren De student kan de verworven informatie kritisch verwerken en beschrijven …

32 Structuur Generieke competenties Schalen Criteria Toetsvormen/niveau
Probleemstelling formuleren Bronnen selecteren Gestructureerd kader schetsen

33 Structuur Generieke competenties Schalen Criteria Toetsvormen/niveau

34 Het vermogen tot het verwerven en verwerken van informatie
De student kan relevante gegevens verzamelen, selecteren en structureren Probleemstelling formuleren

35 Oefening 2 documenten SPIZ - MMA Opdrachtbeschrijving
Evaluatiecriteria  Gelijkenissen?

36 Basis Uitbreiding Scriptie
De probleemstelling wordt duidelijk omschreven De belangrijkste bronnen worden geselecteerd en er wordt correct naar verwezen Recente ontwikkelingen van en inzichten over het thema zijn correct beschreven en voldoende uitgewerkt Het conceptueel en contextueel kader wordt duidelijk geschetst Gestructureerde en overzichtelijke opbouw Duidelijk, bondig omschreven, goed afgebakende en verantwoorde probleemstelling Voldoende, relevante, ook internationale referenties Relevante visuele ondersteuning door figuren Project Het praktijkvraagstuk, de opdrachtgever en de nodige middelen worden duidelijk omschreven De literatuurkeuzes worden duidelijk omschreven en verantwoord vanuit het praktijkvraagstuk De belangrijkste bronnen worden gebruikt Het praktijkvraagstuk is duidelijk, bondig omschreven en afgebakend, kritisch verantwoord De geraadpleegde literatuur is verscheiden, bekend binnen het werkveld en toonaangevend Recente ontwikkelingen van en inzichten over het thema zijn opgenomen en correct beschreven en voldoende uitgewerkt Stage De juiste personen (cliënt/patiënt/collega) worden op een gepaste wijze bevraagd De relevante informatie kan uit het verhaal van de cliënt/patiënt worden onderscheiden, om deze te gebruiken voor verdere stappen of analyse De student kan ook in complexe, niet-vertrouwde situaties of contexten de juiste informatie selecteren Vernieuwing en recente ontwikkelingen in het vakgebied worden opgevolgd Gerichte, objectieve vragen worden aan de cliënt/patiënt/collega gesteld om efficiënt de juiste informatie te verkrijgen De informatie wordt op een kritische manier en kan dit wordt procesmatig verduidelijkt De verworven informatie van de cliënt/patiënt wordt vergeleken en geïntegreerd met eerdere informatie Vakliteratuur wordt gericht geraadpleegd met als doel informatie over en voor de praktijkcontext te verzamelen

37 Vragen

38 Bedankt! Jetske.strijbos@khleuven.be Greet.fastre@khlim.be
Bedankt voor de medewerking