Evalueren bij afstuderen OOF Bachelortoets

Intro

Voorbeeld Teams van studenten (Onderzoeks-)project Aangeleverd door externen uit het vakgebied Begeleid door docenten en externe opdrachtgevers Rapporteren conclusies/ product Paper Presentatie voor medestudenten, externen en docenten

Voorbeeld Herkent u aspecten uit deze toets? MMA Maar ook: VPK, SW, CH, SPIZ, SO, VD… Welke competenties kan u beoordelen met dergelijke toets?

Voorbeeld MMA Kritische ingesteldheid Flexibiliteit Nauwkeurigheid Professionaliteit Leergierigheid Goede omgang met feedback Timemanagement Planningsvaardigheden Samenwerkingsvaardigheden Schrijfvaardigheden

Inhoud, niveau, integratie Project - inhoud TOETSVORM Scriptie - afstudeerwerk Overalltoets Project - sfstudeerproject Portfolio Stage(verslag) … Eindtoets Bachelor 3 Inhoud, niveau, integratie 2 1 tijd

Verloop workshop Intro Voorbeeld Kader Project Work (shop) World café Theoretisch kader Assessment instrument (Work) Shop Voorbeeld Vragen

Kader

Project - aanleiding Bachelor Toets Kwaliteitsvolle toetsing= Bologna (1999) EQF (2008) Decreet op kwalificatiestructuur (2009) Domeinspecifieke leerresultatenkaders Toets NVAO visitatie- en accreditatie Nieuw visitatie- en accreditatiekader (2010) – standaard 3 Kwaliteitsvolle toetsing= Bewijslast voor eindniveau Sturend effect

Project - aanleiding Assessmentinstrumenten voor eindevaluatie (divergent assessment): Verschillende opleidingen (TI, IZSP,…) Verschillende vormen en procedures Verschillende (beroepsspecifieke) focus Verschillende context Gelijkaardige evaluatiecriteria/ standaarden

Project - Algemene competenties Denk- en redeneervaardigheid Verwerven en verwerken van informatie Kritische reflectie Projectmatig werken Creativiteit Uitvoeren eenvoudige leidinggevende taken Communiceren Levenslang leren

Project - Algemeen beroepsgerichte competenties Teamgericht werken Oplossingsgericht werken Maatschappelijke verantwoordelijkheid samenhangend met de beroepspraktijk

Project - doelstellingen Gevalideerde  associatiebreed inzetbaar Set evaluatiecriteria kwaliteit: betrouwbaarheid/ transparantie Minimumcriteria  concretisering van niveau 6 Uitbreidingscriteria  differentiatie Sjabloon  toetsinstrument

Project - timing WP1: Kaders WP2: Ontwerp WP3: Validering WP4: Implementatie WP5: Disseminatie Adviesraad Intern seminarie Adviesraad Intern seminarie Adviesraad

Aan het project zullen 19 opleidingen deelnemen vanuit de KHLIM, Thomas Moore en KHleuven, die opgedeeld zijn in twee schillen. De middelste schil, “schil 1” waartoe jullie behoren, zal initieel ingeschakeld worden voor het aanleveren van het materiaal, op basis waarvan de criteria zullen ontwikkeld worden. Na het ontwikkelwerk zal een proefset van criteria worden voorgesteld aan schil 2, die deze zullen testen in hun opleiding (gebruiken naast bestaande beoordelingscriteria) en valideren. Een adviesraad – bestaande uit externen (kwaliteitszorgdeskundigen, toetsdeskundigen enz.) geven kritische feedback op het ontwikkelwerk en de resultaten van de implementatie, spreken zich ook uit over de randvoorwaarden.

Work

World Café 3 groepen – 3 thema’s – 1 toets (SPIZ) Per thema: Bruikbaarheid criteria Eindniveau Scoren Per thema: Argumenten Zorgen Condities voor goede praktijk Doorschuiven en ‘verder borduren’

World Café – toets bruikbaarheid criteria Argumenten Transparant Correct Objectief Zorgen Verschillende interpretatie Contextspecificiteit Globaal oordeel moet mogelijk blijven

Kader

Project – divergent assessment Evaluatiecriteria/ standaarden Resultaten van studenten Expertise van assessoren Proces van beoordelen

Rater Information Processing Assessment design Rating purpose(s) Rating form/ scale Procedures Ratee performance Rater Expertise Performance theory Beliefs Mood Affect Goals … Rater Information Processing Private judgement Organizational context Norm, values Accountability Feedback culture Resources (time, training,…) … Public decision making Score Feedback Model of performance assessment process (adapted by M. Govaerts, 2011 from DeNisi, 1996)

Project - Evaluatiecriteria Gedetailleerde criteria Intuïtieve criteria Specifieke criteria Globale criteria Brede criteria Holistisch Analytisch Zorgen Verschillende interpretatie  Contextspecificiteit  Globaal oordeel moet mogelijk blijven 

Project - Evaluatiecriteria Een goed evaluatiecriterium is: Betrouwbaar Valide Transparant Gelinkt aan competenties (~gelinkt aan evaluatievorm) Niet te algemeen, niet te specifiek geformuleerd Overlapt niet met andere criteria Naast het bepalen van de context, hebben we ook gekeken in de literatuur wat nu maakt dat een evaluatiecriterium een ‘goed’ evaluatiecriterium is. We kwamen tot enkele kwaliteitselementen. Betrouwbaar: eenduidig, kort geformuleerd Valide: gelinkt aan een competentie, op hetzelfde niveau geformuleerd Transparant: zowel duidelijk voor lector ALS student: duidelijk wel gedrag de student moet vertonen, niet teveel vakjargon (later in implementatiefase: ook aan studenten voorzien) Gelinkt aan competenties: betekent ook dat het op hetzelfde niveau geformuleerd is als de competentie bv. slaagt de competentie op kennen, toepassen, reflecteren  in het project competenties indelen aan de hand van hun werkwoorden op 2 dimensies om zo het drie-dimensionaal niveau te bepalen. Niet te algemeen, niet te specifiek: Er is een ideaal punt dat tussen algemeen en specifiek ligt. Te algemeen is weinig zeggend, weinig begrijpbaar en leidt tot teveel verschillen, maar vanaf een bepaalde mate van detail leidt meer detail toevoegen niet tot meer begrip – integendeel! Brede criteria sluiten aan bij dit item. Plaatsen in beoordelingsrooster: kwaliteit verhoogt

Project – gebruik evaluatiecriteria Gevalideerde  associatiebreed inzetbaar Set evaluatiecriteria kwaliteit: betrouwbaarheid/ transparantie Minimumcriteria  concretisering van niveau 6 Uitbreidingscriteria  differentiatie Sjabloon  toetsinstrument Flexibel gebruik Selectie criteria ‘Semi-’ generieke criteria Bijkomende beroepsspecifieke criteria

Project – gebruik evaluatiecriteria Structuur opmaken Criteria opvragen Criteria labelen Opgevraagde criteria – AC/ABC Literatuur AC/ ABC Differentiatie per toetsvorm Inventaris Criteria Inventaris Competenties Inventaris toetsvormen

Project - sharepoint http://intra.khleuven.be/OnderzoekInnovatie/Projecten/GnT/PWO_OOFBATO_12/Pages/Default.aspx

Shop

Structuur Generieke competenties Schalen Criteria Toetsvormen/niveau

Structuur Generieke competenties Schalen Criteria Toetsvormen/niveau AC1 Denk- en redeneervaardigheid AC2 Verwerven en verwerken van informatie AC3 Kritische reflectie AC4 Projectmatig werken AC5 Creativiteit AC6 Uitvoeren eenvoudige leidinggevende taken AC7 Communiceren AC8 Levenslang leren ABC1 Teamgericht werken ABC2 Oplossingsgericht werken ABC3 Maatschappelijke verantwoordelijkheid samenhangend met beroepspraktijk

Structuur Generieke competenties Schalen Criteria Toetsvormen/niveau De student kan relevante gegevens verzamelen, selecteren en structureren De student kan de verworven informatie kritisch verwerken en beschrijven …

Structuur Generieke competenties Schalen Criteria Toetsvormen/niveau Probleemstelling formuleren Bronnen selecteren Gestructureerd kader schetsen

Structuur Generieke competenties Schalen Criteria Toetsvormen/niveau

Het vermogen tot het verwerven en verwerken van informatie De student kan relevante gegevens verzamelen, selecteren en structureren Probleemstelling formuleren

Oefening 2 documenten SPIZ - MMA Opdrachtbeschrijving Evaluatiecriteria  Gelijkenissen?

Basis Uitbreiding Scriptie De probleemstelling wordt duidelijk omschreven De belangrijkste bronnen worden geselecteerd en er wordt correct naar verwezen Recente ontwikkelingen van en inzichten over het thema zijn correct beschreven en voldoende uitgewerkt Het conceptueel en contextueel kader wordt duidelijk geschetst Gestructureerde en overzichtelijke opbouw Duidelijk, bondig omschreven, goed afgebakende en verantwoorde probleemstelling Voldoende, relevante, ook internationale referenties Relevante visuele ondersteuning door figuren Project Het praktijkvraagstuk, de opdrachtgever en de nodige middelen worden duidelijk omschreven De literatuurkeuzes worden duidelijk omschreven en verantwoord vanuit het praktijkvraagstuk De belangrijkste bronnen worden gebruikt Het praktijkvraagstuk is duidelijk, bondig omschreven en afgebakend, kritisch verantwoord De geraadpleegde literatuur is verscheiden, bekend binnen het werkveld en toonaangevend Recente ontwikkelingen van en inzichten over het thema zijn opgenomen en correct beschreven en voldoende uitgewerkt Stage De juiste personen (cliënt/patiënt/collega) worden op een gepaste wijze bevraagd De relevante informatie kan uit het verhaal van de cliënt/patiënt worden onderscheiden, om deze te gebruiken voor verdere stappen of analyse De student kan ook in complexe, niet-vertrouwde situaties of contexten de juiste informatie selecteren Vernieuwing en recente ontwikkelingen in het vakgebied worden opgevolgd Gerichte, objectieve vragen worden aan de cliënt/patiënt/collega gesteld om efficiënt de juiste informatie te verkrijgen De informatie wordt op een kritische manier en kan dit wordt procesmatig verduidelijkt De verworven informatie van de cliënt/patiënt wordt vergeleken en geïntegreerd met eerdere informatie Vakliteratuur wordt gericht geraadpleegd met als doel informatie over en voor de praktijkcontext te verzamelen

Vragen

Bedankt! Jetske.strijbos@khleuven.be Greet.fastre@khlim.be Hilde.schrooten@khk.be Bedankt voor de medewerking