Beoordelen is mensenwerk

Presentatie over: "Beoordelen is mensenwerk"— Transcript van de presentatie:

1 Beoordelen is mensenwerk
xxxxxxxxxxxxxxx 4/26/2017 Beoordelen is mensenwerk Mogelijkheden van gezamenlijke protocollen voor afstuderen in het hbo Amersfoort 19 juni 2014 Dr. Daan Andriessen Lector Methodologie van Praktijkgericht Onderzoek Hogeschool Utrecht xxxxxxxxxxxxx

2 Agenda Aanleiding Expertgroep Protocol
xxxxxxxxxxxxxxx 4/26/2017 Agenda Aanleiding Expertgroep Protocol Model voor examinering in het hbo Mogelijkheden tot protocoleren Protocol Verbeteren en Verantwoorden van afstuderen in het HBO xxxxxxxxxxxxx

3 1. Aanleiding Expertgroep Protocol
xxxxxxxxxxxxxxx 4/26/2017 Naar een alternatief voor landelijke examens 1. Aanleiding Expertgroep Protocol xxxxxxxxxxxxx

4 xxxxxxxxxxxxxxx 4/26/2017 Motie Beertema (27/3/2012) De Kamer, verzoekt de regering, per opleiding of cluster van opleidingen samen met het bedrijfsleven of betrokken werkveld kernvakken te laten vaststellen, landelijke eindtermen te bepalen voor de kenniscomponent van deze kernvakken en die te examineren via landelijke toetsing die onafhankelijk wordt geborgd, en gaat over tot de orde van de dag. xxxxxxxxxxxxx

5 Vreemde Ogen Dwingen (mei 2012)
xxxxxxxxxxxxxxx 4/26/2017 Vreemde Ogen Dwingen (mei 2012) Voordelen landelijk examen wegen niet op tegen nadelen Overgenomen aanbevelingen: Externe validering van toetsen via pilots met gemeenschappelijk toetsen Externe validering via certificering van examinatoren en opleiding van docenten door ontwikkeling van een Basis- resp. Seniorkwalificatie examinering (BKE/SKE). Duurzame kennisuitwisseling Externe validering van eindwerkstukken door een gezamenlijk bottom-up opgesteld protocol bij individuele eindscripties en bij qua niveau en importantie vergelijkbare eindwerkstukken. xxxxxxxxxxxxx

6 Opdracht Expertgroep Protocol
xxxxxxxxxxxxxxx 4/26/2017 Opdracht Expertgroep Protocol “Onderzoek de wenselijkheid en mogelijkheid van een gezamenlijk, bottom-up opgesteld protocol of protocollen voor het beoordelen van (kern)werkstukken en adviseer over de wijze waarop deze tot stand dienen te komen en aan welke kwaliteitseisen deze dienen te voldoen” xxxxxxxxxxxxx

7 Samenstelling Expertgroep Protocol
xxxxxxxxxxxxxxx 4/26/2017 Samenstelling Expertgroep Protocol Daan Andriessen (voorzitter) Hogeschool Utrecht Petra Manders (secretaris) Saxion Dan Greve Peter Hermans Cito / Artez Linda Jakobs Hogeschool Arnhem Nijmegen Lucie te Lintelo Hogeschool van Amsterdam Karin Neijenhuis Hogeschool Rotterdam Gerard Straetmans Cito / Saxion xxxxxxxxxxxxx

8 2. Model voor examinering in het hbo
xxxxxxxxxxxxxxx 4/26/2017 Afstuderen in het hbo is veel meer dan het schrijven van een werkstuk 2. Model voor examinering in het hbo xxxxxxxxxxxxx

9 Principes van afstuderen
xxxxxxxxxxxxxxx 4/26/2017 Principes van afstuderen Afstudeerprogramma Beroepsbekwaamheid Prestatie(s) moet blijken uit Eindkwalificaties verwoord in xxxxxxxxxxxxx

10 Prestaties in het hbo zijn beroepsproducten
xxxxxxxxxxxxxxx 4/26/2017 Prestaties in het hbo zijn beroepsproducten 1. Advies 2. Ontwerp 3. Eindproduct 4. Handeling 5. Onderzoek Mogelijke oplossing of een plan Verbeelding van een eindproduct Fysiek of digitale uitwerking van een ontwerp Professioneel gedrag naar cliënt of publiek Antwoorden en conclusies Organisatie­advies Pedagogisch advies Financieel advies Bouwontwerp Bestemmingsplan Ondernemingsplan Schilderij ICT applicatie Apparaat Film Journalistiek tekst Les geven Voorstelling geven Hulp verlenen Verplegen Therapie geven Leiding geven Ondernemen Archeologisch rapport Laboratorium rapport Forensisch rapport (Naar Losse, 2012) xxxxxxxxxxxxx

11 Principes van afstuderen
xxxxxxxxxxxxxxx 4/26/2017 Principes van afstuderen Afstudeerprogramma Beroepsbekwaamheid Prestatie(s) moet blijken uit Eindkwalificaties verwoord in Beroeps-opdracht (en) leiden tot xxxxxxxxxxxxx

12 Beroepsopdrachten in het hbo zijn zoveel mogelijk:
xxxxxxxxxxxxxxx 4/26/2017 Beroepsopdrachten in het hbo zijn zoveel mogelijk: Authentiek: Authentieke taak Authentieke omstandigheden Representatief: Complexiteit (cognitief en context) Zelfstandigheid xxxxxxxxxxxxx

13 Principes van afstuderen
xxxxxxxxxxxxxxx 4/26/2017 Principes van afstuderen Afstudeerprogramma Beroepsbekwaamheid Prestatie(s) moet blijken uit Eindkwalificaties verwoord in Beroeps-opdracht (en) leiden tot Examinatoren beoordeeld door xxxxxxxxxxxxx

14 Examinator is deskundig
xxxxxxxxxxxxxxx 4/26/2017 Examinator is deskundig Examinator is deskundig op: De te beoordelen bekwaamheid Het beoordelingsproces Beoordelen is mensenwerk! xxxxxxxxxxxxx

15 Principes van afstuderen
xxxxxxxxxxxxxxx 4/26/2017 Principes van afstuderen Afstudeerprogramma Beroepsbekwaamheid Prestatie(s) moet blijken uit Eindkwalificaties verwoord in Beroeps-opdracht (en) leiden tot Beoordelingsmodel(len) Prestatiecriteria en beoordelings-schalen geoperationaliseerd in helpen de Examinatoren beoordeeld door xxxxxxxxxxxxx

16 Beoordelingsmodel ondersteunt de examinator
xxxxxxxxxxxxxxx 4/26/2017 Beoordelingsmodel ondersteunt de examinator Beoordelingsmodel helpt bij beoordelen van: Kwaliteit beroepsproduct Kwaliteit verantwoordingsverslag Kwaliteit van het proces Beoordelingsmodel bevat: Prestatiecriteria Beoordelingsschalen Beslisregels Beoordelingsmodel is: Valide Inzichtelijk En draagt bij aan betrouwbaarheid beoordeling xxxxxxxxxxxxx

17 Principes van afstuderen
xxxxxxxxxxxxxxx 4/26/2017 Principes van afstuderen Afstudeerprogramma Beroepsbekwaamheid Prestatie(s) moet blijken uit leidt tot conclusie over Eindkwalificaties verwoord in Beroeps-opdracht (en) leiden tot Beoordelingsmodel(len) Prestatiecriteria en beoordelings-schalen geoperationaliseerd in helpen de Examinatoren beoordeeld door Beslissings-procedure(s) bepalen scores xxxxxxxxxxxxx

18 3. Mogelijkheden tot protocolleren
xxxxxxxxxxxxxxx 4/26/2017 Niet alles kan landelijk worden afgesproken 3. Mogelijkheden tot protocolleren xxxxxxxxxxxxx

19 Vier niveaus in hbo Niveau 1: Alle opleidingen van alle instellingen;
xxxxxxxxxxxxxxx 4/26/2017 Vier niveaus in hbo Niveau 1: Alle opleidingen van alle instellingen; Niveau 2: Alle opleidingen met hetzelfde opleidingprofiel / CROHO-nummer van alle instellingen; Niveau 3: Beperkt aantal opleidingen met hetzelfde opleidingprofiel / CROHO-nummer die onderwijsinhoudelijk overeenkomen; Niveau 4: Binnen één instelling. xxxxxxxxxxxxx

20 Mogelijk en wenselijk Niveau 1: landelijk
xxxxxxxxxxxxxxx 4/26/2017 Mogelijk en wenselijk Niveau 1: landelijk Wel Niet Gestandaardiseerde wijze van verslaglegging over het afstudeer-programma als geheel Betekenis en minimumeisen Onderzoekend Vermogen Eén beoordelingsmodel voor afstudeerprestaties xxxxxxxxxxxxx

21 Mogelijk en wenselijk Niveau 2: per CROHO
xxxxxxxxxxxxxxx 4/26/2017 Mogelijk en wenselijk Niveau 2: per CROHO Wel Niet Body of knowledge & skills Onderzoekend Vermogen Gezamenlijk reviewen van de afstudeer-programma’s Eén beoordelingsmodel voor afstudeerprestaties (tenzij de opleidingen dezelfde eindkwalificaties én afstudeerprogramma hebben) xxxxxxxxxxxxx

22 Mogelijk en wenselijk Niveau 3: groep verwante opleidingen
xxxxxxxxxxxxxxx 4/26/2017 Mogelijk en wenselijk Niveau 3: groep verwante opleidingen Wel Niet Gezamenlijke invulling van (delen van) het afstuderen Gezamenlijk beoordelingsmodel per afstudeerprestatie Inzetten van waarnemers en examinatoren Gezamenlijk reviewen van afstudeer-programma’s xxxxxxxxxxxxx

23 Mogelijk en wenselijk Niveau 4: binnen één hogeschool
xxxxxxxxxxxxxxx 4/26/2017 Mogelijk en wenselijk Niveau 4: binnen één hogeschool Wel Niet Reviewen van afstudeerprogramma’s door collega’s of het werkveld Gezamenlijk beoordelingsmodel per afstudeerprestatie xxxxxxxxxxxxx

24 4. Protocol Verbeteren en Verantwoorden van afstuderen in het HBO
xxxxxxxxxxxxxxx 4/26/2017 Protocol als middel voor systematische kwaliteitszorg en externe validering van afstuderen 4. Protocol Verbeteren en Verantwoorden van afstuderen in het HBO xxxxxxxxxxxxx

25 xxxxxxxxxxxxxxx 4/26/2017 Doel van het protocol Opleidingen in het hbo helpen samen werken aan het valide, betrouwbaar en voor studenten inzichtelijk toetsen van de beoogde eindkwalificaties, zoals beoogd in standaard 3/16 van de NVAO en het rapport ‘Vreemde ogen dwingen’ van de commissie Bruijn. Duidelijkheid scheppen over terminologie en inrichting van het afstuderen. Een kader scheppen voor gezamenlijk leren en verbeteren. Een kader scheppen voor borging en verantwoording. xxxxxxxxxxxxx

26 xxxxxxxxxxxxxxx 4/26/2017 Opzet van het protocol Een opsomming van 12 vragen over het afstudeer-programma waar een opleiding een goed antwoord op moet hebben om een goede beoordelings- en beslissingskwaliteit in het afstuderen te garanderen. In een verantwoording van het afstudeerprogramma beschrijft en verantwoordt de opleiding de antwoorden. Vragen zijn afgeleid van Standaard 1 en standaard 3/16 van de NVAO en de relatie tussen beide Theorie over toetsen Eis van onderzoekend vermogen xxxxxxxxxxxxx

27 Inhoud van het protocol (1)
xxxxxxxxxxxxxxx 4/26/2017 Inhoud van het protocol (1) Eindkwalificaties Weerspiegelen de eindkwalificaties van de opleiding zowel de eisen vanuit het werkveld als de eisen aan het hbo-niveau? Heeft de opleiding het vereiste niveau voor onderzoekend vermogen beschreven in de eindkwalificaties? Toetst de opleiding alle eindkwalificaties in het afstudeerprogramma en, indien het meerdere afstudeeronderdelen betreft, is het duidelijk waar wat getoetst wordt? xxxxxxxxxxxxx

28 Inhoud van het protocol (2)
xxxxxxxxxxxxxxx 4/26/2017 Inhoud van het protocol (2) Beroepsopdrachten Zijn de beroepsopdrachten die studenten uitvoeren in het afstudeerprogramma geschikt voor het aantonen van de te verwerven eindkwalificaties? Bewaakt de opleiding dat de complexiteit van de beroepsopdrachten voor alle studenten dezelfde is en dat er een vergelijkbare mate van zelfstandigheid van hen verwacht wordt bij de uitvoering hiervan? xxxxxxxxxxxxx

29 Inhoud van het protocol (3)
xxxxxxxxxxxxxxx 4/26/2017 Inhoud van het protocol (3) Beoordeling Waarborgt de opleiding dat elke examinator bekwaam is om een onderbouwd oordeel van de prestaties van studenten tot stand te brengen? Bieden de gehanteerde beoordelingsmodellen voldoende garantie op een valide, betrouwbare en transparante beoordeling en zijn ze tegelijkertijd werkbaar voor examinatoren? Borgt de opleiding een gemeenschappelijke interpretatie van de beoordelingsmodellen door de examinatoren? Is de beoordelingsprocedure voor alle betrokkenen transparant en werkbaar en bevordert deze een zo betrouwbaar mogelijke beoordeling? xxxxxxxxxxxxx

30 Inhoud van het protocol (4)
xxxxxxxxxxxxxxx 4/26/2017 Inhoud van het protocol (4) Randvoorwaarden Zorgt de opleiding ervoor dat het afstudeerprogramma door alle betrokkenen binnen de beschikbare tijd en mogelijkheden uitgevoerd kan worden? Verantwoording en ontwikkeling kwaliteit Geeft de opleiding invulling aan het ‘vreemde ogen’-principe om de kwaliteit van het afstudeerprogramma aantoonbaar te bevorderen? Overlegt de opleiding bij een visitatie bewijzen die samen een transparant en representatief beeld geven van het afstudeerprogramma en het gerealiseerde eindniveau van studenten? xxxxxxxxxxxxx

31 Dank voor uw aandacht Daan.andriessen@hu.nl www.methodologie.hu.nl
xxxxxxxxxxxxxxx 4/26/2017 Dank voor uw aandacht @onderzoekcoach.nl xxxxxxxxxxxxx