Inspiratiesessie deelname onderzoekspilot: Implementatie van het protocol Beoordelen is mensenwerk. Verbeteren en Verantwoorden van afstuderen in het HBO Dr. Daan Andriessen, Lector Methodologie van Praktijkgericht Onderzoek, Hogeschool Utrecht Dr. Dominique Sluijsmans, Lector Professioneel Beoordelen, Zuyd Hogeschool

Agenda Kennismaking Toelichting Beoordelen is mensenwerk Toelichting Pilot Protocol Afstuderen Vragen

KENNISMAKING

Kennismaking deelnemers: Wie bent u? Welke opleiding / hogeschool vertegenwoordigt u? Waarom bent u er vandaag bij?

Doelstellingen Pilot Protocol Afstuderen Er is kennis ontwikkeld over manieren om het protocol te implementeren en methodieken die daarvoor kunnen worden gebruikt Er is kennis ontwikkeld over de wijze waarop afstudeerprogramma’s van de pilotopleidingen zijn vormgegeven en de 12 vragen uit het protocol zijn beantwoord Pilotopleidingen kunnen het afstudeerprogramma volgens het protocol ontwikkelen en implementeren Er is kennis ontwikkeld over de toepassing van participatief ontwerpgericht onderzoek in het hbo

TOELICHTING BEOORDELEN IS MENSENWERK

Vreemde Ogen Dwingen, 2012 Voordelen landelijk examen wegen niet op tegen nadelen Overgenomen aanbevelingen: –Externe validering van toetsen via pilots met gemeenschappelijk toetsen –Externe validering via certificering van examinatoren en opleiding van docenten door ontwikkeling van een Basis- resp. Seniorkwalificatie examinering (BKE/SKE) –Duurzame kennisuitwisseling –Externe validering van eindwerkstukken door een gezamenlijk bottom-up opgesteld protocol bij individuele eindscripties en bij qua niveau en importantie vergelijkbare eindwerkstukken

Opdracht Expertgroep Protocol “Onderzoek de wenselijkheid en mogelijkheid van een gezamenlijk, bottom-up opgesteld protocol of protocollen voor het beoordelen van (kern)werkstukken en adviseer over de wijze waarop deze tot stand dienen te komen en aan welke kwaliteitseisen deze dienen te voldoen”

Samenstelling Expertgroep Protocol

Afstudeerprogramma Prestatie (s) moet blijken uit Beroeps- bekwaamheid Eindkwalificaties verwoord in Principes van afstuderen

Prestaties in het hbo zijn beroepsproducten 1. Advies2. Ontwerp3. Eindproduct4. Handeling5. Onderzoek Mogelijke oplossing of een plan Verbeelding van een eindproduct Fysiek of digitale uitwerking van een ontwerp Professioneel gedrag naar cliënt of publiek Antwoorden en conclusies  Organisatie- advies  Pedagogisch advies  Financieel advies  Bouwontwerp  Technisch ontwerp  Bestemmingsplan  Ondernemings- plan  Schilderij  ICT applicatie  Apparaat  Film  Journalistieke tekst  Les geven  Voorstelling uitvoeren  Hulpverlenen  Verplegen  Therapie geven  Leiding geven  Ondernemen  Archeologisch rapport  Laboratorium rapport  Forensisch rapport Naar Losse (2012) Wat is het belangrijkste beroepsproduct waarvoor jullie studenten worden opgeleid?

Afstudeerprogramma Beroeps- opdracht (en) leiden tot Prestatie (s) moet blijken uit Beroeps- bekwaamheid Eindkwalificaties verwoord in Principes van afstuderen

Beroepsopdrachten in het hbo zijn zoveel mogelijk: Authentiek: –Authentieke taak –Authentieke omstandigheden Representatief: –Complexiteit (cognitief en context) –Zelfstandigheid

Afstudeerprogramma Beroeps- opdracht (en) leiden tot Prestatie (s) moet blijken uit Examina- toren beoordeeld door Beroeps- bekwaamheid Eindkwalificaties verwoord in Principes van afstuderen

Examinator is deskundig Examinator is deskundig op: –De te beoordelen bekwaamheid –Het beoordelingsproces Beoordelen is mensenwerk!

Afstudeerprogramma Beroeps- opdracht (en) leiden tot Prestatie (s) moet blijken uit Examina- toren beoordeeld door Beroeps- bekwaamheid Eindkwalificaties verwoord in Beoordelings- model(len) Prestatie- criteria en beoordelings- schalen geoperationaliseerd in helpen de Principes van afstuderen

Beoordelingsmodel ondersteunt de examinator Beoordelingsmodel helpt bij beoordelen van: –Kwaliteit beroepsproduct –Kwaliteit verantwoordingsverslag –Kwaliteit van het proces Beoordelingsmodel bevat: –Prestatiecriteria –Beoordelingsschalen –Beslisregels Beoordelingsmodel is: –Valide –Inzichtelijk –En draagt bij aan betrouwbaarheid beoordeling

Afstudeerprogramma Beroeps- opdracht (en) leiden tot Prestatie (s) moet blijken uit leidt tot conclusie over Examina- toren beoordeeld door Beroeps- bekwaamheid Eindkwalificaties verwoord in Beoordelingsmod el(len) Prestatie- criteria en beoordelings- schalen geoperationaliseerd in helpen de Principes van afstuderen Beslissings- procedure(s) bepalen scores

Doel van het protocol Opleidingen in het hbo helpen om samen te werken aan het valide, betrouwbaar en voor studenten inzichtelijk toetsen van de beoogde eindkwalificaties, zoals beoogd in standaard 3 van de NVAO en het rapport ‘Vreemde ogen dwingen’ van de commissie Bruijn. –Duidelijkheid scheppen over terminologie en inrichting van het afstuderen. –Een kader scheppen voor gezamenlijk leren en verbeteren. –Een kader scheppen voor borging en verantwoording.

Vraag Welke van de volgende 12 vragen uit het protocol vindt u het moeilijkste te beantwoorden?

Inhoud van het protocol (1) Eindkwalificaties 1.Weerspiegelen de eindkwalificaties van de opleiding zowel de eisen vanuit het werkveld als de eisen aan het hbo-niveau? 2.Heeft de opleiding het vereiste niveau voor onderzoekend vermogen beschreven in de eindkwalificaties? 3.Toetst de opleiding alle eindkwalificaties in het afstudeerprogramma en, indien het meerdere afstudeeronderdelen betreft, is het duidelijk waar wat getoetst wordt?

Inhoud van het protocol (2) Beroepsopdrachten 4.Zijn de beroepsopdrachten die studenten uitvoeren in het afstudeerprogramma geschikt voor het aantonen van de te verwerven eindkwalificaties? 5.Bewaakt de opleiding dat de complexiteit van de beroepsopdrachten voor alle studenten dezelfde is en dat er een vergelijkbare mate van zelfstandigheid van hen verwacht wordt bij de uitvoering hiervan?

Inhoud van het protocol (3) Beoordeling 6.Waarborgt de opleiding dat elke examinator bekwaam is om een onderbouwd oordeel van de prestaties van studenten tot stand te brengen? 7.Bieden de gehanteerde beoordelingsmodellen voldoende garantie op een valide, betrouwbare en transparante beoordeling en zijn ze tegelijkertijd werkbaar voor examinatoren? 8.Borgt de opleiding een gemeenschappelijke interpretatie van de beoordelingsmodellen door de examinatoren? 9.Is de beoordelingsprocedure voor alle betrokkenen transparant en werkbaar en bevordert deze een zo betrouwbaar mogelijke beoordeling?

Inhoud van het protocol (4) Randvoorwaarden 10.Zorgt de opleiding ervoor dat het afstudeerprogramma door alle betrokkenen binnen de beschikbare tijd en mogelijkheden uitgevoerd kan worden? Verantwoording en ontwikkeling kwaliteit 11.Geeft de opleiding invulling aan het ‘vreemde ogen’-principe om de kwaliteit van het afstudeerprogramma aantoonbaar te bevorderen? 12.Overlegt de opleiding bij een visitatie bewijzen die samen een transparant en representatief beeld geven van het afstudeerprogramma en het gerealiseerde eindniveau van studenten?

Onderzoekend vermogen aanleren 2009: HBO raad (2009) “Kwaliteit als opdracht”: “In onze moderne samenleving is het cruciaal dat hbo-bachelors over een onderzoekend vermogen beschikken dat leidt tot reflectie, tot evidence based practice, en tot innovatie”.

Expertgroep Protocol (2014): Reflectie: dit betreft het terugkijken op het eigen handelen in de beroepspraktijk, signaleren wat er niet goed ging, dat proberen te verklaren vanuit de kennisbasis en in diezelfde kennisbasis ook de uitgangspunten vinden voor een betere aanpak; Evidence-based practice: dit betreft het gebruiken van de kennisbasis om de juiste handelingen te kiezen; Innovatie: dit betreft het ontwikkelen van nieuwe handelingen om de beroepspraktijk te verbeteren. VERANTWOORDEN ONDERBOUWEN VERNIEUWEN

Onderzoekend vermogen = Onderzoekend houding Zie bijvoorbeeld Bruggink & Harinck 2012

Bruggink & Harinck Nieuwsgierig zijn / Willen weten / Je dingen afvragen 2.Een open houding / Op zoek naar eigen vooronderstellingen / Oordeel kunnen uitstellen 3.Kritisch zijn: is het wel zo? / Zaken in twijfel trekken 4.Willen begrijpen / Tot inzicht willen komen / Willen doorgronden 5.Bereid zijn tot perspectiefwisseling 6.Distantie nemen van routines / Vraagtekens bij het vanzelfsprekende / Gebaande paden durven verlaten / Eigen richting durven kiezen 7.Gerichtheid op bronnen / Willen voortbouwen op eerdere opvattingen en ideeën 8.Gerichtheid op zeker weten / Goede bronnen willen gebruiken / Nauwkeurig willen zijn 9.Willen delen met anderen / Onderdeel willen zijn van leergemeenschappen.

Onderzoekend vermogen = Onderzoekend houding (Zie bijvoorbeeld Bruggink & Harinck 2012) Onderzoeksresultaten van anderen toepassen Onderzoek doen

Een definitie van onderzoek doen Onderzoek doen is het methodisch beantwoorden van vragen dat leidt tot relevante kennis. 30

OV ondersteunt beroepsproduct 1. Advies2. Ontwerp3. Eindproduct4. Handeling5. Onderzoek Mogelijke oplossing of een plan Verbeelding van een eindproduct Fysiek of digitale uitwerking van een ontwerp Professioneel gedrag naar cliënt of publiek Antwoorden en conclusies  Organisatie- advies  Pedagogisch advies  Financieel advies  Bouwontwerp  Technisch ontwerp  Bestemmingsplan  Ondernemings- plan  Schilderij  ICT applicatie  Apparaat  Film  Journalistieke tekst  Les geven  Voorstelling uitvoeren  Hulpverlenen  Verplegen  Therapie geven  Leiding geven  Ondernemen  Archeologisch rapport  Laboratorium rapport  Forensisch rapport Naar Losse (2012) Wat is het belangrijkste beroepsproduct waarvoor jullie studenten worden opgeleid?

Probleem- stelling DiagnosePlanIngreepEvaluatie Methodisch werken Onderzoeken Onderzoekscyclus Probleem- verkennend onderzoek VA Onderzoekscyclus Diagnostisch onderzoek VA Onderzoekscyclus Ontwerp- onderzoek VA Onderzoekscyclus Monitoring onderzoek VA Onderzoekscyclus Evaluatie- onderzoek VA Naar Leen (2012) OV ondersteunt het beroepsproduct

Drie niveaus van onderzoekend vermogen Naar Butter (2013) Methodische grondigheid (MG) Praktische relevantie (PR)

Drie niveaus van onderzoekend vermogen Methodische grondigheid Praktische relevantie BescheidenDiepgaanderUitgebreid Relevant voor de situatie / opdrachtgever BA Relevant voor het vakgebied MA Relevant voor wetenschap en maatschappij PhD Naar Butter (2013) Methodische grondigheid (MG) Praktische relevantie (PR)

Opleiding bepaalt zelf het niveau BescheidenDiepgaanderUitgebreid Gebruik literatuur Bewijskracht (Van Yperen, in press) Generalisatie Body of Knowledge Vakliteratuur vs Wetenschappelijke literatuur Nederlands vs Engels Theoretisch, Indicatief, Causaal Geen, Beperkte groep, Grote groep Vereiste kennis van onderzoeksdesigns en -methoden Methodische grondigheid (MG)

TOELICHTING PILOT PROTOCOL AFSTUDEREN

Doelstellingen Pilot Protocol Afstuderen Er is kennis ontwikkeld over manieren om het protocol te implementeren en methodieken die daarvoor kunnen worden gebruikt Er is kennis ontwikkeld over de wijze waarop afstudeerprogramma’s van de pilotopleidingen zijn vormgegeven en de 12 vragen uit het protocol zijn beantwoord Pilotopleidingen kunnen het afstudeerprogramma volgens het protocol ontwikkelen en implementeren Er is kennis ontwikkeld over de toepassing van participatief ontwerpgericht onderzoek in het hbo

Vraagstellingen Pilot Protocol Afstuderen Wat hebben hbo-opleidingen nodig om het protocol afstuderen succesvol te kunnen implementeren? Op welke wijze worden de vragen uit het protocol beantwoord en tot welke (her) ontwerpen van het afstudeerprogramma leidt dat? Op welke wijze is participatief ontwerpgericht onderzoek mogelijk in het hbo dat zowel kennis oplevert als stimulerend werkt op de verandering?

Hoofdlijnen Pilot Protocol Afstuderen Implementatiedeel Pilotopleidingen analyseren hun programma en stellen een diagnose Ontwerpen verbeteringen Implementeren verbeteringen Evalueren verbeteringen Onderzoeksdeel Pilotopleidingen verzamelen onderzoekgegevens Vooraf over de context van implementatie Over de diagnosefase Over het verbeterplanfase Over de implementatie Over de evaluatie

Onderzoeksteam en Pilot teams Onderzoeksteam Daan Andriessen (HU) Mirjam Snel (HU) Dominique Sluijsmans (Zuyd) Fleurie Nievelstein (Zuyd) Pilotteams Eén projectleider Eén onderzoeker Aantal leden (minimaal twee) dat betrokken is bij de afstudeerfase Het team is zelf eindverantwoordelijk voor het implementeren van het protocol en voor het aanleveren van de juiste gegevens aan het onderzoeksteam

Voorwaardelijke criteria Er kunnen maximaal 7 opleidingen deelnemen. Selectie gebeurt door VH Deelnemende opleidingen nemen deel aan het onderzoek van januari 2015 tot januari 2017 Deelnemende opleidingen stellen zelf een pilot team samen Deelnemende opleidingen bekostigen zelf geïnvesteerde uren van de teamleden Het pilot team committeert aan: –actieve deelname aan een kick-off bijeenkomst en vier uitwisselbijeenkomsten waarin deelnemende pilotopleidingen kennis uitwisselen –het implementeren van het protocol en het aanleveren van onderzoeksgegevens aan het onderzoeksteam Er is commitment voor deelname van de leidinggevende Er is een voornemen om vreemde ogen mee te laten kijken op een van de niveaus uit tabel 3 van Beoordelen is mensenwerk

Selectiecriteria Een mix van opleidingen uit alle 7 domeinen Een mix qua regio Een mix qua voornemen tot vreemde ogen (niveau 2,3 en 4) Mix in mate van volwassenheid van afstudeerprogramma Bij meerdere opleidingen van één hogeschool in de top-7 volgt het verzoek aan het CvB om er één aan te wijzen

Buitenring Opleidingen die niet zijn geselecteerd kunnen deelnemen aan een buitenring. Deze opleidingen gaan zelf aan de slag met implementatie van het protocol Zij krijgen periodiek informatie uit de pilot Er is 3 x een bijeenkomst van alle leden van de buitenring voor het uitwisselen van ervaringen (eerste keer september 2015)

Aanmelden en Achtergrondinformatie Achtergrondinformatie en het aanmeldformulier via website Vereniging Hogescholen vanaf 4 december Het protocol Beoordelen is mensenwerk via website Vereniging Hogescholen Deadline van aanmelden is 23 januari Bericht van selectie half februari Kickoff bijeenkomst en diagnosebijeenkomst: 3 maart 2015 Domstad, Utrecht Planbijeenkomst: 21 april 2015 Domstad, Utrecht Planning rest volgt

DISCUSSIE EN VRAGEN

Dank voor uw getoonde interesse!