Welkom! Projectleiders en onderzoekers bij de diagnose- bijeenkomst van de pilot Protocol Afstuderen Domstad Utrecht, 21 april 2015

Programma 10.00Terugblik uitvoering huiswerkopdrachten 10.15Onderzoeksmodel: Teamportret, STAP, Contextbeschrijving & Diagnose 11:00Van diagnose naar praktijkvraag Pilotteams formuleren praktijkvraag: opsplitsen in twee groepen 12.45Lunch 13.30Presentatie ‘principes van ontwerpen’ 14.15Pilotteams maken concept interventie op flap 15.00Werken met redeneerketens 15.20Huiswerk voor 23 juni en mededelingen Evaluatie bijeenkomst

Hoe verliep het uitvoeren van de huiswerkopdrachten?

Onderzoeksopzet: doelstellingen Doelstelling 1. Er is kennis ontwikkeld over de wijze waarop afstudeerprogramma’s van de pilotopleidingen zijn vormgegeven en de 12 vragen uit het protocol zijn beantwoord. 2. Er is kennis ontwikkeld over manieren om het protocol te implementeren en methodieken die daarvoor kunnen worden gebruikt. Bronnen  Praktijkbeschrijvingen. Deze vormen straks een database van practices die andere opleidingen kunnen inspireren  Zelfevaluaties STAP  Teamportretten  Interviews  Observaties

Onderzoeksopzet: hoofdvraag  Welke ontwerprichtlijnen helpen de pilotteams om hun afstudeerprogramma in samenwerking met het opleidingsteam te (her)ontwerpen?

Onderzoeksontwerp 1. DIAGNOSE 2. ONTWERP 3. IMPLEMENTATIE 4. EVALUATIE Aanreiken methodieken en handvaten voor teamleren en ontwerpen tijdens elke fase van het project. Aanreiken onderzoeksinstrumenten. Ontwikkeling van het teamleren Ontwikkeling van de ontwerpdeskundigheid (her)ontworpen afstudeer- programma Verhoogde ontwerpdes- kundigheid en vermogen als team te ontwerpen Observaties Praktijk- beschrijvingen Rapportage opdrachtgever Collectie good practices Publicaties Interviews (bedrijfsbezoek) 1 2 S0S0 S1S1 S2S2 S3S3 S4S4 Teamportret Electronische Zelfevaluatie T0T0 T1T2T3

Praktijkbeschrijving

Teamportret  Hypothese: Door het project verbetert de samenwerking en de teameffectiviteit van het opleidingsteam dat betrokken is bij het afstudeerprogramma.

Teamportret 4 opleidingen hebben een teamportret gemaakt: - Matrix ‘samenwerking’ - Matrix ‘Taakafhankelijkheid’ - Matrix ‘Samenwerkingsgedrag Perceptie op teamprestatie’

Teamportret Algemene opmerkingen: - Gebruik bij alle matrixen een 1-4 schaal (1 = nooit / 4 = veel) - Alle cellen graag vullen - Zorg ervoor dat je door de tijd heen steeds dezelfde mensen bevraagt (T0-T1-T2-T3)

Zelfevaluatie STAP  Hypothese: door het project worden de opvattingen van de betrokkenen over het afstudeerprogramma positiever en meer gelijkluidend. Het kan echter gebeuren dat door een toename van het inzicht bij betrokkenen de opvattingen eerst negatiever en later positiever worden.

Zelfevaluatie instrument STand van zaken AfstudeerProgramma hbo 180 respondenten van 14 opleidingen (Minerva en HKU ontbreken) Probeer minimaal 15 respondenten te hebben per meting

Zelfevaluatie instrument STand van zaken AfstudeerProgramma hbo  Alle schalen zijn van goede kwaliteit (Conbach alpha > 0,8, N=180) behalve:  3. Eindkwalificaties in het afstudeerprogramma [zijn alle drie verschillend]  Alle eindkwalificaties worden beoordeeld in het afstudeerprogramma.  Het is duidelijk waar in het afstudeerprogramma welke eindkwalificaties worden beoordeeld.  Het afstudeerprogramma levert voldoende rijkheid aan informatie op om een betrouwbaar en valide oordeel te kunnen vellen over beroepsbekwaamheid.  11. Vreemde ogen  De kwaliteit van het afstudeerprogramma wordt regelmatig getoetst bij collega- opleidingen en/of het werkveld. [wijkt positief af]  Collega-opleidingen reviewen regelmatig de afstudeerprestaties van studenten.  De opleiding wisselt regelmatig examinatoren uit met collega-opleidingen.

Gemiddelde scores

Spreiding van opvatting

Praktijkbeschrijving

Praktijkbeschrijving: contextbeschrijving - Nog niet alle contextbeschrijvingen waren aanwezig (4) - Nog niet alle contextbeschrijvingen waren compleet Wij zullen hier in een later stadium nog een keer naar kijken

Praktijkbeschrijving: Diagnose  Opstap naar een definitieve keuze van de praktijkvraag die in de pilot wordt aangepakt.  Gevarieerde aanpak gehanteerd:  Gebruik bestaand materiaal (kritische reflecties, evaluaties, quick scan)  Protocol voorleggen aan teamleden (maar niet iedereen heeft overal verstand van)  Vragen voorleggen aan specifieke betrokkenen (mgt., examencie., kwaliteitszorgmedewerker)

Praktijkbeschrijving: Diagnose  Betekenis 12 vragen is niet altijd duidelijk:  B.v. 4. Zijn de beroepsopdrachten die studenten uitvoeren in het afstudeerprogramma geschikt voor het aantonen van de te verwerven eindkwalificaties?  Belangrijke onderzoeksvraag: helpen de 12 vragen bij het maken van een goede diagnose?  Werkt de aanpak Probleem -> Oorzaak (12 vragen) -> Prioritering?  Dragen de 12 vragen bij aan vinden van oorzaken en prioriteiten?  Hoe zijn de 12 vragen het beste toe te passen? Wie kan wat beantwoorden?  Hoe moeilijk zijn de 12 vragen?  Beschrijf dus je ervaringen én vul de tabel correct in.

Begin with the end in mind  Overzicht onderdelen praktijkbeschrijving.  Na 12 mei beschikbaar

Voorlopige praktijkvragen 2. Verbeteren opdrachten (4) en beoordelingsmodel (7) 3. Onderzoekend vermogen (2) en borging interpretatie (8) 5. Alle eindkwalificaties (3), geschikte beroepsopdrachten (4) en beoordelingsmodellen 6. Vertaling beroepsbekwaamheid naar eindkwalificaties en beoordelings­dimensies (1 tm 5) Pilot:

Van diagnose naar doelstelling

Hoe komen tot een goede doelstelling?  Wees je bewust van de condities waarbinnen je doelstelling gerealiseerd dient te gaan worden:  Teamportret  Contextbeschrijving  Prioriteer: op welk vraagstuk ga je je definitief richten  Ga de doelstelling SMARTI formuleren

SMARTI  Specifiek: is de doelstelling duidelijk, eenduidig en concreet?  Meetbaar: is het mogelijk het antwoord op de de doelstelling adequaat te evalueren?  Acceptabel: is er voldoende draagvlak voor de doelstelling?  Realistisch: is de doelstelling haalbaar gezien de context waarin de deze moet worden gerealiseerd?  Tijdgebonden: is er een duidelijk tijdspad waarbinnen de doelstelling dient te worden beantwoord?  Inspirerend: motiveert en inpireert de doelstelling alle betrokkenen?

Geformuleerde doelstellingen

Werken met redeneerketens als onderzoeks- instrument

Effect Maatregel Redeneerketens

Meer afgestu- deerden Trainen examinatoren Black box: “onze examinatoren zijn te streng”

Effect Maatregel Een complex aan factoren bepaalt effect Andere factoren

Meer afgestu- deerden Trainen examinatoren Begeleiding Kwaliteit / studeerbaarheid van de studie Kwaliteit beoordelingsmodel Gezamenlijke interpretatie beoordelingsmodel Een complex aan factoren bepaalt effect

Effect Maatregel Causale keten is lang Andere factoren

Mechanismen OutcomeInterventie Oplossingsrichting: de redeneerketen (CIMO) Context Denyer, D., Tranfield, D., & Van Aken, J. E. (2008). Developing Design Propositions through Research Synthesis. Organization Studies, 29,

Outcome: Meer afgestu- deerden Interventie: Training examina- toren Beter inzicht in beoordelen Context Beter begrip beoordelings-model Grotere bekwaamheid in beoordelen Gemeen- schappelijke interpretatie Meer valide beoordeling Minder valse negatieven

Doelen van redeneerketens  Expliciteren van interventie(s)(arrangement) en zorgen dat het volledig is.  Overdraagbaar maken van interventie(s).  Identificeren van mechanismen die kunnen worden gemeten om de effecten van de interventies vast te stellen.  Evalueren van het gekozen arrangement. Bij elk onderdeel van de redeneerketen kunt u zich aan het einde van het project afvragen of de veronderstelde mechanismen en effecten daadwerkelijk zijn opgetreden.

Opstellen redeneerketens  Maak een visueel schema van de interventies, mechanismen en outcomes  Beschrijf de interventies, mechanismen en outcomes in tabellen (een tabel per interventie)

Visueel schema

Tabel voor redeneerketen Interventie: Korte beschrijving van de interventie Wat gaan we doen? Mechanisme 1: Vooronderstelling over het proces dat ervoor zorgt dat de interventie leidt tot de outcome. Antwoord op de vraag waarom werkt de interventie? Outcome 1: Beschrijving van de te verwachten outcomes (effecten) van de interventie: wat zijn de beoogde resultaten? Evt. mechanisme 2Evt. outcome 2 Evt. mechanisme 3 etc.Evt. outcome3 etc.

Redeneerketen en effectmeting: een meetmodel InterventieMechanismeOutcome Interventie- indicatoren Mechanisme indicatorenOutcome indicatoren

Redeneerketen en effectmeting InterventieMechanismeOutcome Kosten ontwikkelen training Kosten uitvoeren training Duur van de training Aantal deelnemers training Gepercipieerde verbetering in inzicht in beoordelen Gepercipieerde verbetering in inzicht in beoordelingsmodel Verandering in interbeoordelaars betrouwbaarheid Verandering in percentage valse negatieven Verandering % afgestudeerden Maak onderscheid naar fase: wanneer kan je wat meten? Vooraf (nulmeting) Halverwege Aan het einde Een jaar later (retentiemeting)

Huiswerk

Huiswerkopdrachten Implementatieproces  Verder uitwerken diagnose  Bepalen doelstelling en in de dropbox plaatsen vóór 12 mei  (Vervolgopdracht volgt dan na 12 mei) Onderzoeksproces  Proberen nulmeting Zelfevaluatie STAP uit te breiden tot 15 respondenten / 75% respons  Idem teamportret  Praktijkbeschrijving aanvullen en in de dropbox vóór 16 juni:  Aanvullen Deel 1 contextbeschrijving  Aanvullen Deel 2 diagnose

Mededelingen

- Pilotteams plannen werkbezoek op locatie: 16 feb - 1 maart - 15 maart - 29 maart -12 april Werkbezoek staat in het teken van voortgangsbespreking - 24 november 2015 uitwisselbijeenkomst ‘implementatie’ - 20 september 2016 uitwisselbijeenkomst ‘evaluatie’ -.. november 2016 ‘slotmanifestatie’

Vooruitblik - Volgende bijeenkomst is 23 juni van in Domstad Utrecht - Plaats de uitwerking van de opdrachten uiterlijk 16 juni in Dropbox in de daarvoor bestemde mappen - Overmorgen, 23 april, jaarcongres Zwolle

Evaluatie dag 2

Evaluatievragen Waren de onderdelen van vandaag begrijpelijk en werkbaar? Wordt de verwachting van het project waargemaakt? Wat heb je nog nodig om de volgende stap in het project te zetten?

Dank en tot ziens op 23 juni!