De benutting van Peer Review resultaten Willem de Ridder, ROC Aventus Adrie Visscher, Universiteit Twente
Iets over Peer Review Externe evaluatie Peers (kritische vrienden) Instelling Nodigt de Peers uit Bepaalt de onderzoeksvragen Relatie met Governance Europese samenwerking Peer Review Impact 22 september 2011
High Trust en Low Trust Mensbeelden en Peer Reviewrapport Inspectierapporten Auditrapportages Peer Review Impact 22 september 2011
Organisatiesuccessen Wat is bruikbare informatie? Peer Review, een vooronderstelling! Peer Review Impact 22 september 2011
Project Peer Review Impact Case studies Richtlijnen MBO Raad en Peer Review Inzet nationale deskundigen Peer Review Impact 22 september 2011
What’s the problem? Peer Review Impact 22 september 2011
De eenvoud van kwaliteitszorg Huidige prestatieniveaus Gewenste niveau (= doelen) Weloverwogen route naar de doelen bepalen, én in de praktijk vormgeven. Peer Review Impact 22 september 2011
Kwaliteitszorgcyclus Peer Review Impact 22 september 2011
Effecten beter onderwijs, en daardoor betere leerprestaties? betere schoolorganisatie? meer doelgericht? te hoge belasting? Peer Review Impact 22 september 2011
Uit het onderwijsverslag 2008/2009 van de Inspectie In opbrengstgerichte scholen zijn de leerprestaties beter. Helaas werkt nog maar éénderde van de basisscholen opbrengstgericht. Vaak al wel evaluatie van leerlingprestaties, maar minder analyse en conclusies getrokken over welke verbeteracties nodig zijn, en het uitvoeren van die verbetermaatregelen. Het ontbreken van precieze, meetbare doelen werkt hierbij als een handicap. Peer Review Impact 22 september 2011 10
Enkele voorbeelden van doelen “We gaan zo goed mogelijk ons best doen”. “We willen zo hoog mogelijke scores behalen”. “Het hele rekenboek uitkrijgen dit schooljaar”. “Onze bottlenecks grondig analyseren”. “Een nieuwe rekenmethode aanschaffen”. “Hoge scores halen die passen bij ons soort leerlingen”. Peer Review Impact 22 september 2011
De complexiteit van kwaliteitszorg Ambitie en motivatie Kennis en vaardigheden Cultuur en discipline Praktische organisatie Peer Review Impact 22 september 2011
De cruciale rol van feedback, bijv. via Peer Review Niet de productie, maar de benutting van evaluatieve informatie/feedback (intern/extern) Doodzonde gezien de onbetwist positieve effecten van feedback (mits het tot leren leidt) Effectgroottes: .41 - .79 Peer Review Impact 22 september 2011
De normaalverdeling Peer Review Impact 22 september 2011
Feedback over bijvoorbeeld de klas (perspectief: leerling – docent) schoolleiding, samenwerking, schoolklimaat (perspectief: docent – schoolleiding) leerprestaties Liefst benchmarks Peer Review Impact 22 september 2011
OORZAKEN VAN PRESTATIEVERSCHILLEN TUSSEN LEERLINGEN docenten thuis studenten Peer Review Impact 22 september 2011
Vormen van gebruik van evaluaties instrumenteel conceptueel strategisch Peer Review Impact 22 september 2011
Instrumenteel Try harder probleemdiagnose verbeteringsacties bepalen (liefst incl. doelen) verbeteringsacties doorvoeren verbeteringsacties evalueren Peer Review Impact 22 september 2011
Benutting: belemmerende factoren Geen verspreiding onder doelgroep Niet begrepen, geloofd Geen idee hoe zaken verbeterd kunnen worden Tekortschietende vaardigheden, competenties, middelen Controversiële veranderingen niet geliefd Peer Review Impact 22 september 2011
Men zou er zo goed zijn voordeel mee kunnen doen! Peer Review Impact 22 september 2011
Peer Review Impact project Onderzoek naar de condities waaronder Peer Review uitkomsten meer benut worden Richtlijnen Peer Review Impact 22 september 2011
EXAMPLES OF GUIDELINES Management should take the VET provider’s overall strategy into account when choosing the quality areas to be evaluated (strengths and/or improvement areas can be identified). involvement from all relevant parties in selection of quality areas, including management staff at all levels. determine which topics and questions are suitable for the Peer Review and which topics and questions should be tackled using other instruments, or by special experts. Peer Review Impact 22 september 2011
EXAMPLES OF GUIDELINES Make sure that the intended users have the authority and resources to act upon the results of the Peer Review or that they have the backing of those in authority. Peer Review Impact 22 september 2011
EXAMPLES OF GUIDELINES The VET provider should have an internal follow-up procedure implemented as follows, for example: Defining indicators and the target level for each indicator for monitoring the impact of improvement actions. Clarifying who will be responsible for specific follow- up activities and when these will be carried out. Preparing a follow-up report. Organising follow-up meetings. Putting follow-up activities on the agenda at management meetings. Peer Review Impact 22 september 2011
EXAMPLES OF GUIDELINES Preparation of the Peer Review should include determining how to monitor the signs (early warning indicators) indicating that things are not going as expected and therefore requiring corrective actions. Make the Peer Review Report available to the intended users during the Peer Review process, promptly taking their needs and preferences into account (how much information they can process, and in what format). Peer Review Impact 22 september 2011
EXAMPLES OF GUIDELINES Ensure that the intended users of Peer Review results (such as management, teachers and students) are clear from the start. Ensure sufficient support and resources are available, especially when putting the action plan into practice. Peer Review Impact 22 september 2011
Nadere toelichting/ advisering??? Willem de Ridder, ROC Aventus, w.deridder@aventus.nl Adrie Visscher, Universiteit Twente, A.J.Visscher@utwente.nl Peer Review Impact 22 september 2011