De benutting van Peer Review resultaten

Presentatie over: "De benutting van Peer Review resultaten"— Transcript van de presentatie:

1 De benutting van Peer Review resultaten
Willem de Ridder, ROC Aventus Adrie Visscher, Universiteit Twente

2 Iets over Peer Review Externe evaluatie Peers (kritische vrienden)
Instelling Nodigt de Peers uit Bepaalt de onderzoeksvragen Relatie met Governance Europese samenwerking Peer Review Impact 22 september 2011

3 High Trust en Low Trust Mensbeelden en Peer Reviewrapport
Inspectierapporten Auditrapportages Peer Review Impact 22 september 2011

4 Organisatiesuccessen
Wat is bruikbare informatie? Peer Review, een vooronderstelling! Peer Review Impact 22 september 2011

5 Project Peer Review Impact
Case studies Richtlijnen MBO Raad en Peer Review Inzet nationale deskundigen Peer Review Impact 22 september 2011

6 What’s the problem? Peer Review Impact 22 september 2011

7 De eenvoud van kwaliteitszorg
Huidige prestatieniveaus Gewenste niveau (= doelen) Weloverwogen route naar de doelen bepalen, én in de praktijk vormgeven. Peer Review Impact 22 september 2011

8 Kwaliteitszorgcyclus
Peer Review Impact 22 september 2011

9 Effecten beter onderwijs, en daardoor betere leerprestaties?
betere schoolorganisatie? meer doelgericht? te hoge belasting? Peer Review Impact 22 september 2011

10 Uit het onderwijsverslag 2008/2009 van de Inspectie
In opbrengstgerichte scholen zijn de leerprestaties beter. Helaas werkt nog maar éénderde van de basisscholen opbrengstgericht. Vaak al wel evaluatie van leerlingprestaties, maar minder analyse en conclusies getrokken over welke verbeteracties nodig zijn, en het uitvoeren van die verbetermaatregelen. Het ontbreken van precieze, meetbare doelen werkt hierbij als een handicap. Peer Review Impact 22 september 2011 10

11 Enkele voorbeelden van doelen
“We gaan zo goed mogelijk ons best doen”. “We willen zo hoog mogelijke scores behalen”. “Het hele rekenboek uitkrijgen dit schooljaar”. “Onze bottlenecks grondig analyseren”. “Een nieuwe rekenmethode aanschaffen”. “Hoge scores halen die passen bij ons soort leerlingen”. Peer Review Impact 22 september 2011

12 De complexiteit van kwaliteitszorg
Ambitie en motivatie Kennis en vaardigheden Cultuur en discipline Praktische organisatie Peer Review Impact 22 september 2011

13 De cruciale rol van feedback, bijv. via Peer Review
Niet de productie, maar de benutting van evaluatieve informatie/feedback (intern/extern) Doodzonde gezien de onbetwist positieve effecten van feedback (mits het tot leren leidt) Effectgroottes: Peer Review Impact 22 september 2011

14 De normaalverdeling Peer Review Impact 22 september 2011

15 Feedback over bijvoorbeeld
de klas (perspectief: leerling – docent) schoolleiding, samenwerking, schoolklimaat (perspectief: docent – schoolleiding) leerprestaties Liefst benchmarks Peer Review Impact 22 september 2011

16 OORZAKEN VAN PRESTATIEVERSCHILLEN TUSSEN LEERLINGEN
docenten thuis studenten Peer Review Impact 22 september 2011

17 Vormen van gebruik van evaluaties
instrumenteel conceptueel strategisch Peer Review Impact 22 september 2011

18 Instrumenteel Try harder probleemdiagnose
verbeteringsacties bepalen (liefst incl. doelen) verbeteringsacties doorvoeren verbeteringsacties evalueren Peer Review Impact 22 september 2011

19 Benutting: belemmerende factoren
Geen verspreiding onder doelgroep Niet begrepen, geloofd Geen idee hoe zaken verbeterd kunnen worden Tekortschietende vaardigheden, competenties, middelen Controversiële veranderingen niet geliefd Peer Review Impact 22 september 2011

20 Men zou er zo goed zijn voordeel mee kunnen doen!
Peer Review Impact 22 september 2011

21 Peer Review Impact project
Onderzoek naar de condities waaronder Peer Review uitkomsten meer benut worden Richtlijnen Peer Review Impact 22 september 2011

22 EXAMPLES OF GUIDELINES
Management should take the VET provider’s overall strategy into account when choosing the quality areas to be evaluated (strengths and/or improvement areas can be identified). involvement from all relevant parties in selection of quality areas, including management staff at all levels. determine which topics and questions are suitable for the Peer Review and which topics and questions should be tackled using other instruments, or by special experts. Peer Review Impact 22 september 2011

23 EXAMPLES OF GUIDELINES
Make sure that the intended users have the authority and resources to act upon the results of the Peer Review or that they have the backing of those in authority. Peer Review Impact 22 september 2011

24 EXAMPLES OF GUIDELINES
The VET provider should have an internal follow-up procedure implemented as follows, for example: Defining indicators and the target level for each indicator for monitoring the impact of improvement actions. Clarifying who will be responsible for specific follow- up activities and when these will be carried out. Preparing a follow-up report. Organising follow-up meetings. Putting follow-up activities on the agenda at management meetings. Peer Review Impact 22 september 2011

25 EXAMPLES OF GUIDELINES
Preparation of the Peer Review should include determining how to monitor the signs (early warning indicators) indicating that things are not going as expected and therefore requiring corrective actions. Make the Peer Review Report available to the intended users during the Peer Review process, promptly taking their needs and preferences into account (how much information they can process, and in what format). Peer Review Impact 22 september 2011

26 EXAMPLES OF GUIDELINES
Ensure that the intended users of Peer Review results (such as management, teachers and students) are clear from the start. Ensure sufficient support and resources are available, especially when putting the action plan into practice. Peer Review Impact 22 september 2011

27 Nadere toelichting/ advisering???
Willem de Ridder, ROC Aventus, Adrie Visscher, Universiteit Twente, Peer Review Impact 22 september 2011