Benchmarking met landelijke gegevens Teun Timmers C.H.O.I. Leiden, info@choi.nl Conferentie Onderwijskwaliteit zichtbaar maken Rotterdam, 13 april 2010

Inleiding 1. Waarom benchmarking in het HO? 2. Benchmarkberekeningen 3. Valkuilen 4. Benchmarkrapporten, voorbeelden 5. Conclusies

1. Waarom benchmarking in het HO? “Benchmarking is the process of comparing one’s business processes and performance metrics to industry bests and/or best practices from other industries”

1. Waarom benchmarking in het HO? “Benchmarking is the process of comparing one’s business processes and performance metrics to industry bests and/or best practices from other industries” stuurinformatie voor management opleidingen en instellingen willen zich profileren onderdeel van kwaliteitssysteem NVAO accreditatie nieuwe regime: “intern kwaliteitssysteem vereist”

1. Waarom benchmarking in het HO? Wat is een kwaliteitssysteem? “Een samenhangend en systematisch geheel van processen, acties en instrumenten waardoor de organisatie zijn kwaliteit kan verbeteren of handhaven”

1. Waarom benchmarking in het HO? Wat is de Check? streefwaarden: instroom, marktaandeel, studie-rendement studenttevredenheid proceseisen: tentamen binnen 4 weken nagekeken verbetering xx% bijv t.o.v. vorig jaar benchmarks: vgl. met verwante instellingen/ opleidingen

1. Waarom benchmarking in het HO? Key Performance Indicators in het HO (gerealiseerde) groepsgrootte, studieuren staf/studentratio studentenoordelen (NSE, …) studierendement alumni werkgelegenheid …

2. Benchmarkberekening Studierendement: welke universiteit wint? paradox: B is gemiddeld het hoogst maar A is per studie het hoogst

2. Benchmarkberekening Studierendement: welke universiteit wint? oplossing: bereken verschil met verwachte % universiteit A: 13% surplus versus B: 2%

3. Valkuilen welke weging: populatie, instroom, steekproef wat zijn verwante opleidingen/instellingen? stabiliteit betrouwbaarheid

3. Valkuilen wat zijn verwante opleidingen/instellingen clusterindeling Keuzegids / SKI database wordt veranderd -> fouten er komt een nieuwe indeling

3. Valkuilen stabiliteit: jaar op jaar fluctuaties voorbeeld: HBO Fysiotherapie, rendement na 5jr ongemiddeld 2-jrs gemiddelde

3. Valkuilen stabiliteit: jaar op jaar fluctuaties corrigeer voor onderliggende veranderingen voorbeeld: zie Rapport “Studenten vellen oordeel”

3. Valkuilen betrouwbaarheid studentenoordelen: marges – ontbreken vaak rendementen …

Studentenoordelen NSE, PABO 2005/07 4. Benchmarkrapporten Studentenoordelen NSE, PABO 2005/07

Studentenoordelen NSE, 3 PABO’s 4. Benchmarkrapporten Studentenoordelen NSE, 3 PABO’s

Relatieve successcore met onzekerheden 4. Benchmarkrapporten Relatieve successcore met onzekerheden

Relatieve successcore met onzekerheden 4. Benchmarkrapporten Relatieve successcore met onzekerheden

5. Conclusies benchmarken het is goed mogelijk verwante opleidingen onderling te vergelijken ook instellingen, met verschillende mix gebruik “surplus” scores: landelijk, jaar, etc… marges in data nodig voor betrouwbaarheid!