OVER APPELS EN PEREN OF: Hoe vergelijken we het onvergelijkbare? Bijdrage DAIR-seminar, 7-11-2003 Frank Steenkamp (HOP/Choice, Leiden)

Presentatie over: "OVER APPELS EN PEREN OF: Hoe vergelijken we het onvergelijkbare? Bijdrage DAIR-seminar, 7-11-2003 Frank Steenkamp (HOP/Choice, Leiden)"— Transcript van de presentatie:

1 OVER APPELS EN PEREN OF: Hoe vergelijken we het onvergelijkbare? Bijdrage DAIR-seminar, 7-11-2003 Frank Steenkamp (HOP/Choice, Leiden)

2 WAT IS CHOICE? Historie: HOP, Keuzegids -> Overheidsopdracht “StudieKeuze-Informatie 2003-2005” In opbouw: Centrum Hoger Onderwijs-Informatie voor Consument en Expert = CHOICE. Missie: Informeren. Objectief, onafhankelijk vergelijkend. Want: markttransparantie

3

4 ACTIVITEITEN CHOICE Overheidsopdracht: - Studentenenquête. Nu 20.000 stud/jr - Keuzegids H.O., nieuwe stijl: breder, dieper, degelijker - DATABASE SKI, voor professionals. Public Domain. Meer feiten en cijfers, achtergrondgegevens enquete, enz enz. Eerste versie najaar 2003 afgeleverd. Overige diensten: - Benchmarkrapporten. Tot nu toe vooral ogv enquetes - Bijdragen aan diverse onderzoeken (ICT-monitor, Inspectierapport studeerbaarheid, enz)

5 DE KERN: APPELS EN PEREN 1. “Je KUNT geen appels en peren vergelijken.” En toch DOEN we het, ELKE DAG HOE kan dat ook EERLIJK gebeuren? 2. Soort bij soort 3. Des groenteboers zelfevaluatie en benchmarking 4. De markt: groenteboeren vergeleken

6 1. Het PROBLEEM met appels en peren INDRUK: • Er zijn géén interessante verschillen • Er is GEEN eerlijke vergelijking mogelijk OF TOCH?

7 Het probleem (2): Rendement WO TU Delft slaagcijfers na 6 jr (3yr-mean) Maar... dit zegt NIKS!

8 2. Oplossing: SOORT BIJ SOORT Details per fruitsoort: ALS we ze hebben, zijn ze per definitie relevant. Maar wat is nu GOED en wat niet? Waar halen we een NORM vandaan?

9 3. BENCHMARKING, met FRUIT Zoek NORM: landelijke cijfers per fruitsoort Pas die norm toe Het beeld verschuift...

10 Benchmark/ SOORT BIJ SOORT: WO MAATLAT: landelijke slaagcijfers/ studie Het beeld verschuift...

11 Benchmarking WO (2): Presenteren = vergelijken = beoordelen

12 4. DE MARKT: Groenteboeren VERGELEKEN Wat nu als groenteboeren geen ROTdetails per winkel per fruitsoort bekendmaken?? Dan blijft GLOBALE vergelijking mogelijk: - Bepaal profielen: (omzet per fruitsoort (desnoods geschat!!) - Bereken (met landelijke cijfers) VERWACHTE totaalrot / winkel - Vergelijk dit met realiteit -> TOTAALSCORE over sterk of zwak

13 DE MARKT: Groenteboeren VERGELEKEN (2) Toch blijft vergelijking op totaal PLUS details beter, voor profilering en markttransparantie. Leuker kunnen we het niet maken - voor boer A...

14 DE MARKT: HO-instellingen VERGELEKEN Discussie over ranglijsten, enz: WAT IS EERLIJK? Medailleklassementen? (vgl Elsevier) Het IDEE is goed: - 1e/ 2e plekken (medailles) als discipline-onafhankelijk succescriterium Bezwaar: - alleen sterkste prestaties tellen, zwakkere niet - minieme verschillen tussen nr 1-2-3 hebben grote invloed - de OMVANG van instellingen is cruciaal (“Amerika wint altijd”) - kleine en grote opleidingen wegen even zwaar

15 DE MARKT: HO-instellingen VERGELEKEN (2) Voorbeeld: medailleklassement Elsevier (bewerking Choice)

16 DE MARKT: HO-instellingen VERGELEKEN (3) Aanpassing voor OMVANG hogeschool Het beeld verschuift weer...

17 DE MARKT: HO-instellingen VERGELEKEN (4) Choice: TOTAALSCORES per instelling Het IDEE is: - weeg sterk en zwak mee, houd MATE van verschil zichtbaar - geen invloed OMVANG instelling AANPAK t/m 2002: - per studie verschilscores (sterk/zwak) per instelling (vgl studietempo TU Delft) - gemiddelde verschilscore per instelling bepaalt ranking - weging omvang studie? De groten wat vaker onderzocht.. TOEVOEGING 2003: - weging voor omvang studies. Criterium: instroom. [Rechten 300 1ejrs, bio 100. Oordeel rechten weegt 3 x zo zwaar!] Argumenten & Bedenkingen

18 Maar: Totaalrankings slaan veel plat! Interessanter zijn ‘rijkere’ presentaties: • Voor benchmarking van opleidingen...

19 (... Rijkere presentaties...) • Voor benchmarking van instellingen...

20 (... Rijkere presentaties...) •....en voor studiekeuze: