Eerlijk onderwijskwaliteit vergelijken: De aanpak van de Keuzegids Inleiding voor de conferentie: “Onderwijskwaliteit zichtbaar maken” Rotterdam, 13 april 2010 Frank Steenkamp (hoofdredacteur Keuzegids)

Opbouw A. Intro B. Onze aanpak C. Eisen aan informatie Eerlijk kwaliteit vergelijken

A. Intro, de Keuzegids Al 19 jaar onafhankelijke consumentengids, voor studiekiezers, decanen, ouders Want: te veel foute keuzes te veel des-informatie te weinig focus op kwaliteit Daarom: Kritisch opleidingen vergelijken, nu al voor 5 deelpublieken (Mbo-MA) Eerlijk kwaliteit vergelijken

Intro: drie kernbegrippen Opleiding staat centraal = studie bij instelling Kwaliteit van het onderwijs: inhoud / proces / organisatie / faciliteiten Vergelijken - een vak apart Eerlijk kwaliteit vergelijken

B. Aanpak: vergelijken, WAT? WAT vergelijken? =>Studies (op inhoud, arbeidsmarkt, toelating) =>Verwante opleidingen (op inhoud, kwaliteit, organisatie, prijs) Eerlijk kwaliteit vergelijken

Aanpak: vergelijken, HOE? (2) Gestructureerd: - Vaste stappenvolgorde - Kwaliteit: Ranking op vaste set criteria - Systematische toelichting Eerlijk kwaliteit vergelijken Dus tamelijk ‘sturend’ Tegenpool / complement van Studiekeuze123

Aanpak: Waarom verwante studies? Redenen: 1. Zelfde type opleiding, student (‘cultuur’) 2. Relevantie voor studiekiezer 3. (Tot nu toe:) gelijktijdig onderzocht Eerlijk kwaliteit vergelijken Eerlijkste aanpak: appelen met appelen

Aanpak: “verwante studies” Maar: Verwantschap niet altijd zonneklaar. Modieuze studies, profilering Voorbeeld: wo economie / wo bedrijfseconomie / wo economie en bedrijfseconomie / wo economie en bedrijfskunde / wo economie en beleid. Eerlijk kwaliteit vergelijken

100 ‘unieke’ studies in sector economie 6 apart geregistreerde typen ba-studies hotelmanagement Deze profileringsdrang behoeft nuchter en kritisch tegenspel.

Aanpak, hoe ranken? “Kies je eigen criteria” heeft beperkingen: =>Scholier: geen ervaren consument, =>Criteria: overlap en statistisch verband =>Presentatie: goede web-ranking heel moeilijk Daarom in Keuzegids: geïntegreerde ranking Eerlijk kwaliteit vergelijken

Aanpak: geïntegreerde ranking Tot 2008 per studie 4 tabellen/grafieken: - feiten, inhoudsvergelijking - studentenoordelen (10 hoofdpunten + totaal) - studietempo (‘rendement’) - deskundigenoordelen uit visitaties Sinds 2009: alles in één compacte tabel, incl prijs Criteria gebaseerd op veel onderzoek. Evenwichtige mix. Eerlijk kwaliteit vergelijken

RANKING: Informatiereductie! * 10 rappcijfers -> 5 +/- kolommen Van 300 naar 35 ‘toestanden’. Is factor 9 reductie!

Informatiereductie: Waarom? Waarom zo sterke reductie? 1. EENVOUD, overzicht ‘at a glance’ 2. SCHIJNPRECISIE overboord 3. Ruimte voor MEER CRITERIA: groepsgrootte, uitval, rendement, accreditatiescore. NB: de essentie van sterkste/ zwakste ongewijzigd. [NB2: deels uit nood geboren…]

RANKING : Hoe berekend? Eenvoud en transparantie Voor iedereen na te rekenen: TOTAALSCORE OPLEIDING: 10 criteria, elk telt voor 10% mee. Tien maal ‘o’ is 60 punten. Elke ‘+’ is 2 punt extra, elke ‘-’ 2 punt verlies. Dus

C. Kwaliteitseisen aan informatie 1. Objectief, onafhankelijk & transparant 2. Volledig en dekkend op detailniveau 3. Uniform & evenwichtig 4. Relevant, valide & actueel 5. Betrouwbaar en stabiel Eerlijk kwaliteit vergelijken

Eisen,1: Objectief, onafhankelijk Onafhankelijk = GEEN invloed van opleidingen. Nu wèl flinke invloed op Studenten Enquête NSE Vragen contacturen, groepsgrootte, extra kosten geskipt. Want: “die gegevens hebben we zelf.” Denkfout : cijfers plandocument vervangen niet monitoring van praktijk! (5-jarenplannen Sovjetunie). Keuzegidsredactie spant zich in: vragen terug in NSE Eerlijk kwaliteit vergelijken

Eis 2+4: Volledig, gedetailleerd, actueel HBO-raad en VSNU: cijfers rendement en alumnisucces. Verschil in inzet: VSNU: geen cijfers masterrendement (hbo wel) geen actuele cijfers uitval 1e jaar (hbo wel) snijdt in enquête alumni (juist nu!?) berekent géén stafstudentratio’s (hbo wel) HBO meet meer, èn biedt veel meer openheid Eerlijk kwaliteit vergelijken

Voorbeeld: Slaagpercentage bachelor HBO-raad: op publieke site DRAAITABEL met: - cijfers per jaargang, per instelling/opleiding - uitsplitsing vooropl, vt/dt, leeftijd, etniciteit DUS Volledig, gedetailleerd, objectief, transparant VSNU biedt aan Studiekeuze123 PLATTE TABEL: - cijfers laatste jaargang, zonder uitsplitsing - gebaseerd op ideale cohort: alléén VWO’ers voltijd Koers VSNU dient niet belang Studiekiezer en doet de branche tekort. Keuzegids speelt dan luis in de pels. Eerlijk kwaliteit vergelijken

Eis 3: Evenwichtig Nu over ONZE ROL bij “Opleidingen vergelijken” Plicht: Zorgvuldig en evenwichtig presenteren: - bekostigd vgl met particulier - arme en rijke sectoren, instellingen (Vgl studiekeuzesite Qompas: 7e sector “Luchtvaart” Lokt scholieren naar opl met euro cursusgeld…. ) Eerlijk kwaliteit vergelijken

Eis 2b: Opnieuw volledigheid Bij elke opleiding hoort informatie over o.a.: - Collegegeld (m.n. bij niet-bekostigde opl.) - Titel na afstuderen - Accreditatiestatus (incl scores uit visitatie) In landelijke database ontbreekt 50% van deze data… Keuzegids mag hier geen lege plekken bevatten. Dus grote inzet redactie voor aanvullen. En druk op SK123 Eerlijk kwaliteit vergelijken

Eis 5a: Betrouwbaarheid BELANGRIJKE EISEN aan gepubliceerde cijfers: - Representatief - Statisch betrouwbaar Alle cijfers Keuzegids hierop regelmatig getoetst en geijkt. => ingrepen, zoals: bij kleine N schrappen of meerjarig.. Maar soms afhankelijk van gezaghebbende bron, die toch steken laat vallen. Twee voorbeelden. Eerlijk kwaliteit vergelijken

Eis 5b: Stabiliteit, fluctuaties en trends Speciale interesse in variaties in de TIJD: - wat is ‘ruis’, wat is èchte verandering, TREND? Voorbeeld: WO Geneeskunde Eerlijk kwaliteit vergelijken Zien we consistente patronen?

TRENDS: Voorbeeld Geneeskunde (2) Eerlijk kwaliteit vergelijken Maastricht was top, maar lijkt structureel ingehaald door navolger Groningen. Nijmegen was rond 2000 bijna top, maar boert langzaam wat achteruit. Het verschil met Groningen groeit

Hoe verder? Eerlijk kwaliteit vergelijken 1. De Keuzegids blijft, zolang hij niet overbodig wordt gemaakt 2. Studiekiezer is de eerste en belangrijkste doelgroep 3. Aanpak en combi met historie ook bruikbaar voor benchmarking.