Eerlijk onderwijskwaliteit vergelijken: De aanpak van de Keuzegids Inleiding voor de conferentie: “Onderwijskwaliteit zichtbaar maken” Rotterdam, 13 april.

Presentatie over: "Eerlijk onderwijskwaliteit vergelijken: De aanpak van de Keuzegids Inleiding voor de conferentie: “Onderwijskwaliteit zichtbaar maken” Rotterdam, 13 april."— Transcript van de presentatie:

1 Eerlijk onderwijskwaliteit vergelijken: De aanpak van de Keuzegids Inleiding voor de conferentie: “Onderwijskwaliteit zichtbaar maken” Rotterdam, 13 april 2010 Frank Steenkamp (hoofdredacteur Keuzegids)

2 Opbouw A. Intro B. Onze aanpak C. Eisen aan informatie Eerlijk kwaliteit vergelijken

3 A. Intro, de Keuzegids Al 19 jaar onafhankelijke consumentengids, voor studiekiezers, decanen, ouders Want: te veel foute keuzes te veel des-informatie te weinig focus op kwaliteit Daarom: Kritisch opleidingen vergelijken, nu al voor 5 deelpublieken (Mbo-MA) Eerlijk kwaliteit vergelijken

4 Intro: drie kernbegrippen Opleiding staat centraal = studie bij instelling Kwaliteit van het onderwijs: inhoud / proces / organisatie / faciliteiten Vergelijken - een vak apart Eerlijk kwaliteit vergelijken

5 B. Aanpak: vergelijken, WAT? WAT vergelijken? =>Studies (op inhoud, arbeidsmarkt, toelating) =>Verwante opleidingen (op inhoud, kwaliteit, organisatie, prijs) Eerlijk kwaliteit vergelijken

6 Aanpak: vergelijken, HOE? (2) Gestructureerd: - Vaste stappenvolgorde - Kwaliteit: Ranking op vaste set criteria - Systematische toelichting Eerlijk kwaliteit vergelijken Dus tamelijk ‘sturend’ Tegenpool / complement van Studiekeuze123

7 Aanpak: Waarom verwante studies? Redenen: 1. Zelfde type opleiding, student (‘cultuur’) 2. Relevantie voor studiekiezer 3. (Tot nu toe:) gelijktijdig onderzocht Eerlijk kwaliteit vergelijken Eerlijkste aanpak: appelen met appelen

8 Aanpak: “verwante studies” Maar: Verwantschap niet altijd zonneklaar. Modieuze studies, profilering Voorbeeld: wo economie / wo bedrijfseconomie / wo economie en bedrijfseconomie / wo economie en bedrijfskunde / wo economie en beleid. Eerlijk kwaliteit vergelijken

9 100 ‘unieke’ studies in sector economie 6 apart geregistreerde typen ba-studies hotelmanagement Deze profileringsdrang behoeft nuchter en kritisch tegenspel.

10 Aanpak, hoe ranken? “Kies je eigen criteria” heeft beperkingen: =>Scholier: geen ervaren consument, =>Criteria: overlap en statistisch verband =>Presentatie: goede web-ranking heel moeilijk Daarom in Keuzegids: geïntegreerde ranking Eerlijk kwaliteit vergelijken

11 Aanpak: geïntegreerde ranking Tot 2008 per studie 4 tabellen/grafieken: - feiten, inhoudsvergelijking - studentenoordelen (10 hoofdpunten + totaal) - studietempo (‘rendement’) - deskundigenoordelen uit visitaties Sinds 2009: alles in één compacte tabel, incl prijs Criteria gebaseerd op veel onderzoek. Evenwichtige mix. Eerlijk kwaliteit vergelijken

12 RANKING: Informatiereductie! * 10 rappcijfers -> 5 +/- kolommen Van 300 naar 35 ‘toestanden’. Is factor 9 reductie!

13 Informatiereductie: Waarom? Waarom zo sterke reductie? 1. EENVOUD, overzicht ‘at a glance’ 2. SCHIJNPRECISIE overboord 3. Ruimte voor MEER CRITERIA: groepsgrootte, uitval, rendement, accreditatiescore. NB: de essentie van sterkste/ zwakste ongewijzigd. [NB2: deels uit nood geboren…]

14 RANKING : Hoe berekend? Eenvoud en transparantie Voor iedereen na te rekenen: TOTAALSCORE OPLEIDING: 10 criteria, elk telt voor 10% mee. Tien maal ‘o’ is 60 punten. Elke ‘+’ is 2 punt extra, elke ‘-’ 2 punt verlies. Dus

15 C. Kwaliteitseisen aan informatie 1. Objectief, onafhankelijk & transparant 2. Volledig en dekkend op detailniveau 3. Uniform & evenwichtig 4. Relevant, valide & actueel 5. Betrouwbaar en stabiel Eerlijk kwaliteit vergelijken

16 Eisen,1: Objectief, onafhankelijk Onafhankelijk = GEEN invloed van opleidingen. Nu wèl flinke invloed op Studenten Enquête NSE Vragen contacturen, groepsgrootte, extra kosten geskipt. Want: “die gegevens hebben we zelf.” Denkfout : cijfers plandocument vervangen niet monitoring van praktijk! (5-jarenplannen Sovjetunie). Keuzegidsredactie spant zich in: vragen terug in NSE Eerlijk kwaliteit vergelijken

17 Eis 2+4: Volledig, gedetailleerd, actueel HBO-raad en VSNU: cijfers rendement en alumnisucces. Verschil in inzet: VSNU: geen cijfers masterrendement (hbo wel) geen actuele cijfers uitval 1e jaar (hbo wel) snijdt in enquête alumni (juist nu!?) berekent géén stafstudentratio’s (hbo wel) HBO meet meer, èn biedt veel meer openheid Eerlijk kwaliteit vergelijken

18 Voorbeeld: Slaagpercentage bachelor HBO-raad: op publieke site DRAAITABEL met: - cijfers per jaargang, per instelling/opleiding - uitsplitsing vooropl, vt/dt, leeftijd, etniciteit DUS Volledig, gedetailleerd, objectief, transparant VSNU biedt aan Studiekeuze123 PLATTE TABEL: - cijfers laatste jaargang, zonder uitsplitsing - gebaseerd op ideale cohort: alléén VWO’ers voltijd Koers VSNU dient niet belang Studiekiezer en doet de branche tekort. Keuzegids speelt dan luis in de pels. Eerlijk kwaliteit vergelijken

19 Eis 3: Evenwichtig Nu over ONZE ROL bij “Opleidingen vergelijken” Plicht: Zorgvuldig en evenwichtig presenteren: - bekostigd vgl met particulier - arme en rijke sectoren, instellingen (Vgl studiekeuzesite Qompas: 7e sector “Luchtvaart” Lokt scholieren naar opl met 100.000 euro cursusgeld…. ) Eerlijk kwaliteit vergelijken

20 Eis 2b: Opnieuw volledigheid Bij elke opleiding hoort informatie over o.a.: - Collegegeld (m.n. bij niet-bekostigde opl.) - Titel na afstuderen - Accreditatiestatus (incl scores uit visitatie) In landelijke database ontbreekt 50% van deze data… Keuzegids mag hier geen lege plekken bevatten. Dus grote inzet redactie voor aanvullen. En druk op SK123 Eerlijk kwaliteit vergelijken

21 Eis 5a: Betrouwbaarheid BELANGRIJKE EISEN aan gepubliceerde cijfers: - Representatief - Statisch betrouwbaar Alle cijfers Keuzegids hierop regelmatig getoetst en geijkt. => ingrepen, zoals: bij kleine N schrappen of meerjarig.. Maar soms afhankelijk van gezaghebbende bron, die toch steken laat vallen. Twee voorbeelden. Eerlijk kwaliteit vergelijken

22 Eis 5b: Stabiliteit, fluctuaties en trends Speciale interesse in variaties in de TIJD: - wat is ‘ruis’, wat is èchte verandering, TREND? Voorbeeld: WO Geneeskunde Eerlijk kwaliteit vergelijken Zien we consistente patronen?

23 TRENDS: Voorbeeld Geneeskunde (2) Eerlijk kwaliteit vergelijken Maastricht was top, maar lijkt structureel ingehaald door navolger Groningen. Nijmegen was rond 2000 bijna top, maar boert langzaam wat achteruit. Het verschil met Groningen groeit

24 Hoe verder? Eerlijk kwaliteit vergelijken 1. De Keuzegids blijft, zolang hij niet overbodig wordt gemaakt 2. Studiekiezer is de eerste en belangrijkste doelgroep 3. Aanpak en combi met historie ook bruikbaar voor benchmarking.