Opbrengstindicatoren in het toezicht mbo Myrthe Frenk Geertje v.d. Wal 23 mei 2016

Inhoud van deze presentatie Opbrengsten in het huidige toezicht Inspecteurs aan het woord Pro en Contra JR en DR Analisten aan het woord Nieuwe indicatoren Uit de pilots Meer indicatoren: versmalling of verbreding 2. @ Geertje: Inhoudsopgave nog aanpassen.

Opbrengsten in het huidige toezicht periodiek toezicht kwaliteitsborging onderwijsproces examinering opbrengsten waarderingskader gebieden, aspecten, indicatoren Het reguliere periodieke toezicht op het mbo houdt het volgende in: 1. een driejaarlijks onderzoek naar de staat van de instelling. Dit is een onderzoek op de instelling dat onder andere bestaat uit documentanalyses, gesprekken met diverse betrokkenen en lesobservaties. Er worden maximaal vijf opleidingen onderzocht. Bij elk onderzoek dat wordt uitgevoerd op de instelling, onderzoekt de inspectie documenten en wordt er gesproken met de verantwoordelijken van de opleiding, met docenten en met studenten die de opleiding volgen. 2. Een jaarlijkse risicomonitoring op afstand. Hierin komen naast de verantwoording in het jaarverslag, gegevens over studenttevredenheid, bij de inspectie binnengekomen signalen, de opbrengsten aan bod. Opbrengstgegevens worden berekend met behulp van de 1cijfer MBO + bestanden op basis van BRON van DUO. Het waarderingskader is onderdeel van het toezichtkader. In het waarderingskader staan alle onderwerpen die de inspectie beoordeelt. Het waarderingskader is geordend in kwaliteitsgebieden, aspecten en indicatoren. Bij alle indicatoren zijn portretten weergegeven die gelden als richtlijn bij de beoordeling. Verschillende kwaliteitsgebieden zijn kwaliteitsborging, onderwijsproces, examinering en opbrengsten. Belangrijke opbrengstindicatoren zijn het jaarresultaat en het diplomaresultaat. De volgende dia gaat hier dieper op in.

De twee huidige opbrengstindicatoren toegelicht JR Geeft een maat voor het percentage gediplomeerden in jaar x. Teller: aantal gediplomeerden in jaar x. Noemer: aantal gediplomeerden in jaar x plus aantal ongediplomeerde instellingsverlaters in jaar x. DR Geeft een maat voor het percentage gediplomeerde instellingsverlaters in jaar x. Teller: aantal gediplomeerde instellingsverlaters in jaar x. Noemer: alle instellingsverlaters in jaar x. Twee opbrengstindicatoren die we met behulp van de 1cijfer+ bestanden berekenen zijn het jaarresultaat en het diplomaresultaat. Beiden zijn rendementscijfers die ons informatie bieden over het % gediplomeerden binnen een opleiding/instelling. Ze verschillen daarin lichtelijk van elkaar. Voor het JR geldt dat we alle diploma’s behaald tussen 1-10-14 en 1-10-15 meetellen. Dus ook gediplomeerden die na teldatum 1-10-14 zijn ingestroomd tellen mee. Voor het DR geldt dat we alle diploma’s die ‘ooit’ behaald zijn meetellen (BRON / eigen instelling) Gediplomeerden die na teldatum 1-10-14 zijn ingestroomd tellen niet mee.

JR per type instelling en niveau bron: 1cijferplusbestanden, aggregatieniveau brin*niveau (2013-2014)  

DR per type instelling en niveau bron: 1cijferplusbestanden, aggregatieniveau brin*niveau (2013-2014)  

Beoordeling beroepsopleidingen*niveau bron: 1cijferplusbestanden, aggregatieniveau beroepsopleiding*niveau  

Vier inspecteurs aan het woord Welke waarde kennen zij toe aan het jaarresultaat en het diplomaresultaat in het toezicht? Kennen de indicatoren ook beperkingen? ..\..\Werkgroep\DUO_presentatie_2015\dwh_opbr_1.mp4 Om een beeld te geven hoe inspecteurs de indicatoren jaarresultaat en diplomaresultaat gebruiken in de dagelijkse toezichtpraktijk hebben we ze geïnterviewd en gefilmd. Zoals u kunt zien en horen: Zowel het onderwijsproces als de resultaten daarvan zijn belangrijk. De indicatoren JR en DR spelen een belangrijke rol in de waardering van deze resultaten.

De pro’s en con’s van het JR en DR op een rij PRO’S. De indicatoren: zijn een objectieve meting van het onderwijsresultaat helpen bij detecteren van risico’s in het onderwijsproces vormen een goed uitgangspunt voor een gesprek over kwaliteit dienen als goede benchmarkinformatie CON’S. De indicatoren: doen niet altijd recht aan bijzondere situaties zijn redelijk technisch en daarom lastig uitlegbaar

Aanvullingen op de inspecteurs PRO’S. % gediplomeerden vormen voor de hand liggende maten intern rendement te ontlenen aan BRON beschikbaar voor inspectie en instelling CON’S. alleen inschrijving op teldatum en behaalde diploma worden bepaald geen rekening met de gevolgde (complexe) opleiding maten weerspiegelen inspanningen van een opleiding niet altijd Voor de hand liggende maat intern rendement: het civiele effect van een diploma is voor iedereen belangrijk. niet discutabel Omdat ze aan BRON worden ontleend, geen extra bevragingslast en wel eenduidige voorschriften De instelling beschikt over exact dezelfde gegevens als de toezichthouder De twee elementen, moment van inschrijving en behaalde diploma, vormen geen weergave van de gevolgde onderwijs/opleidingsroute. Daardoor is de verbinding tussen wat de opleiding heeft geïnvesteerd en de outputmaat niet altijd zuiver. De gevolgde opleiding van de student komt onvoldoende in beeld met het JR en DR

Twee analisten aan het woord Wat valt je op? Wat zoek je uit? Wat geef je door? Sport en beweging Niveau 3 JR 14-15 DR 14-15 Aantal studenten 72.2 30.4 522 Ook hebben wij analisten (even korte uitleg over wat een analist doet) gevraagd het JR en DR toe te lichten. Dit deden zij aan de hand van de volgende casus die wij ze voorlegden. Men geeft aan dat men dieper in zou willen gaan op de grote verschillen tussen JR en DR. Wat verklaart het grote verschil tussen het JR en het DR?

Nieuwe indicator met norm Starters-resultaat Het aandeel van nieuwe instromers in de instelling in een bepaald jaar dat in het eerste jaar gediplomeerd is uitgestroomd of het volgend jaar nog binnen de instelling studeert. Omgekeerde van eerstejaars uitval Benchmark. Gebaseerd op teldata 1-10-t en 1-10-t-1 en behaalde diploma’s. Berekend over drie jaar, landelijk ruim 80 %. @ Geertje: sheet 9 en 10 nog aanscherpen

Drie nieuwe beschrijvende indicatoren Passende plaatsing De mate waarin de instelling nieuwe instromers plaatst op een opleidingsniveau dat op basis van hun vooropleiding mag worden verwacht. Passend diploma De mate waarin de instelling studenten diplomeert op een opleidingsniveau dat op basis van de vooropleiding mag worden verwacht. Opstroom Het aandeel van de ingeschreven studenten in een bepaald jaar op niveau 1, 2 en 3 dat binnen de eigen instelling opstroomt naar een hoger niveau.

Startersresultaat Aansluiting opleiding - student 1e inschrijving op 1-10-14 % dat niet uitvalt na 1 jaar 2e inschrijving op 1-10-15 aandachtsveld BRON indicator

Passende plaatsing Aansluiting vo-mbo Opleiding en diploma vo Opleiding mbo op teldatum Passend Lager Hoger aandachtsveld BRON indicator

Passend diploma Resultaten Diploma vo Diploma mbo Passend diploma Lager Hoger aandachtsveld BRON indicator Nog nakijken welk diploma wordt gebruikt (in cursusjaar behaalde of het hoogste)

Opstroom bij niveau 1-3 Extra resultaten Niveau t-1 Niveau t Hoger niveau? aandachtsveld BRON indicator Nog nakijken welk diploma wordt gebruikt (in cursusjaar behaalde of het hoogste)

Startersresultaat en opstroom Het startersresultaat is het hoogst bij niveau 4. Een kwart van niveau 2 zit een jaar later op niveau 3 Een zesde van niveau 3 volgt een jaar later een opleiding op niveau 4 niveau niveau bron: 1cijferbestanden, aggregatieniveau aggregatieniveau brin*bc*niveau  

Passend(e) plaatsing en diploma Percentages onder, op en boven niveau van de vooropleiding. Passende plaatsing (2011-2014) Passend diploma (2011-2014) PP is bij niveau 4 het hoogst, bij niveau 2 het laagst niveau niveau bron: 1cijferbestanden, aggregatieniveau brin*bc*niveau  

Toegevoegde waarde volgens een analist: “Een hoog JR en laag DR duid ik als veel gediplomeerde doorstroom (JR) en weinig studenten die gediplomeerd uitstromen (laag DR).” “Met de nieuwe indicatoren kunnen we deze veronderstelling staven: hoe hoog is de opstroom? “ “En hoe is de verdeling bij passende plaatsing (is het logisch dat er veel opstroom is) en in lijn hiermee, hoe hoog is het passend diploma bij de betreffende opleiding?” “Hiermee krijg ik iets meer een beeld van de studenten en hun beweging binnen de instelling.” Dit zijn de exacte woorden van Tom n.a.v. de casus: Opvallend is het grote verschil in JR en DR, die meestal betrekkelijk dicht bij elkaar liggen. Dit heeft waarschijnlijk niet met toevalsfluctuatie te maken, gezien het grote aantal studenten. Om dit te checken kijk ik naar het aantal toegekende studenten in beide kengetallen.   Een hoog JR en laag DR duid ik als veel gediplomeerde doorstroom (JR) en weinig studenten die gediplomeerd uitstromen (laag DR). Vervolgens kijk ik naar ‘aanpalende opleidingen’, logische vervolgopleidingen (waar de gediplomeerde naar toe zou kunnen gaan). Hoe zijn daar de rendementen? Als daar iedereen afhaakt (laag JR en DR) doet de school alsnog iets niet goed. Omgekeerd: als rendementen hoog zijn is de school juist goed bezig. Dit is geen hard bewijs want studenten kunnen ook naar een geheel andere opleiding doorstromen. Met de nieuwe indicatoren kunnen we deze veronderstellingen staven: hoe hoog is de opstroom? (afgezet tegen het landelijk beeld) En hoe is de verdeling bij passende plaatsing (is het logisch dat er veel opstroom is) en in lijn hiermee, hoe hoog is het passend diploma bij de betreffende opleiding? Hiermee krijg ik iets meer een beeld van de studenten (vooropleiding) en hun beweging binnen de instelling.

Toegevoegde waarde volgens instellingen (1/2): “Waardevolle managementinfo, sluit beter aan bij de school. Goed dat inspectie breder kijkt.” “JR en DR beter dan de nieuwe indicatoren, want je hebt geen invloed op de nieuwe indicatoren. Er kan worden volstaan met bespreking van in- en uitstroom.” “Vooral startersresultaat geeft nuttige managementinfo.”

Toegevoegde waarde volgens instellingen (2/2): “Starterssucces mogelijk bruikbaar, maar bij eigen cluster geen aandachtspunt (zeer hoog.)” “Je kunt als instelling niet altijd beïnvloeden waar iemand terecht komt. Bruikbaarheid verschilt per opleiding.” “Opstroom is geen terechte indicator voor het toezicht.’ “Ook passende diplomering is nuttig. We hebben geen behoefte aan een norm op deze opbrengsten, omdat die nogal door context bepaald wordt.”

Discussievragen/stellingen Meer indicatoren in het toezicht: Zakt de inspecteur in het moeras of verbreedt het zijn blik? De nieuwe indicatoren zeggen niets over de kwaliteit van het onderwijs. Een schijnzekerheid óf een verscherpte blik op de werkelijkheid?

Slot Op 1 augustus 2017 nieuw toezichtkader Nu nog niet vastgesteld Waarschijnlijk uitbreiding met nieuwe indicatoren