HBO-Monitor en NAE: Wat kan je daarmee als onderwijsinstelling? 04.11.2015 DAIR: Be Connected

Agenda Welkom, kennismaking Betrouwbaarheid van meting Oordelen over de opleiding Meten we echt verschillen tussen opleidingen / onderwijsinstellingen Verband NSE en HBO-Monitor Competenties Arbeidsmarktuitkomsten: Werkloosheid Werken op niveau Werken in eigen domen Nieuwe definitie van werkzame beroepsbevolking Studie in cijfer vs HBO-Monitor Studiekeuze 123 vs HBO-Monitor Relatie met Alumni Bevragen van alumni of bevragen van werkgevers

Ruis en systematische meetfout 1. Betrouwbaarheid Response Kleine aantallen Ruis en systematische meetfout

Response (%)

Response (%)

Response Wat kunnen uitvoerders aan de response doen? HBO: mails / brieven / schriftelijke vragenlijst / telefoon WO: mails / brieven Wat kunnen scholen/universiteiten aan de response doen? Adresbestanden / mailadressen Vooraankondiging Facebook / Linkedin

Ruis en kleine aantallen?

Ruis en kleine aantallen?

Ruis en kleine aantallen?

Ruis en kleine aantallen?

Ruis en kleine aantallen?

Ruis en kleine aantallen? Er is ruis! Verschillen tussen sectoren in de regel duidelijk groter dan verschillen binnen een sector Ruis neemt toe naar mate de aantallen kleiner worden

Ruis en kleine aantallen? Werkloosheid en kleine aantallen

Ruis en kleine aantallen?

Ruis en kleine aantallen?

Er is ruis: Probleem is vooral bei kleine opleidingen Beneden 20 cases wordt het echt problematisch Boven 50 cases is het sterk betrouwbaar

Ruis en kleine aantallen? Wat te doen tegen ruis? Meerjarig gemiddelde (bijvoorbeeld bij werkloosheid) Mediaan ipv. gemiddelde (bijvoorbeeld bij salaris)

Ruis en kleine aantallen (werkloosheid)

Ruis en kleine aantallen (werkloosheid)

Ruis en kleine aantallen (3 jaar gemiddeld)?

Ruis en kleine aantallen (5 jaar gemiddeld)?

Ruis en kleine aantallen (salaris)?

Ruis en kleine aantallen?

2. Oordelen over opleiding Invloed van arbeidsmarkt Zijn er echt verschillen tussen instellingen/opleidingen? Relatie met NSE

2. Oordelen over opleiding Starten op de arbeidsmarkt HBO over tijd WO 2014

Basis om te starten op arbeidsmarkt

Basis om te starten op arbeidsmarkt

Basis om te starten op arbeidsmarkt

Basis om te starten op arbeidsmarkt

Basis om te starten op arbeidsmarkt: WO

Voorbereiding op beroepsloopbaan: WO

2. Oordelen over opleiding Let op: Oordelen die betrekking hebben op relatie tussen opleiding en arbeidsmarkt zijn conjunctuurgevoelig!!!

Studie in het algemeen: WO

Verschil werkend vs werkloos

2. Oordelen over opleiding Let op: Oordelen die betrekking hebben op directe relatie tussen opleiding en arbeidsmarkt zijn conjunctuurgevoelig!!! Let op: Oordelen die geen betrekking hebben op directe relatie tussen opleiding en arbeidsmarkt zijn minder of niet conjunctuurgevoelig!!!

Basis om te starten op arbeidsmarkt

2. Oordelen over opleiding Zijn er verschillen tussen opleidingen/instellingen?

Verschil tussen scholen: voorbereiding op beroepsloopbaan

Verschil tussen scholen: voorbereiding op beroepsloopbaan

Verschil tussen opleidingen: Selectiviteit van opleiding

2.1 NSE versus HBO-Monitor

Meten van tevredenheid Oordelen over docenten Oordelen over beroepsgerichtheid en voorbereiding op beroepspraktijk Zelfde opleiding wederom kiezen Hier kort ingaan op de vraag hoe we de tevredenheid meten. Dat wil zeggen welke indicatoren we nemen. In de volgende sheet staat dit nog in meer detail.

Meten van tevredenheid Docenten NSE: Rapportcijfer kwaliteit Docenten HBO-Monitor: Gemiddelde over 5 rapportcijfers Beroepsgerichtheid NSE: Voldoende gericht op beroepspraktijk (1-5) HBO-Monitor: Inbedding in beroepspraktijk (1-10) Voorbereiding op beroepspraktijk NSE: Voorbereiding op beroepspraktijk (1-5) HBO-Monitor: Voorbereiding op beroepspraktijk (1-10) Hier staan we kort stil bij de indicatoren en de manier waarop deze gemeten zijn in NSE en HBO-Monitor

Meten van tevredenheid Zelfde opleiding NSE: zelfde opleiding aan dezelfde hogeschool HBO-Monitor: zelfde opleiding aan dezelfde hogeschool

Data NSE: meting 2009 (4e jaar studenten) HBO-Monitor 2010 Alleen voltijd studenten/afgestudeerden Geen KUO studenten/afgestudeerden Korte uitleg over de data die we gebruiken

Wie is meer tevreden? NSE HBO-Monitor Kwaliteit docenten 6.9 7.0 Beroepsgerichtheid 3.4 (6.8) 6.6 Voorbereiding op beroepspraktijk 3.3 (6.6) 6.5 Zelfde opleiding kiezen 62% 66% Hier laten we voor alle voltijd studenten/afgestudeerden zien hoe tevreden ze zijn. Daarbij is wederom de NSE 5-punt schaal in een 10-punt schaal omgezet voor de vergelijkbaarheid. Wat we zien is dat de resultaten nogal sterk vergelijkbaar zijn.

Relatie NSE en HBO-Monitor Koppeling op opleidingsniveau Gemiddelde score per opleiding In wat nu volgt laten we een aantal relaties tussen NSE en HBO-Monitor zien.

Docenten Oordeel over docenten. Op de verticale as is het resultaat van de HBO-Monitor en op de horizontale het resultaat van de NSE

Beroepsgerichtheid Oordeel over beroepsgerichtheid. Op de verticale as is het resultaat van de HBO-Monitor en op de horizontale het resultaat van de NSE (wederom omgezet in een 1-10 schaal)

Voorbereiding op beroepspraktijk Oordeel over voorbereiding op beroepspraktijk . Op de verticale as is het resultaat van de HBO-Monitor en op de horizontale het resultaat van de NSE (wederom omgezet in een 1-10 schaal)

Zelfde opleiding Zelfde opleiding aan zelfde hogeschool kiezen. Op de verticale as is het resultaat van de HBO-Monitor en op de horizontale het resultaat van de NSE

Zelfde opleiding Zelfde opleiding aan zelfde hogeschool kiezen. Op de verticale as is het resultaat van de HBO-Monitor en op de horizontale het resultaat van de NSE. In plaats van een regressie lijn heb ik er nu hier een 45 graad lijn. Wat we hierbij zien is dat bijna alle opleiding boven de 45 graad lijn zitten wat nog een keer bevestigd dat HBO-Monitor in de regel positiever oordelen dan studenten.

Correlaties op opleidingsniveau HBO NSE Docenten Beroepsgerichtheid Voorbereiding beroepspraktijk Zelfde opleiding 0.56** 0.33 Voorbereiding beroepspraktijk 0.46* 0.58** ** significant op 1% * Significant op 5% Wat we in de figuren hebben gezien, zien we ook terug in deze correlatie tabel. De correlatie op opleidingsniveau is het sterkste bij de docentenvraag en bij dezelfde opleiding vraag. De correlatie is minder sterk bij de beroepsgerichtheid (en zelfs niet meer significant) en bij de voorbereiding (wel significant maar minder)

Spijt en opleiding aanraden

NSE en HBO-Monitor: complementair of substituut? Eerste conclusies NSE en HBO-Monitor: complementair of substituut? Docenten: Substituut Beroepsgerichtheid, Voorbereiding op beroepspraktijk: Complementair Invloed van arbeidsmarktintrede? Docenten: Nee Beroepsgerichtheid, Voorbereiding op beroepspraktijk: Ja Hier presenteren we dan nog een aantal eerste conclusies met vooral de doelstelling om ook andere hogescholen te stimuleren om over dit thema verder na te denken.

Eigen niveau en vereist niveau 5-punt likert schaal 3. Competenties Eigen niveau en vereist niveau 5-punt likert schaal

Betrouwbaarheid van meting 3. Competenties Betrouwbaarheid van meting Structurele bias? Wat kunnen we ermee?

Inschatting van respondenten van het niveau van hun eigen competenties in vergelijking met andere afgestudeerden van hun opleiding

Mannen versus vrouwen

Competenties en overschatten

Tekorten en overschatten

Geaggregeerd niveau

Geaggregeerd niveau

3. Competenties Let op: Alumni overschatten zich bij competenties Mannen overschatten zich meer dan vrouwen Probleem is vooral bij eigen niveau van competenties

3. Competenties

3. Competenties

3. Competenties

3. Competenties

3. Competenties

4. Arbeidsmarktuitkomsten Nieuwe definitie van CBS Gevolgen Studie in cijfers Studiekeuze 123

Meerdere vragen nodig: Werkloosheid Hoe meten we dit? Meerdere vragen nodig: Heb je werk: ja/nee? Hoeveel uren werk je? Ben je op zoek naar werk? Wat is de beste omschrijving van je situatie? Studenten worden uitgesloten

Nieuwe definitie (conform CBS) Werkloosheid Nieuwe definitie (conform CBS) Tot nu toe: minimaal 12 uur per week werkzaam zijn Vanaf nu: minimaal 1 uur per week werkzaam zijn

Werkloosheid: Oud en Nieuw HBO

Werkloosheid HBO-ers: verschil oud en nieuw (%-punten)

Werkloosheid oud en nieuw

HBO oud en nieuw 1-11 uur 12-27 uur > 27 uur Elementaire beroepen 6% 3% 1% Via Uitzendbureau 25% 19% 10% Horizontale match 59% 72% 76% Verticale match 52% 61% 77% Voldoende/goede aansluiting 66% 74%

Positief wat ‘% werkend’ betreft!! Oud versus Nieuw Positief wat ‘% werkend’ betreft!! Negatief voor bijna alle andere aspecten van werk!! Let op: bij kleine aantallen kunnen verschillen groot worden tussen oud en nieuw!!!!

5. Studie in Cijfer vs HBO-monitor % werkzaam op niveau Bachelor Bouwkunde (voltijd) Studie in cijfer: 55% HBO Monitor: 75%

Bachelor Bouwkunde (voltijd)

Bachelor Bouwkunde (voltijd): SiC

Bachelor Bouwkunde (voltijd): ROA

Bachelor Bouwkunde (voltijd): ROA

5. Studie in Cijfer vs HBO-monitor Let op: verschil ligt in het menemen van jongeren die niet werkzaam zijn!!!

4. Arbeidsmarktuitkomsten Studiekeuze 123 Salaris

Bruto maandsalaris Studiekeuze ROA Oefentherapie Cesar 1.990 1.253 Social Work 2.252 1.451 Pedagogiek 2.098 1.467 SPH 2.163 1.513

4. Arbeidsmarktuitkomsten Studiekeuze 123: Salaris voor voltijdbaan ROA: Salaris voor gemiddeld aantal uren dat alumni werken

Bruto maandsalaris Studiekeuze ROA % fulltime Oefentherapie Cesar 1.990 1.253 15 Social Work 2.252 1.451 34 Pedagogiek 2.098 1.467 23 SPH 2.163 1.513 17

Relatie met alumni

Mag universiteit u benaderen voor Aantallen 2013 en 2014 % Opleidingsvoorlichting aan studiekiezers 618 51 Verkennen van stagemogelijkheden 577 48 Verkennen van baanmogelijkheden 671 55 Vakinhoudelijke bijdrage te leveren 706 58 Voorlichting op het gebied van arbeidsmarktervaring 657 54 Zitting te nemen in adviesorgaan 142 12

Laten alumnibevragingen ook werkgeverskant zien? Wat willen werkgevers Laten alumnibevragingen ook werkgeverskant zien?

Onderscheiden niveau’s Wat willen werkgevers? Attributen Onderscheiden niveau’s Opleiding HBO Associate degree (Ad) HBO Bachelor WO Bachelor WO Master   Aansluiting studierichting bij functietaken Studierichting sluit volledig aan bij de functietaken Studierichting sluit gedeeltelijk aan bij de functietaken Studierichting sluit niet aan bij de functietaken Relevante werkervaring (incl. stages) Geen ½ jaar 1 jaar 2 jaar Deel van de studie in het buitenland gedaan? Niet Gedeeltelijk Geheel Gemiddeld eindcijfer 6 7 8 9 Excellentie-/honoursprogramma gevolgd tijdens opleiding? Nee Ja Bruto startsalaris: 25% onder het gemiddelde voor deze functie 10% onder het gemiddelde voor deze functie Gemiddeld voor deze functie 10% boven het gemiddelde voor deze functie 25% boven het gemiddelde voor deze functie

Wat willen werkgevers? vakkennis en -vaardigheden algemene academische vaardigheden innovatieve vaardigheden strategische/organisatorische vaardigheden sociale vaardigheden commerciële vaardigheden.

Wat willen werkgevers?

Wat willen werkgevers?

Wat willen werkgevers?

Bedankt en als er vragen zijn: C.meng@maastrichtuniversity.nl Tot slot Bedankt en als er vragen zijn: C.meng@maastrichtuniversity.nl