In vijf stappen naar het accepteren van en werken met de uitkomsten van de Nationale Studentenenquête 5 November 2015

Nationale Studentenenquête Binnen de UvA veel wantrouwen ten aanzien van uitkomsten Discussie ging over het instrument, niet de uitkomsten Jammer want: NSE is beste indicatie van wat studenten van opleiding vinden Er is aandacht voor in de media, dus vanuit PR-oogpunt ook goed om te verbeteren Doel: zorgen dat opleidingen aan het werk gaan met de NSE 2DAIR 2015

Vijf Fasen Een organisatie doorloopt vijf fasen bij het “verwerken” van onderzoeksuitkomsten 3DAIR e Fase: Het instrument deugt niet (validiteit) 2 e Fase: Het instrument deugt wel, maar de uitkomsten zijn niet representatief (respons is laag, alleen klagers doen mee) 3 e Fase: De uitkomsten kloppen, maar we kunnen er niets aan doen (UvA (Amsterdamse) student is kritischer, geen handvaten voor actie) 4 e Fase: We kunnen er wel wat aan doen, maar we hebben er geen geld/middelen voor 5 e Fase: Acceptatie/werken aan verbeteringen

Fase 1: Validiteit Onderzocht door ResearchNed 4DAIR 2015 Reflectief Formatief Uitgaan van formatief model

Fase 2: Representativiteit en non respons Non responsonderzoek: studenten die niet meedoen, zijn iets minder tevreden over hun opleiding (verschil 0,04 punt) Welke studenten vullen de NSE in en beïnvloed dat de NSE score? Welke opleidingskenmerken hebben invloed op NSE score? Hoe hebben we dat onderzocht? Koppelen van studieresultaten, startmonitor (daardoor alleen eerstejaars) en andere kenmerken (NVAO score) aan de NSE data. Bij modeleren rekening houden met hierarchie in data 5DAIR 2015

r = -0,04 r = 0,7 r = 0,4 Multilevel analyse 6

Kenmerken in het model Studenten  Studieprestatie (bijv. cijfers, punten, 1 e tentamen)  Vooropleiding (bijv. cijfers, profielen)  Motivatie en verwachtingen, big 5 (Startmonitor) Opleiding  O.a. omvang, contacturen Accreditatie  Verschil tussen aantal goed + excellent en aantal onvoldoenden 7DAIR 2015

Uitkomsten analyse Wie vult de NSE in? Vrouwen en de gemotiveerde, beter presterende student Bias van geslacht niet relevant, want mannen en vrouwen verschillen niet in beoordeling Wel van belang: gemotiveerde, beter presterende studenten beoordelen opleiding positiever (algemene beoordeling opleiding) Bijna geen opleidingskenmerken die rol spelen. Licht positief verband tussen contacturen en waardering voor docenten Geen verband tussen NVAO scores en NSE score 8DAIR 2015

Fase 3: Base rate-effect Bij NSE 2014 hebben brede instellingen baseline vraag laten meelopen: “Hoe tevreden ben je met de informatievoorziening vanuit DUO” Er is een correlatie tussen de score op de baserate vraag en het algemene oordeel over de opleiding Er is alleen geen verschil tussen de studenten van dezelfde opleiding tussen de verschillende instellingen in score op de baseline vraag 9DAIR 2015

Fase 3: data is niet actionable NSE biedt inderdaad geen pasklare oplossingen Verdiepend onderzoek is noodzakelijk Kan onder anderen via studentenpanel 10DAIR 2015

Fase 4: Geen middelen Geen prioriteit (student is geen klant, studenttevredenheid dus niet zo belangrijk) Hoeveelheid data is overweldigend 11DAIR 2015  Rector inzetten om belang van NSE te onderstrepen  Opnemen in PDCA-cycle, convenanten  Ondersteuning vanuit centrale organisatie (UvAdata (datawarehouse))  Focus bieden (prioriteitenmatrices)  NSE platform

Fase 5: Acceptatie, verbeteren op basis van de resultaten  NSE-platform  Een vertegenwoordiger van iedere faculteit  Informatie te verzamelen over welke actie en onderzoeken er gedaan worden  Informatie delen  UvA brede NSE-middag: delen van good practices  Vorig jaar eerste keer georganiseerd  Met deelname van studenten  Veel gelegenheid tot discussie en interactie  Ondersteund door website waar de diverse good practices te vinden zijn alsmede contactinformatie en een handboek 12DAIR 2015

Resultaten Belangstelling voor de NSE binnen organisatie is groeiende Steeds meer initiatieven binnen opleidingen en faculteiten Trend scores is stijgend 13DAIR 2015

Hoe verder? Stroomlijnen informatie voor opleidingen: te veel enquêtes leidt niet alleen tot enquêtedruk voor studenten, maar ook informatiedruk voor opleidingen Veranderingen aan de vragenlijst in goede banen leiden UvA-brede bijeenkomsten rondom NSE blijven organiseren 14DAIR 2015

Vragen? 15