Studenttevredenheid als kwaliteitsmaat? NNK platform HBO - 19 september 2013

NSE “Wij waarderen de mening van studenten zeer. Maar dat betekent ook dat we ze niet vragen wat ze vanuit het student-zijn niet kunnen weten” ( Gordon, Schotland, op een EUA-congres 2008)

NSE Studenttevredenheid vertelt ons iets over de waardering van studenten voor onze (bedrijfs- en onderwijs)processen, Maar is geen meting van het niveau van de opleiding.

NSE Belangrijke zaken die het studentenoordeel beïnvloeden zijn: Sfeer : is onderzoekstechnisch moeilijk te definiëren maar is wel een maat voor tevredenheid. Is een Avansvraag Docenten: gebleken is dat de waardering voor docenten een belangrijk element is voor de studenttevredenheid (van Mackelenbergh en van Opstal, Avans Hogeschool, 2006)

NSE en regelcyclus NSE-resultaten worden aan het management gepresenteerd in de vorm van placemats en rapportages Directeuren waarderen de interne benchmark die zij hiermee kunnen maken. Op de NSE is een regelcyclus uitgezet op Avans niveau Hetzelfde gebeurt nu met de HBO-monitor Het CvB krijgt een aparte monitor waar verschillende metingen in verwerkt zijn tot een totaal-plaatje In toenemende mate aandacht voor HBO-monitor naast NSE

NSE en accreditatie Avans Hogeschool is voor het derde jaar achter elkaar nummer 1 in de keuzegids. Gevaar: zelfvoldaanheid Als projectleider instellingsaudit heb ik het CvB er op moeten wijzen dat dat niets zegt over het behalen van instellingsaudit. Het helpt wel maar is niet bepalend Het zegt ook niets over het behalen van de BOB.

Beleid Saxion (1) Belangrijke kwaliteitsindicator Eigen kengetal en verbeteraanpak Nu ook koppelen aan studiesucces Al meerdere jaren; vanaf 2008 wordt er ook echt op gestuurd. Verbeteren: algemeen: b.v. dienstverlening roosteren, faciliteiten opleidings-/academiespecifiek: daar ligt crux. Wel van elkaar leren. Relatie studiesucces: zijn tevredener studenten ook succesvoller? Er zijn er die denken: ja.

Beleid Saxion (2) Trend: Inhoudelijk: ± --> + Randvoorwaardelijk: - -->± Stelling: Tevreden student + tevreden medewerker = hoge kwaliteit Trend: inhoudelijk: oriëntatie, vakinhouden, docenten randvoorwaardelijk: informatie, begeleiding, faciliteiten, roosters Stelling: Ons bestuur verkondigt dat nog wel eens. En ook nog een volgorde: als medewerker tevreden, dan grotere kans op tevredener student en daarmee betere kwaliteit

Edoch… Geen correlatie studenttevredenheid – expertoordeel Geen correlatie studenttevredenheid – studierendement In accreditatiebesluiten: studenttevredenheid speelt nauwelijks rol In visitatierapporten: studenttevredenheid komt geregeld, zij het mondjesmaat, aan de orde In Kritische Reflecties: veel aandacht voor studenttevredenheid als maat voor kwaliteit Correlatie NSE – Accreditatie (keuzegids 2013): Drie categorieën expertoordeel (-, 0, +) gecorreleerd met NSE-score: geen significant verschil. Accreditatiebesluiten: aantal keren verwijzing naar ‘studenttevredenheid’ varieert van 0 tot 1 (5 recente besluiten) Visitatierapporten: varieert van 2 tot 8 (5 recente visitatierapporten) KR’s van opleidingen: teveel om te tellen. Veel focus op NSE, WTO en hbo-monitor als maat voor ‘we zijn goed bezig’. Weinig verwijzing naar eigen evaluaties (klein: blok, stage, e.d.) Als het gaat om niveau: Studenten vinden het wel HBO-niveau; werkveld (stage- /afstudeerbegeleiders) idem en alumni ook: Dan is het goed. Dan is het ook schrikken als een panel zegt, het niet niet goed genoeg.

Kwaliteit een gelaagd begrip? Wat is jullie visie op studenttevredenheid als maat voor kwaliteit? Welk kwaliteitsbegrip hanteert jullie hogeschool en wat is de plaats van de NSE hierin? Hoe gaat jullie hogeschool om met deze prestatie indicator in relatie met kwaliteit? Doet studenttevredenheid ertoe bij accreditatie van opleidingen? Welke rol vervul jij als kwaliteitsdeskundige bij het hanteren van het kwaliteitsbegrip?

Toekomst…? “Een andere mogelijkheid kan zijn een vergelijking te maken tussen opleidingsoordelen met andere kwaliteitsindicatoren per opleiding zoals tevredenheid studenten, tevredenheid werkveld of bijvoorbeeld studiesucces.” (Inspectie van Hoger Onderwijs, De kwaliteit van het Nederlandse accreditatiestelsel hoger onderwijs. 17-07-2013) Intussen liggen er 3 evaluatierapporten over het accreditatiestelsel + beleidsreactie van de Minister. Algemene Rekenkamer (+ Vlaamse Rekenhof) Inspectie van het Hoger Onderwijs NVAO zelf Een van de waarnemingen/verbeterpunten (in de overigens i.h.a. positieve evaluaties) betreft betrouwbaarheid. In hoeverre herhaalde beoordelingen van een situatie steeds tot hetzelfde oordeel zou leiden Vraag is of de inrichting stelsel in voldoende mate tot betrouwbare onderzoeksprocessen en beoordelingen leidt. Is nog niet te beantwoorden. Weinig negatieve beoordelingen maken het moeilijk betrouwbaarheidsanalyse uit te voeren. Er zijn wel verschillen (tussen panels), maar het is technisch niet haalbaar tot een goede uitspraak te komen. In het proces zijn veel verschillende betrokkenen. Voor een zuivere analyse: dezelfde opleiding op hetzelfde moment door verschillende beoordelaars laten onderzoeken. Elkaar opvolgende gesprekken zouden elkaar beïnvloeden; onevenredige belasting. Dus geen replicaties. Is het daarom een idee, zo besluit Inspectie, een vergelijking te maken tussen opleidingsoordelen met andere kwaliteitsindicatoren per opleiding zoals tevredenheid studenten, tevredenheid werkveld of bijvoorbeeld studiesucces. Dit is noch in het stelsel, noch door ons uitgevoerd. In het betreffende hoofdstuk gaat Inspectie nog verder in op diverse aspecten van betrouwbaarheid.