IR, Informeren of Faciliteren? Neil van der Veer (Newcom Research & Consultancy) Kees van Wijngaarden (Universiteit Twente)

Presentatie Schetsen van de context Project Integratie Onderzoeken in Onderwijs Inpassing in Kwaliteitszorg Projectorganisatie Projectfasering Resultaten van het project Rol IR

NIETS Context Informatie wordt verzameld Rapport wordt geschreven Beleidsmedewerker trekt conclusies Organisatie krijgt het rapport CvB stuurt een brief met verzoek iets te doen Netto resultaat ……. NIETS

Huidige Onderzoeken Instroomonderzoek (onderzoek onder aanmelders UT) Studenttevredenheidsonderzoek (onderzoek onder 2de jaars UT studenten) WO monitor (onderzoek onder afgestudeerden) Werkgeverspeiling (onderzoek onder werkgevers over het doel en het niveau van opleidingen)

Problemen Onderzoeken staan te geïsoleerd van elkaar. Resultaten worden weinig gebruikt in de kwaliteitszorgcycli van de faculteiten. In totaal ongeveer 100 kf euro geïnvesteerd in onderzoeken. Gezien bovenstaande problemen, veel geld.

Project Integratie Onderzoeken in Onderwijs

Doelstellingen De informatie uit de onderzoeken moet ingebed worden in het intern kwaliteitszorgsysteem. De onderzoeken moeten onderling vergelijkbaar zijn. Value for Money.

Knelpunten Het intern kwaliteitszorgsysteem onderwijs bij faculteiten bestaat uit losse onderdelen en zal eerst meer structuur moeten krijgen. De universiteit kent geen sluitend intergraal kwaliteitszorgsysteem. Het ontsluiten van Management Informatie is niet volledig geautomatiseerd.

Afhankelijkheden Het project kent een aantal afhankelijkheden t.o.v. andere projecten: Opzetten Integrale Kwaliteitszorg UT Opzetten Intern Kwaliteitszorgsysteem Onderwijs Ontwikkelen Management Informatie Systeem UT (MISUT) Opzetten Intern Kwaliteitszorgsysteem Diensten Dienst Studentenvoorzieningen en Campus Bureau Communicatie

Kwaliteitszorg De onderzoeken moeten een plaats krijgen binnen het Kwaliteitszorgsysteem Onderwijs van de UT. De opleidingen of diensten leveren input voor de onderzoeken. De opleidingen en diensten moeten de informatie gebruiken binnen hun eigen interne kwaliteitszorgsysteem.

Kwaliteitszorg Planning & Controle Strategieplan Begroting Performance Indicatoren Jaarlijkse evaluatie Onderwijs Onderzoek Diensten Interne Kwaliteitszorg

MISUT Het MISUT project kent de volgende doelstellingen: Inventariseren behoefte aan Management Informatie. Definiëren duidelijke en eenduidige definities Management Informatie. Ontwikkelen basis dataset. Ontwikkelen rapportages in Business Objects.

Deelprojecten MISUT Pilot “Vooraanmeldingen / Inschrijvingen” Onderzoek architectuur Instellingssystemen Planning & Controle Kentallen Onderwijs Kwaliteitszorg Onderwijs Kwaliteitszorg Onderzoek Beheren Leerstoel Beheren Faculteit

Inbedden Project Project krijgt een stuurgroep met daarin de belangrijkste stakeholders van het project. Het CvB zal het project faciliteren, waarbij de projectleider het project zal duwen. De stuurgroep krijgt niet alleen dit project, maar ook Het project Interne Kwaliteitszorg Onderwijs Deelprojecten van MISUT: Kentallen Onderwijs Kwaliteitszorg Onderwijs

Stakeholders Opleidingsniveau Universitair niveau Decanen Opleidingsdirecteuren Opleidingscommissies Universitair niveau College van Bestuur / Universitair Management Team Dienst Studentenvoorzieningen en Campus Bureau Communicatie

Stuurgroep Drie opleidingsdirecteuren (waarvan 1 voorzitter zal worden) Directeur Dienst Studentenvoorzieningen en Campus Directeur Bureau Communicatie Projectleider

Project Integratie Onderzoeken in Onderwijs Concrete opzet Project Integratie Onderzoeken in Onderwijs

Value for Money Effectiviteit Efficiëntie Vergelijking (per jaar, per studie, per groep, etc) Verschillen Tendensen Effecten ‘UT levenscyclus’ Betrokkenheid c.q. draagvlak Inspraak opleidingen Informatie ook ‘op maat’ Efficiëntie

Randvoorwaarden Randvoorwaarden I Randvoorwaarden II Bestaande onderzoeken in enige vorm laten continueren Aandacht voor BAMA structuur Studenten (BA en MA) tijdens de studie maar één keer confronteren met een vragenlijst Werkgeverspeiling & uitstroomonderzoek één maal per accreditatie Herhaalbaar & reproduceerbaar Randvoorwaarden II Input voor onderwijsbeleid Input voor marketingcommunicatie

Herdefiniëring & stakeholdersanalyse Keuze methodieken Projectfasering Herdefiniëring & stakeholdersanalyse Keuze methodieken Ontwikkelen Instrumenten IJk & meetmomenten Output

Analyse overeenkomsten en verschillen Analyse stakeholders/gebruikers Herdefiniëringfase Analyse overeenkomsten en verschillen Analyse stakeholders/gebruikers Wie heeft wat aan welk onderzoek? Doelstellingen Per onderzoek Per jaar Per studie Per accreditatie

Stakeholders Opleidingsniveau Universitair niveau => Delphi methode Decanen Opleidingsdirecteuren Opleidingscommissies Universitair niveau College van Bestuur / Universitair Management Team Bureau Communicatie Dienst Studentenvoorzieningen en Campus => Delphi methode

Instrumenten Algemeen deel (+/- 40%) (in kaart brengen van tendensen en verschillen) Fase specifiek deel (+/- 30%) (voor ieder onderzoek verschillen en gericht op de betreffende fase) Opleidingsspecifiek deel (+/- 30%) (eigen vragen per opleiding, die iedere opleiding en/of dienst zelf kan aanvullen)

Keuze methodieken - +/- ++ + -- --* Kwantitatief Kwalitatief   Schriftelijk Online Telefonisch Interviews Groepsdiscussies Doorlooptijd   - +/- ++ + Inzicht in voortgang respons   Respons   Mogelijkheid tot toelichting en doorvragen -- Kosten   Generaliseerbaarheid   Waarborgen anonimiteit   --* Hoeveelheid vragen   Diepgaand inzicht   Effectmetingen   *overige groepsleden aanwezig

Digitalisering: on line onderzoek Methodiek Digitalisering: on line onderzoek Voordeel Hoeveelheid vragen Generaliseerbaarheid Effectmetingen & vergelijking mogelijk Bij juiste aanpak: hoog responderend vermogen (zeker bij panel) Doorlooptijd Kosten! Nadeel Geen mogelijkheid tot doorvragen Elke doelgroep geschikt?

Meetmomenten Soort Onderzoek Soort Opleiding Respondenten Frequentie Instroomonderzoek Bachelor 1e jaars Twee jaarlijks Tevredenheidsonderzoek 3de jaars Master 1ste jaars Master 4de jaars W.O. Monitor Bachelor / Master Alumni Jaarlijks (beperkte set voor R.O.A.) (pas afgestudeerd) Uitstroomonderzoek 1x per accreditatie (uitgebreid per opleiding) (3 t/m 5 jaar afgestudeerd) Werkgeverspeiling Werkgevers

Meetmomenten Bachelor Instroom MA BA Studenten MA BA Alumni MA BA Werkgevers MA 0 1 2 3 4 5 6 7

Meetmomenten Master 0 1 2 3 4 5 6 7 BA Instroom MA BA Studenten MA BA Alumni MA BA Werkgevers MA 0 1 2 3 4 5 6 7

Meetmomenten Bachelor Instroom MA BA Studenten MA BA Alumni MA BA Werkgevers MA 0 1 2 3 4 5 6 7

Meetmomenten Master 0 1 2 3 4 5 6 7 BA Instroom MA BA Studenten MA BA Alumni MA BA Werkgevers MA 0 1 2 3 4 5 6 7

Opbouw monitor 0 1 2 3 4 5 6 7 Generiek Fase specifiek Opleidingspecifiek BA Instroom MA Generiek Fase specifiek Opleidingspecifiek BA Studenten MA Generiek Fase specifiek Opleidingspecifiek BA Alumni MA Generiek Fase specifiek Opleidingspecifiek BA Werkgevers MA 0 1 2 3 4 5 6 7

Output Huidige output: Toekomstige output: Afzonderlijke onderzoeksrapporten Toekomstige output: Geaggregeerde informatie (middels MISUT) Reporting on demand Jaarlijks integraal ‘instellingsrapport’ Jaarlijks integraal ‘opleidingsrapport en/of faculteitsrapport’ ‘Cyclus instellingsrapport’ (over 5 jaar) ‘Cyclus ‘opleidingsrapport’ (over 5 jaar)

Gestructureerd verkrijgen van input voor kwaliteitszorg Voordelen Vergelijking mogelijk op elk gewenst niveau (verschillen, tendensen en effecten) Gestructureerd verkrijgen van input voor kwaliteitszorg Verhoging van effectiviteit d.m.v. betrokkenheid c.q. draagvlak verhogen bij opleidingen (directie en commissies) Draagt zorg voor efficiëntie

Rol IR Informeren? De instelling gevraagd of ongevraagd voorzien van objectieve informatie, terwijl er geen overleg-structuren zijn die ervoor zorgen dat er overlegd kan worden over verbeteringen OF……

Rol IR Faciliteren? Informatie verstrekken op basis van de vraag vanuit vastgelegde overlegstructuren. Deze vastgestelde structuren moeten aanwezig zijn om IR niet in het luchtledige te laten praten.

Intergratie Kwaliteitszorg en Institutional Research Werkzaamheden Zitting in Stuurgroep Interne Kwaliteitszorg Onderwijs Projectleider Project Integratie Onderzoeken in Onderwijs Projectleider Management Informatie Systeem UT Adviseur Interne Kwaliteitszorg Dienst Studentenvoorzieningen en Campus Wenselijk: Intergratie Kwaliteitszorg en Institutional Research