19 januari 2006

Programma 13.00 Opening 13.10 Nut en Noodzaak van benchmarkonderzoek 13.25 HBOSpiegel.nl; een infrastructuur voor benchmarkonderzoek 14.00 Pauze 14.15 Het HBO-instroom benchmarkonderzoek 14.30 Studenttevredenheid-, alumni- en personeelsmonitor als benchmarkinstrumenten 14.45 Pauze 15.00 Plan van aanpak voor benchmarkonderzoek 15.15 Ervaringen uit het veld Frank Verhoeven, HAN 15.25 Vragen en discussie 16.00 Afsluiting en gezamenlijke borrel

Nut en noodzaak van benchmarkonderzoek Themamiddag ‘Benchmarken met HBOSpiegel.nl’ 19 januari 2006 Maarten Panhuijsen

Nut en noodzaak van benchmarken Wat is benchmarken? Benchmarkpraktijk HO Benchmarken versus ranking Nut en noodzaak Vormen van benchmarken Benchmarkproces Succesbevorderende factoren

Leerproces staat centraal! Wat is benchmarken? Organisatiekundig concept: Wat? Meten en vergelijken van bedrijfsprocessen en -prestaties Waarbij gezocht wordt naar best practices Waartoe? Met als doel verbeteren van een proces of activiteit binnen de eigen organisatie Hoe? Vanuit een gezamenlijk referentiekader Met valide, transparante en eenduidige instrumenten Door te leren van andere organisaties of processen Wat: onderwijsuitvoering –en ontwikkeling Best practice bijvoorbeeld waar het gaat om uitstekende studiebegeleiding of organisatie van stageplekken of uitstekend studierendement Waartoe: ambities om eigen onderwijs te verbeteren op cruciale aspecten als studievoortgang, aansluiting, onderwijsinnovatie Hoe: door in gesprek te komen met andere organisaties en daarvan te leren. Leerproces: continu zelfverbeteringsproces door te leren van wat topconcurrenten doen en vooral hoe ze dat doen Zo heeft Ford begin jaren 80 de processen van haar haar betaalafdeling systematisch vergeleken met die van concurrent mazda. Hiervan werd zoveel geleerd dat het aantal medewerkers op de afdeling gereduceerd kon worden van 500 naar 125. Leerproces staat centraal!

Legitimatieproces staat centraal! Benchmarkpraktijk HO Meten en vergelijken: vanuit strategische motieven (ambitie) in het kader van accreditatie (basiskwaliteit) op basis van relatief eenvoudige statistische vergelijkingen niet expliciet als uitgangspunt voor verbeterproces Focus op vraag: ‘hoe doet’ onze instelling het t.o.v. van andere instelingen? benchmark heeft meer het karakter van een ranking rankingresultaten zijn mikpunt van discussie Meten en vergelijken vindt vooral plaats vanuit de vraag hoe doet onze instelling het ten opzichte van anderen. Dit vanuit strategische motieven en ambities waar het gaat om studentenaantallen; marktaandeel, concurrentie, imago, werkgelegenheid en loopbaanperspectief Of vanwege de accreditatie en dan betreft het thema’s als rendement, uitval, tijdsbesteding, studenttevredenheid Legitimatieproces staat centraal. Benchmarkpraktijk heeft meer het karakter van rankings Elsevier, keuegids Scoor je hoog dan doe je het goed, scoor je laag dan doe je het slecht. Rankings worden vaak ervaren als afrekenlijstjes Scoor je goed dan wordt dit door de instelling breed uitgemeten in brochures en zelfstudies, scoor je slecht dan deugt het onderzoek niet Veel energie gaat zitten in discussie over de benchmarkmethode. Dit dringt het zelfverbeterproces; wat kunnen wij leren van andere opledingen of relevante organisatise om onze eigen processen en prestaties te verbeteren naar de achtergrond. Legitimatieproces staat centraal!

Benchmarken versus Ranking Overeenkomsten Voorziet in informatie voor verbeteren van prestaties Voorziet in eenduidig referentiekader (waarden) Voorziet in algemene (landelijke) norm Verschillen Benchmarken Ranking Initiatief Instelling Externe organisatie Keuze onderwerp(en) Keuze prestatie-indicatoren en instrumentarium Keuze benchmarkpartners Bepalen best practice Motivatie Intrinsiek: Willen verbeteren Extrinsiek: Aanzetten tot betere prestaties d.m.v. druk Discussie over rankingresultaten is niet zo verwonderlijk gezien verschillende manieren waarop deze tot stand komen. De betrokkenheid van een individuele opleiding of instelling is vrij nihil. De de onderwerpen en prestatie-indicatoren zijn niet voor ieder opleiding even relevant en kunnen makkelijk ter discussie gesteld worden. De vraag is ook in hoeverre bekende toptien lijstjes echt een rol spelen bij bijvoorbeeld het keuzeproces van een student. Ze zijn er echter wel dus je moet er iets mee. Het afrekenkarakter van ranking weerhoudt instellingen ervan buitenstaanders een op een transparante manier een kijkje in de eigen keuken te geven En zo iets te leren van elkaar.

Benchmarken is nuttig Eenduidige definities, instrumenten en resultaten Valide vergelijking van opleidingen op relevante aspecten Houvast verbeterproces door geaccepteerde best practice (goede dingen goed doen) Mogelijkheid te leren van andere organisaties of processen Bevordert de snelheid en de effectiviteit van het oplossen van knelpunten Scoort goed op onderwerp 5 van het NVAO-kader Dat is jammer want benchmarken kan heel nuttig zijn

Benchmarken is noodzakelijk Accreditatie Expliciet: benchmarkgegevens in de vorm van kengetallen en vergelijking met zusteropleidingen Impliciet: benchmark maakt aantoonbaarheid (basis)kwaliteit eigen opleiding eenvoudiger Strategie en marketing Legitimering ambities Maken van keuzes Positionering Wordt expliciet gevraagd naar benchmarkgegevens in de vorm van kengetallen (rendementen, instroom, student/docent ratio e.d.). Daarnaast waar het gaat om de vergelijking met zusteropleidingen op doelstellingen en programma Positionering en legitimering van de opleiding ten opzichte van andere opleidingen Op het onderwerp interne kwaliteitzorg kun je met een benchmark refereren aan een landelijke standaard. Bovendien laat jezien echt te willen verbeteren.

Vormen van benchmarken Intern: vergelijken gelijke activiteit bij verschillende onderdelen van de instelling Extern: vergelijken prestatie eigen instelling met directe concurrenten Functioneel: vergelijken van specifieke activiteiten van instellingen die bepaalde diensten met elkaar gemeen hebben maar geen directe concurrenten van elkaar zijn Generiek vergelijken van processen van de eigen instelling met die van een totaal andere organisatie Intern: rendement van opleidingen, leeftijdsopbouw, functioneren van de onderwijsondersteuning. Hier begint in feite het benchmarken. Dichtbij, relatief eenvoudig te organiseren. Kunnen in- en uitzoomen op de organisatie. Wel intern gericht. Extern: rendementen, ontwikkeling marktaandeel eerstejaars, verhouding onderwijzend en ondersteunend personeel. Kengetallen op het gebied van financiën, personeel en studenten. Arbeidsmarktmonitor; alumni-enquête naar arbeidsmarktpositie recent afgestudeerden Functioneel: opzetten en uitvoeren van onderzoekprogramma’s (universiteiten). Organiseren van broepspraktijkvorming met MBO Generiek: studentenadministratie versus een patiëntenadministratie. Lastig gezien het verschillende begrippenkader Begin maar eens bij interne en externe benchmarking

Benchmarkproces Planning: Samenstellen benchmarkteam: keuze onderwerp, relevante prestatie-indicatoren en benchmarkpartners Samenstellen benchmarkteam: drie rollen:creëren commitment binnen organisatie, organiseren en uitvoeren benchmark, organiseren en uitvoeren van site visits bij de benchmarkpartners. Verzamelen van informatie: binnen eigen instelling en bij benchmarkpartners en uitvoeren site visits Analyseren data: vaststellen van het ‘performance gap’ tussen het eigen presteren en de best practice Ontwikkelen en uitvoeren actieplan: doel dichten kloof met best practice 1. Hier bepaal je hoe uitgebreid of complex de benchmark moet zijn. Hou hierbij goed het doel van de benchmark in de gaten. Begin bijvoorbeeld niet meer meteen op alle facetten het NVAO een benchmark te formuleren. Je kunt voor het vinden van geschikte partners ook een beroep doen op een extern bureau zoals IOWO. Wij kunnen bijvoorbeeld een benchmark organiseren. Gebruik maken van ons netwerk. 2. Een externe teamleider kan het proces borgen en sturen vanuit expert- en procesrol zodat er geen vrijblijvendheid is. 3. Met behulp van de HBOSpiegel (Bas) 4. Met behulp van de spiegel plus een expertblik 5. Opties in spiegel voor verbeteracties en expertblik voor echt vasstellen van sussesfactoren

Succesbevorderende factoren Veel aandacht voor: Begrijpen van de eigen situatie Het kiezen van de juiste processen of prestaties Teamsamenstelling Partnerkeuze Zet ideeën en informatie van site visits om in praktische verbeterprojecten Organiseer, documenteer en manage het verbeterproject (als een continu proces Bespaar tijd en geld door aansluiting te zoeken bij reeds bestaande benchmarkinitiatieven, expertise en benchmarkfaciliteiten. - Begin beperkt met een aantal cruciale processen dicht bij het primaire proces die verbetering behoeven (onderwijsuitvoering, toetsing)

De hbo-instroommonitor Studiekeuze en aansluiting van voortgezet naar hoger beroepsonderwijs Themamiddag ‘Benchmarken met HBOSpiegel.nl’ 19 januari 2006 Jules Warps en Elvira Folmer

Thema’s in de instroommonitor • Studiehistorie en achtergrondkenmerken studenten • Imago instelling • Het uitkomen van verwachtingen • Moment en volgorde studiekeuze • Marktaandelen van instellingen, regionale vs. landelijke werving In deze presentatie: • Overwogen opleiding en instelling • Keuzemotieven voor opleiding en instelling • Gebruik van voorlichting en invloed op studiekeuze • Beoordeling aansluiting met vooropleiding

Opzet hbo-instroommonitor • Vanaf 1998 landelijke Instroommonitor in WO. • Hbo-instroommonitor in studiejaar 2002-2003 ontwikkeld in samenwerking met o.a. hogescholen. Vanaf studiejaar 2003-2004 landelijk uitgevoerd. • Bij deelnemende hogescholen wordt hele eerstejaarspopulatie benaderd. In de rest van het hbo een steekproef van 50.000 eerstejaars. • In 2004-2005 hebben in totaal 21.118 studenten deelgenomen. Er zijn daarmee gegevens beschikbaar van ongeveer 25% van de totale populatie eerstejaars studenten.

Overwogen instelling en opleiding 51% van de eerstejaars hbo-studenten heeft serieus een andere opleiding overwogen. 40% van de eerstejaars heeft een serieus een andere instelling overwogen.

Doorslaggevende motieven bij instellingskeuze Opleiding is inhoudelijk interessant 24% Reistijd korter Hogeschool heeft goede reputatie 16% Goed bereikbaar met openbaar vervoer Prettige sfeer 12% Aansluiting bij capaciteiten en vaardigheden 10% Meerdere beroepsmogelijkheden 8% Aantrekkelijke stad 7% Bekenden studeren hier 6% Uitoefening specifiek beroep 5% Goede studiefaciliteiten Hogeschool is kleinschalig

Gebruik voorlichting Open dag 74% Schriftelijke informatie 70%   Open dag 74% Schriftelijke informatie 70% Internetpagina’s hogescholen 67% Studie- of beroepskeuzetest 26% Persoonlijke voorlichting op vorige school 17% Bezoek Studiebeurs Utrecht Meelopen (met een student) 16% Kranten, artikelen, overige media 14% Voorlichtingsbijeenkomst/-markt op vorige school 13% Proefstuderen 9% Groepsbezoek in schoolverband 7% Onafhankelijke informatiebronnen (Keuzegids e.d.) 6% Regionale voorlichtingsbijeenkomst 4%

Belang van voorlichting   allen gebr. Open dag 62% 81% Schriftelijke informatie 42% Internetpagina’s hogescholen 30% 53% Meelopen (met een student) 13% Studie- of beroepskeuzetest 12% 52% Persoonlijke voorlichting op vorige school 10% 46% Proefstuderen 7% 63% Voorlichtingsbijeenkomst/-markt op vorige school 6% 35% Bezoek Studiebeurs Utrecht 5% 26% Kranten, artikelen, overige media 31% Groepsbezoek in schoolverband 4% 39% Onafhankelijke informatiebronnen (Keuzegids e.d.) 3% 29% Regionale voorlichtingsbijeenkomst 2% 28%

Eerste en laatste contact voor studiekeuze   Eerste contact Laatste contact Internetpagina’s hogescholen 29% 8% Schriftelijke informatie 21% 16% Open dag 52% Bezoek Studiebeurs Utrecht 5% 1% Persoonlijke voorlichting op vorige school 4% Kranten, artikelen, overige media Voorlichtingsbijeenkomst/-markt vorige school Studie- of beroepskeuzetest 3% 2% Groepsbezoek in schoolverband Meelopen (met een student) 11% Proefstuderen Onafhankelijke informatiebronnen Regionale voorlichtingsbijeenkomst 0%

Mbo’ers, havisten en vwo’ers beoordelen aansluiting met hbo (1)

Mbo’ers, havisten en vwo’ers beoordelen aansluiting met hbo (2)

Eisen te hoog of te laag?

Bij welke vooropleidingsvakken is de aansluiting volgens studenten niet goed? N.B.: Percentages ontevreden havisten over aansluiting met vak wiskunde in sector Techniek: Vanuit profiel NG: 28%, vanuit profiel NT: 29%.

Website voor vwo-scholen

Voorbeelden uit de praktijk Uitkomsten: Duidelijk profiel, zoals verwacht Duidelijk profiel, onverwacht Ook mogelijk: géén profiel … Vervolg: Gekwantificeerd beeld van eigen hogeschool in vergelijking met andere hogescholen: hoe groot zijn verschillen? Geeft aan op welke punten en hoe drastisch je actie wilt ondernemen. Geldt beeld instellingbreed, voor alle eigen sectoren en opleidingen? Kunt gericht actie ondernemen. Nulmeting: uitkomsten niet alleen basis voor nieuw beleid, maar ook basis om later na te gaan of nieuw beleid effect had.

Plan van aanpak: keuze voor steekproef of populatieonderzoek Hbo-Instroommonitor Onderzoeks-groep: Rapportage: Benchmark: Respons: Steekproef (landelijk 50.000) Inhoud: vaste thema’s, beschrijving op hoofd-lijnen Instellings- en facultair niveau 35% van de steekproef (=25% van totale hbo-instroom) Volledige populatie eerstejaars Inhoud: maatwerk, uitvoerige beschrijvingen Instellings-, facultair en opleidingsniveau (tabellenboeken) > 50% (o.a. afhankelijk van gekozen medium)

Benchmarkonderzoek IOWO Themamiddag ‘Benchmarken met HBOSpiegel.nl’ 19 januari 2006 Maarten Panhuijsen

Thema’s benchmarkonderzoek IOWO Genereren van informatie voor onderwijsmanagement met verschillende vormen van institutioneel onderzoek Gericht op de volledige studieloopbaan van studenten instroom studie uitstroom Marktaandeel Studievoortgang Studie-uitval Concurrentie Kwaliteitsoordelen Werkgelegenheid Imago Studenttevredenheid Baankenmerken Aansluiting VO Tijdsbesteding Loopbaanperspectief Studiekeuzemotieven Gebruik voorzieningen Benutting competenties Invoering majors-minors Aansluiting opleiding Waar staan wij ten opzichte van anderen Absoluut referentiepunt

Benchmarkinstrumenten IOWO Studenttevredenheidsmonitor Studeren en werken Alumnimonitor Loopbaanonderzoek Studie-uitvalonderzoek

Studenttevredenheidsmonitor Centraal staat: In welke mate voldoet het onderwijs, faciliteiten en studieomgeving verwachtingen van student (of wat mogen ze verwachten)? Thema’s: Onderwijsprogramma Docenten en studiebegeleiding Voorzieningen Algemene beoordeling van studie en omgeving Invoering majors-minors Niveau; instelling, faculteit en opleiding Studettevredenheid: ieder instelling op zijn eigen manier terwijl er zeer veel overeenkomsten zijn

Niveau; instelling, faculteit en opleiding Studeren en werken Centraal staat: Wat houdt studeren aan uw instelling nu feitelijk in voor de student? Thema’s o.a.: Tijdsbesteding aan studie en nevenwerkzaamheden Financiële situatie student Feitelijk gebruik van instellingsfaciliteiten Niveau; instelling, faculteit en opleiding

Niveau; instelling, faculteit en opleiding Alumnimonitor Centraal staat: Biedt de opleiding een goede startpositie op arbeidsmarkt? Thema’s zijn o.a.: Succes vinden baan Aansluiting baan bij gevolgde opleiding Niveau en inhoud baan Eisen in termen van competenties Terugblik op gevolgde opleiding Niveau; instelling, faculteit en opleiding HBO monitor!

Niveau; instelling, faculteit en opleiding Loopbaanonderzoek Centraal staat: Wat zijn de loopbaanperspectieven van alumni op langere termijn? Thema’s o.a.: Achtereenvolgende functies Verschuiving in vereiste competenties Invloed van opleiding op loopbaan van alumni, ook op langere termijn Werkgeversperspectief (door koppeling met werkgeversonderzoek) Niveau; instelling, faculteit en opleiding

Studie-uitvalonderzoek Centraal staat: Achtergrond studieuitval; ondanks of dankzij de opleiding? Thema’s o.a.: omvang Uitval naar studentkenmerken Moment van studiestaking Directe en indirecte aanleiding voor studiestaking Vervolg studieloopbaan studiestakers Niveau; instelling, faculteit en opleiding

Studentenmonitor Centraal staat: Thema’s o.a.: Samenvattende rapportage van uitkomsten van de studenttevredenheidsmonitor, algemene studentenenquête, alumnimonitor, loopbaanonderzoek en studieuitvalonderzoek op hoofdlijnen In een overzichtelijke compacte layout; grafieken met begeleidende tekst Thema’s o.a.: Studiekeuze Tevredenheid Studie-uitval Studeren en werken Arbeidsmarktpositie Niveau; instelling, faculteit en opleiding

Personeelsmonitor Centraal staat: Thema’s o.a.: Oordeel van docenten en ondersteunend personeel over functioneren van de opleiding en opleidingsorganisatie. Thema’s o.a.: Eindkwalificaties Opleidingsprogramma Organisatie inzet personeel Voorzieningen Interne kwaliteitszorg Human resource management. Niveau; instelling, faculteit en opleiding

Samen benchmarkonderzoek uitvoeren met IOWO Geïnteresseerden kunnen contact opnemen met IOWO IOWO inventariseert samen met de klant de wensen en mogelijkheden en adviseert over aanpak en instrumentkeuze IOWO zoekt benchmarkpartners voor de klant en begeleidt indien gewenst het benchmarkproces Klant voert zelf benchmarkmeting uit m.b.v. de HBOSpiegel.nl IOWO levert gewenste rapportages en geeft indien gewenst advies over ontwikkeling en uitvoering van verbeteractieplan Interesse, vul formulier in!