Examinering in het mbo: inspectietoezicht vanaf 2012 Gerard Bukkems 17 november 2011

Wat komt er aan de orde? I Staat van de examenkwaliteit in Nederland II Veranderingen in mbo-examinering IIIExameneisen / standaarden IVExaminering in het geïntegreerde toezicht

I Staat van de examenkwaliteit De examenkwaliteit moet beter ! 37 procent van de examens is onvoldoende (in 2007/2008: 22 procent) Eindtermgericht: 45 procent onvoldoende Competentiegericht: 35 procent onvoldoende Belangrijk deel van de onvoldoendes werd veroorzaakt door inkoop Bron: Examenverslag 2009 (publicatie: juli 2010)

Staat van de examenkwaliteit Oorzaken van de onvoldoendes: -Onvoldoende dekking (niet alles komt terug in het examen) -Onjuiste toetsvorm -Onvolledige beoordelingsmodellen Examinering talen: “Voor zowel Nederlands als Moderne Vreemde Talen is van bijna de helft van de onderzochte opleidingen de examenkwaliteit voldoende. Instellingen examineren pas sinds kort de CEF-niveaus, de toetsen zijn nog onvoldoende uitgekristalliseerd.”

Actieplan ‘Focus op Vakmanschap’ (2011) De minister van OCW: “De kwaliteit van de examens moet beter. Te veel instellingen en leveranciers blijven in gebreke en dat is onacceptabel”

II Veranderingen in de mbo-examinering Gericht op groep  Meer gericht op individu (kadertoetsen) Examen als Examen in vorm van Afsluitende Toets  Portfolio assessment / PvB Kennis apart toetsen  Kennis geïntegreerd met toetsing vaardigheden en houdingDeskundigheid van de constructeur essentieel  beoordelaar essentieel

Veranderingen in de mbo-examinering (2) Meer en meer een methodenmix om kennis, vaardigheden en houding te beoordelen Meer betrokkenheid van het bedrijfsleven bij de opzet en uitvoering van examinering. Zie ook project examenprofielen Meer standaardisering: - Inkoop bij examenleveranciers - Examenprofielen - Keurmerk van examenproducten

Gevolgen voor het examentoezicht Meer kijken naar de afname / bijwonen van de afname Meer gegevens van studenten opvragen / vragen naar specifieke invulling voor bepaalde studenten Minder gestandaardiseerde aanpak voor de inspectie / meer maatwerk in het toezicht Niet meer alle producten vooraf opvragen

III Exameneisen: relevante onderwerpen -De exameninstrumenten (‘de opzet’) -De afname en beoordeling (‘de toepassing’) -De examenprocessen -De deskundigheid van de betrokkenen -De tevredenheid van stakeholders

Validiteit: er wordt getoetst wat bedoeld is De aard en inhoud van de examens komen overeen met de uitstroomeisen uit de kwalificatiedossiers Betrouwbaarheid: bij een nieuwe toetsing volgt een zelfde uitkomst Bij herhaling van het examen volgt – onder gelijke omstandigheden - dezelfde uitslag. Transparantie: de examinering is inzichtelijk Beoordelaars én studenten weten wat er gaat gebeuren, en wat er van hen verwacht wordt

Examenstandaarden (regeling 2009) 1Beroepenveld heeft vertrouwen in de examenkwaliteit 2Deskundigheid van betrokkenen is geborgd 3Exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen 4Exameninstrumentarium voldoet aan de toetstechnische eisen 5Examenprocessen van afname, beoordeling en diplomering zijn deugdelijk 6De examenkwaliteit is voldoende geborgd 7De instelling voldoet aan de wettelijke vereisten rondom examinering

Examenstandaarden (regeling 2012) 1Exameninstrumentarium sluit aan op de uitstroomeisen en voldoet aan de toetstechnische eisen 2De examenprocessen van afname en beoordeling zijn deugdelijk 3De diplomering is deugdelijk en geborgd

Toezicht bve 2012: zeven kwaliteitsgebieden Onderdelen waarderingskader 2012: 1Onderwijsproces: Programma Leren in de onderwijsinstelling Begeleiding Leren in de beroepspraktijk 2: Examinering en diplomering 3: Opbrengsten 4: Kwaliteitsborging 5: Naleving van wet- en regelgeving 6: Leraarschap (optie) 7. Financiële kwaliteit

Waar gaan de ‘andere’ standaarden heen? Alles komt terug in nieuwe toezicht, maar wel anders gerangschikt. En met andere consequenties voor de waardering. OudNieuw Standaard 1 (beroepenveld)  Onderdeel van standaard 2 nieuw Standaard 2 (deskundigheid)  Onderdeel van standaard 2, 3 + apart kwaliteitsgebied 6 Standaard 6 (kwaliteitsborging)  Apart kwaliteitsgebied 4 Standaard 7 (wettelijke eisen)  Apart kwaliteitsgebied 5

Wat zijn nieuwe accenten? Binnen standaard 1 (uitstroomeisen) Onderscheid ontwikkelgerichte toetsen en examens “De instelling heeft een duidelijk onderscheid gemaakt tussen de opleiding - en daarin opgenomen ontwikkelgerichte toetsen - en de examinering. Deze overgang is gemarkeerd. De examencommissie heeft geëxpliciteerd op grond van welk examen en overige eisen het diploma wordt verstrekt. De studenten weten welke beoordeling meetelt voor het behalen van het diploma.”

Wat zijn nieuwe accenten? Binnen standaard 2 (afname en beoordeling) Authentieke afname “Het examen bevat tenminste activiteiten die de student als beginnend beroepsbeoefenaar in het toekomstig beroep uitvoert, afgestemd op het kwalificatiedossier (..). De werkomstandigheden en de sociale context tijdens de beoordeling van het examen komen zoveel mogelijk overeen met die in het toekomstig beroep; onderdelen van het examen vinden in de reële beroepspraktijk plaats. Het beroepenveld is betrokken bij de examinering en beoordelt de afname en beoordeling als realistisch.”

Welke accentverschillen zijn er verder ? Bij de dekking letten we niet alleen op de vraag of driekwart van de werkprocessen gedekt is, maar ook of de essentie van het beroep terugkomt in het examen. Kennis, vaardigheden en houding moeten in samenhang met elkaar worden beoordeeld. Met passende toetsinstrumenten. Minister heeft gevraagd meer nadruk te leggen op de kenniscomponent.

Standaarden en indicatoren: een overzicht Standaard 1: uitstroomeisen en toetstechnische eisen Indicatoren: -Onderscheid tussen ontwikkelgerichte toetsen en examinering -Dekking -Cesuur -Beoordelingswijze -Transparant

Standaarden en indicatoren: een overzicht Standaard 2: Afname en beoordeling Indicatoren: - Authentieke afname - Betrouwbaarheid Standaard 3: Diplomering Indicatoren:- Besluitvorming diplomering - Examencommissie

Normenbundel exameninstrumentarium 2010 Zie Bevat voorbeelden van voldoende en onvoldoende examinering. Per standaard en criterium wordt een toelichting gegeven. De normenbundel wordt momenteel geactualiseerd

IV Examinering in het nieuwe toezicht 2012 Vanaf 2012 geïntegreerd toezicht op onderwijsproces, opbrengsten en examens Eén nieuw toezichtkader, met een geïntegreerd waarderingskader

22

Wat willen we bereiken met het nieuwe toezicht? Mbo opleidingen voldoen minimaal aan de basiskwaliteit, ook voor examens (maar bij voorkeur zijn ze beter dan de basiskwaliteit). Mbo instellingen zijn ‘in control’. De kwaliteitsborging is op orde, waardoor invulling gegeven wordt aan de eigen verantwoordelijkheid voor de onderwijskwaliteit.

Doelen van het geïntegreerde toezicht Bewaken dat mbo opleidingen voldoen aan basiskwaliteit, en streven naar betere kwaliteit Door interventies eraan bijdragen dat opleidingen die hier niet aan voldoen, zo snel mogelijk herstellen Bevorderen dat instellingen zelf in staat zijn om de basiskwaliteit van hun opleidingen te waarborgen Jaarlijks een gespecificeerd beeld geven van de staat van het mbo (examenkwaliteit, kwaliteit onderwijsproces etc) Met minder belasting voor de instellingen.

Aangrijpingspunt is de kwaliteitsborging Vanaf 1996 (WEB) zien we te weinig ontwikkeling kwaliteitszorg Kwaliteitsverbetering is te vaak incidentgericht En te vaak extern gemotiveerd (Onderwijstijd, Examens) Geen sluitende kwaliteitscyclus Intern toezicht op onderwijskwaliteit schiet vaak tekort.

Examinering vanaf 2012: integraal beschouwd We kijken bij mbo instellingen dus ‘geïntegreerd’ naar het onderwijsproces en examinering. Zeker bij opleidingen in de beroepsgerichte kwalificatiestructuur is dat waardevol.

Stellingen Onderwijsinstellingen zijn nog niet ‘in control’ als het om de examenkwaliteit gaat

Stellingen Meer inkoop leidt tot betere examenkwaliteit (landelijk bezien) De examenkwaliteit is goed als uit metingen blijkt dat de stakeholders (studenten, medewerkers, bedrijfsleven) tevreden zijn over de examinering