Examinering in de beroepspraktijk Voor wie? Bent u betrokken bij examinering in de reële beroepscontext? Dan weet u hoe lastig het kan zijn om hier goed zicht op te hebben, geschikte examenlocaties te vinden, deskundigheid beoordelaars te borgen. Welke keuzes maakt u en waarom? Dit is een algemene presentatie bedoeld voor opleidingsteams die examineren in de reële beroepspraktijk vorm willen geven of tegen het licht willen houden. De presentatie geeft handvatten om dit op een zo goed mogelijke (betrouwbare, valide, gelijkwaardige) manier te doen.

Inspectie van het Onderwijs De afnamecondities en beoordelingen zijn voor studenten gelijkwaardig. De condities doen recht aan de context van het toekomstig beroep; onderdelen van het examen vinden in de (reële) beroepspraktijk plaats. De beoordeling levert betrouwbare uitkomsten op, vindt deskundig plaats en is gericht op een passende balans in vereiste kennis, houding en vaardigheden. De inrichting van het examen, de planning van de examenperiodes en beoordelingswijze en de procedure voor beroep en bezwaar zijn tijdig voor studenten beschikbaar en voor alle betrokkenen transparant en eenduidig. Onderzoekskader 2017 In het Onderzoekskader mbo 2017 is in Examenstandaard 3.3 ‘Afname en beoordeling’ opgenomen aan welke eisen de examinering in de reële beroepspraktijk moet voldoen. In vergelijking tot het voorgaande onderzoekskader is hebben de mbo-scholen meer ruimte om eigen keuzes te maken. Dit geldt bijvoorbeeld voor de wijze waarop of waar het examen moet worden beoordeeld; - Er staat niet dat het 4-ogen principe verplicht is Er staat niet dat de examinering in een erkend leerbedrijf moet plaatsvinden Als school bepaal je binnen deze kaders zelf op welke wijze je de examinering in de reële beroepspraktijk zo goed mogelijk (lees: zo gelijkwaardig en betrouwbaar mogelijk) kan inrichten. Je hebt ruimte om je eigen keuzes te maken. Daarbij is het belangrijk dat je de keuzes onderbouwt, ze bewust maakt en vastlegt waarom je wat doet en dit met elkaar deelt.

Examineren in de reële beroepscontext Opties: Beroepspraktijk: erkend leerbedrijf of andere geschikte examenlocatie in de praktijk Simulatie: op school of andere geschikte examenlocatie Voldoet aan kwaliteitseisen van examinering: betrouwbaar (herhaalbaarheid) gelijkwaardig (voor alle examens hetzelfde) valide (meten wat je wilt meten) transparant (zicht op uitvoering en beoordeling) De inspectie spreekt over een ‘reële beroepscontext’. Wat betekent dit? In het mbo wordt een belangrijk deel van de examens afgenomen in de reële beroepscontext. Met het begrip examinering in de reële beroepscontext doelen we op de afname en beoordeling van examens die in de beroepspraktijk of binnen de school (bijvoorbeeld in een simulatie) worden afgenomen en beoordeeld. Uiteindelijk ben je als school verantwoordelijk voor een geschikte examenlocatie. Daarin maak je als school een bewuste keuze tussen beroepspraktijk of simulatie. Dus wat je ook kiest, de examinering moet voldoen aan een aantal kwaliteitseisen: betrouwbaarheid (hoe groot is de kans dat als het examen nog een keer wordt uitgevoerd dat het hetzelfde resultaat oplevert) gelijkwaardigheid (krijgen alle studenten een opdracht van hetzelfde niveau waardoor het niveau van het diploma gelijkwaardig is) validiteit (meet je wat je wilt meten? Kan de student alle werkprocessen wel uitvoeren in deze context?) transparantie (is duidelijk voor alle betrokkenen dat het hier gaat om een examen?)

Examinering in de praktijk Hoe kan je de examinering in de beroepspraktijk of simulatie zo authentiek, betrouwbaar en gelijkwaardig mogelijk maken? Het opleidingsteam heeft een gedeelde visie op examineren onderbouwt de gemaakte keuzes heeft de risico’s in beeld en weet hoe met deze risico’s wordt omgegaan kiest altijd voor een geheel van maatregelen De centrale vraag is: Hoe kan je de examinering in de beroepspraktijk zo betrouwbaar, gelijkwaardig en authentiek mogelijk maken? De keuzes hiervoor maak je op basis van visie en de risico’s die jij ziet voor jouw opleiding. Deze risico’s moet je dan eerst in beeld hebben: Zit ons pijnpunt bij de beoordelaars, de wisselende examenomgeving of toch bij het instrument dat op verschillende wijze wordt geïnterpreteerd. Op basis van de risico’s die je ziet, kies je voor een geheel van maatregelen, dat uitvoerbaar is en je onderbouwt de gemaakte keuzes. Dat is niet meer of minder dan kunnen uitleggen waarom je doet wat je doet.

Onderzoek - Examineren in de praktijk Onderzoek inspectie aandachtsgebieden en oplossingen: Heldere visie en bewuste keuzes Zicht op examenlocatie Gelijkwaardige examenopdrachten Onafhankelijke en objectieve beoordeling Deskundige beoordelaar Zicht en grip op examinering De Inspectie van het Onderwijs heeft in 2016 een aantal mbo-opleidingen gevraagd hoe zij de examinering in de reële beroepsprakijk vormgeven. Hun oplossingen zijn te vinden in de brochure 'Examinering in de reële beroepscontext’. In deze brochure vindt u hun ’goede oplossingen’ en voorbeelden. De inspectie heeft deze gevalideerd. De inspectie heeft zes aandachtsgebieden met oplossingen geformuleerd waaraan je kan denken als je als opleiding maatregelen neemt om de kwaliteit van examinering in de beroepspraktijk te organiseren en te borgen. Daarbij is het van belang om de oplossingen en aandachtsgebieden niet los van elkaar te zien, maar in samenhang leiden tot keuzes waardoor de examinering voldoet aan de examenstandaard zoals opgenomen in wet- en regelgeving en in het onderzoekskader. Het onderzoek en de zes punten zijn niet allesomvattend, er zijn er vast meer, maar ze helpen wel als denkkader om een brug te bouwen naar kwalitatief goed examineren in de beroepspraktijk.

1. Heldere visie en bewuste keuzes Wat vindt uw opleidingsteam belangrijk bij examinering in beroepspraktijk of simulatie? Uitgangspunten en keuzes: Wat is de meest passende examenvorm? Waar vindt het examen plaats? Wie beoordeelt het examen? Hoe zorgen we voor een goede kwaliteit van examinering? Stem af met het werkveld voor draagvlak. Het eerste aandachtsgebied gaat over het belang van een visie op examinering in de reële beroepscontext. Binnen een opleiding is de visie op examinering vaak niet duidelijk. Voor examinatoren en andere betrokkenen is het hierdoor vaak ook niet duidelijk hoe zij de examinering in de reële beroepscontext vorm kunnen geven. De keuzes die opleidingen daarin maken worden bovendien meestal onvoldoende onderbouwd. Als er geen duidelijke visie is dan zorgt dit voor onzekerheid bij de betrokkenen, docenten en het werkveld en ontstaan er vragen als: Wanneer is het goed genoeg? Waarom moet ik dit examineren in de simulatie, is dit wel voldoende authentiek? Waarom moet ik deze formulieren invullen, de praktijkbegeleider zou deze student toch gewoon aannemen als werknemer? Uit het onderzoek komen de volgende goede oplossingen voor dit aandachtsgebied naar voren: - Verhelder de visie op examineren in de reële beroepscontext - Deel de visie en draag deze actief uit met het werkveld Een gedeelde visie zorgt ervoor dat er meer duidelijkheid en draagvlak is voor de processen rondom afname en beoordeling. Daarvoor formuleer je als school of opleiding een aantal uitgangspunten. Gebaseerd op onderbouwde keuzes. Een aantal vragen die daarvoor gesteld kunnen worden: Wat is de meest passende examenvorm? Waar vindt het examen plaats en waarom? Wie beoordeelt het examen? Op welke wijze willen we hierbij het werkveld betrekken? Hoe zorgen we voor een goede kwaliteit van examinering? Belangrijk hierbij is ook het betrekken en het afstemmen met het werkveld. In het onderzoek van de Onderwijsinspectie staat het voorbeeld van een school die de vraag stelde aan het werkveld: Wat wil je absoluut wel en wat wil je absoluut niet bij de examinering? Een goede vraag om gezamenlijk tot de kern te komen. Als er dan een visie is, is het ook belangrijk om deze te delen.

2. Zicht op examenlocatie Waar vindt de examinering plaats? Kunnen de werkprocessen op deze examenlocatie worden uitgevoerd? Analyseer de examenlocatie bij bedrijf of simulatie op: Uitvoerbaarheid werkprocessen Kwaliteit en beschikbaarheid beoordelaars Vergelijkbaarheid examenlocaties Leg de afspraken vast in contract, vaststellingsplan of contactformulier. Het tweede aandachtsgebied heeft betrekking op de praktische (on)mogelijkheid om bepaalde werkprocessen in de reële beroepscontext te examineren. Wat kan een opleiding doen als sommige werkprocessen - denk bijvoorbeeld aan functioneringsgesprekken en verkoopgesprekken - op bepaalde momenten niet in de reële beroepscontext geëxamineerd kunnen worden, welke alternatieven zijn er dan? Het is belangrijk om voorafgaand aan het examen inzicht te hebben in wat wel/niet geëxamineerd kan worden. Daarom is het belangrijk de examenlocatie te analyseren. Zijn alle werkprocessen daar uitvoerbaar? Hoe staat het met de kwaliteit en beschikbaarheid van de beoordelaars op deze locaties Hoe staat het met de vergelijkbaarheid van de examenlocaties. Belangrijk is dat je deze informatie vooraf hebt, en dat je daarover afspraken kan maken die je kan vastleggen in een draaiboek, contract, vaststellingsplan of contactformulier. Het analyseren van de examenlocatie kan door de locatie te bezoeken, via regulier bpv-bedrijfsbezoek of via een online enquête. Sommige opleidingen verifiëren de examenlocatie nog vlak voor het examen. Is dit nog steeds de geschikte plek voor het examen? Of zijn er tussentijds wijzigingen opgetreden of onverwachte zaken waardoor het examen niet kan plaatsvinden? Dit is een check op de examensetting. Als blijkt dat een aantal werkprocessen niet uitvoerbaar is: dan is simulatie een prima optie.

3. Omgaan met de diversiteit in bedrijven Hoe gaat u om met diversiteit tussen examenlocaties, bedrijven? Waarborg complexiteit en niveau van examenopdrachten o.a. door: Docenten en praktijkopleiders in gesprek over norm, niveau en complexiteit examen Zorg voor herkenbare en eenduidige beoordelingscriteria Werk met (landelijke) referentieopdrachten Eventueel: meerdere examenmomenten, meerdere examenlocaties Kenmerk van examineren in de beroepspraktijk is dat je te maken hebt met een diversiteit aan bedrijven. Dat hoort bij het beroep: een mbo-opleiding leidt immers niet op voor één baan/één bedrijf maar breder voor het beroep. Die diversiteit maakt het lastig om de complexiteit en het niveau van de examens in de beroepspraktijk gelijk te houden. Hoe kan je omgaan met deze diversiteit als je kijkt naar het kwaliteitskenmerk vergelijkbaarheid? Zorg voor gelijkwaardige examenopdrachten, Zorg ervoor dat de examenopdracht zo is opgeschreven dat de studenten op eenzelfde niveau worden geëxamineerd. Er is een aantal manieren waarop je hier voor kan zorgen: Ga vooraf met docenten en praktijkopleiders in gesprek over de norm, niveau en complexiteit van het examen. Wanneer is een opdracht niveau 4, 3, 2 of 1 waardig? Hoe ziet dit eruit in bedrijf A en hoe in bedrijf B? Interpreteren we het niveau op zelfde wijze? De geformuleerde beoordelingscriteria kunnen daar ook bij helpen. Zorg ervoor dat deze herkenbaar en eenduidig zijn. Bijvoorbeeld door de taal van het bedrijfsleven te spreken. Werk met landelijke referentieopdrachten. Wat is een voorbeeld van een examenopdracht die volgens ons voldoet aan het niveau? Zit de geformuleerde examenopdracht voor deze student op hetzelfde niveau? Maar desondanks, is het soms niet onontkoombaar dat er verschillen zijn. Als wordt geconstateerd dat het risico te groot is, kies dan niet voor één examenmoment, maar voor meerdere examenmomenten en meerdere examenlocaties. Zo kan worden voorkomen dat het diploma van de student afhankelijk is van dat ene bedrijf waar hij examen heeft gedaan. Óf voer een deel van examen op school uit, zodat de gelijkwaardigheid beter is geborgd.

4. Onafhankelijk en objectief beoordelen Hoe zorgt u dat de beoordeling onafhankelijk en objectief is? Zoek geschikte combinatie van beoordelaars Zoek naar manieren om te zorgen dat de begeleider van de student niet de enige beoordelaar is. Deze heeft een andere rol! Vooraf met elkaar afstemmen Weet wat je moet beoordelen door bijvoorbeeld eerst samen met je mede-beoordelaar het examen door te nemen (beoordelingsvoorschrift). Het volgende aandachtsgebied heeft betrekking op de beoordelaars. Opleidingen streven naar een onafhankelijke en objectieve beoordeling. Het is niet altijd mogelijk twee onafhankelijke beoordelaars voor elk examen in te zetten. Omdat dit bijvoorbeeld te duur is, of omdat de examinering te lang duurt of het moment van examinering niet goed te plannen is. Zoek in dat geval naar de mogelijkheden die er wel zijn, zoals een tweede beoordelaar die steekproefsgewijs examens bijwoont. Om een onafhankelijke beoordeling te waarborgen zijn opties: de inzet van externe assessoren afkomstig uit een pool van assessoren of docenten van een andere opleiding een combinatie van externe assessoren en assessoren vanuit de school als het bovenstaande niet kan: de praktijkbegeleider treedt op als onafhankelijk beoordelaar, de school bewaakt het proces. Er is dan één vakinhoudelijke beoordelaar aangevuld met een procesbeoordelaar. In geval van meerdere beoordelaars: stem dan goed vooraf met elkaar af. Weet er beoordeeld moet worden, stem vooraf met elkaar af hoe de beoordeling samen wordt afgestemd. Volg daarbij instructies in het beoordelingsvoorschrift. Onderbouw de beoordeling.

5. Deskundige beoordelaar(s) Bent u als beoordelaar deskundig? Training: aandacht voor kennis van kwalificatiedossier, juiste gebruik van exameninstrumenten en beoordelingsvaardigheden verbeteren. Intervisie of kalibreersessies: bespreek samen de beoordelingen. Laat een andere beoordelaar meekijken (steekproeven). Houd u aan de criteria voor de beoordeling. Aandachtsgebied 5 betreft expliciet het belang van deskundige beoordelaars. De kwaliteit van de beoordelaars is wellicht de meest cruciale factor in het handhaven en vergroten van de kwaliteit van de afname en beoordeling in de reële beroepscontext. Dit vraagt continu aandacht. Maatregelen die opleidingen nemen om de deskundigheid van beoordelaars te vergroten zijn bijvoorbeeld formeel trainen en opleiden van assessoren. Daarnaast hebben opleidingen nadrukkelijk ook oog voor de informele kant van leren door het professionele gesprek te organiseren via gesprekken op locatie, terugkomdagen en kalibreersessies. Goede oplossingen: Blijf investeren in trainen en eventueel certificeren van beoordelaars; Besteed aandacht aan het moment tussen de afname en de beoordeling. De kwaliteit van de examinering verbetert als meteen na de afname van het examen de verschillende beoordelaars hun observaties op elkaar afstemmen. Dit vergroot de betrouwbaarheid en validiteit van het oordeel: waar hebben we naar gekeken? wat is goed/voldoende? hoe kijk je en hoe beslis je? is het oordeel goed te onderbouwen? De beoordeling wordt objectiever zodra er gelegenheid is om observaties met elkaar uit te wisselen alvorens de student beoordeeld wordt. Houd de competenties van assessoren in beeld. Oplossingsrichtingen om te voorkomen dat beoordelingen uit elkaar gaan lopen: Goede en eenduidige correctievoorschriften bestaande uit beoordelaarsinstructie, beoordelingscriteria en scoringsvoorschriften. Verhoging expertise, scholing, maar ook door intervisie of ‘kalibreersessies’. Door regelmatig met de beoordelaars een aantal beoordelingsformulieren door te spreken en ervaringen uit te wisselen, wordt ervoor gezorgd dat beoordelaars meer op één lijn zitten en beter vergelijkbaar kunnen beoordelen. Welke verschillen zijn er en hoe zijn deze te voorkomen? Moet het beoordelingsformulier worden verduidelijkt? Door middel van steekproeven kunnen de beoordelingen worden gecheckt door een onafhankelijke collega. Daarmee wordt bekeken of de beoordelaars tot vergelijkbare oordelen komen. Volg de criteria voor de beoordeling. Leg deze voortdurend naast het werk en wees kritisch op de puntentoekenning. Wees extra alert als wordt overwogen het minimum of maximum aantal punten toe te kennen.

5. Deskundige beoordelaar(s) 100% betrouwbaarheid krijgen we nooit, maar door als beoordelaar alert te zijn op een aantal belangrijke beoordelingsfouten, kunt u de betrouwbaarheid van het examen optimaliseren. Enkele voorkomende valkuilen…

5. Deskundige beoordelaar(s) Sarah, van haar weet ik wel dat ze het kan… Wow, wat een goede start van de presentatie, dan zit de inhoud ook wel goed Zij wil er echt voor gaan, die houding moeten we belonen Halo-effect Een gunstige indruk op een aantal criteria wordt doorgezet in een gunstige beoordeling op andere criteria “Die jongen heeft zo enorm zijn best gedaan, dat zit wel goed” Eerste indruk: Neiging tot snel oordelen “Ik zie in één oogopslag of deze presentatie wat gaat worden” Sympathie Een gunstige beoordeling omdat het goed klikt met de student “Zij wil er echt voor gaan, die houding moeten we belonen” Horn-effect Een ongunstige indruk op een aantal criteria wordt doorgezet in een ongunstige beoordeling op andere criteria “Die meiden zaten alleen maar te kletsen tijdens de les, wordt vast niets” Logische fout Zie halo/horn effect: Als onderdeel A fout/goed is, dan zal B ook wel fout/goed zijn “Deze student kan goed schrijven, dan klopt zijn analyse ook wel” Antipathie Een ongunstige beoordeling omdat het niet goed klikt met de student “Deze student heeft niets gedaan met mijn feedback over de vraagformulering, ben benieuwd wat hij verder heeft gedaan…” Projectie Het toeschrijven van eigen (positieve of negatieve) eigenschappen aan de student “Die student heeft net als ik plezier in schrijven, dat zie je in één oogopslag. Dat artikel zal goed zijn”. “Mijn speerpunt is innovatie, daarover vind ik niets terug in dit werkstuk” Stereotype Een student eigenschappen toekennen op basis van een groep waartoe hij/zij behoort “Meisjes kunnen niet goed abstract denken” “Zij is het enige meisje tussen deze mannelijke techneuten, zij heeft vast talent” Mildheid De neiging om steeds bovengemiddeld te beoordelen Tijdens dit vak moesten we veel opdrachten maken, dat moet ergens beloond worden” Strengheid De neiging om steeds ondergemiddeld te beoordelen “Ik zie het niveau en de werkhouding absoluut nog niet terug in deze producten” Centrale tendentie De neiging om steeds in het midden te beoordelen “Een tien halen bestaat niet, het gaat om een 7 of een 8”

6. Zicht en grip op examinering Verzamel informatie over het verloop van het examen Woon het examen bij als examencommissie (steekproef) Gebruik informatie uit proces-verbalen Bevraag studenten en beoordelaars na het examen Evalueer de gang van zaken Analyseer beschikbare gegevens en formuleer verbeterpunten Borg de kwaliteit door gepaste maatregelen te treffen en toe te zien dat deze ook uitgevoerd worden Tot slot is een belangrijke rol weggelegd voor de examencommissie. Immers, de rol van de examencommissie is zicht te hebben op de kwaliteit van examinering, ook in de beroepspraktijk. De examencommissie doet dat samen met het opleidingsteam. Dit betekent dus niet dat je als opleidingsteam helemaal niets hoeft te doen. De examencommissie houdt zicht, maar het is aan het opleidingsteam om het uit te voeren. Belangrijk is het tijdig signaleren als verbetering mogelijk is. Het is de taak van de examencommissie zicht en grip te houden op de kwaliteit van de examinering en ervoor te zorgen dat examinering uitgevoerd wordt volgens afspraak/plan. Dit kan door: Voorafgaand aan de examinering een aantal maatregelen te nemen, bijvoorbeeld door te bepalen of de omgeving in de beroepspraktijk geschikt is voor de te examineren kerntaken; Tijdens de examinering, informatie te verzamelen over het verloop van het examen door bijvoorbeeld een examen bij te wonen of beoordelaars en studenten te bevragen; Achteraf kan de examencommissie de afname en beoordeling borgen, door bijvoorbeeld beoordelingsformulieren of evaluatieformulieren te analyseren en hierop verbeteracties uit te zetten. Zo kan de examencommissie zien waar de risico’s zitten en hierover in gesprek gaan met het opleidingsteam.   

Meer informatie Onderzoek inspectie: rapport en brochure Meer informatie over examinering in de beroepspraktijk bij het Kennispunt onderwijs en examinering: Website: www.onderwijsenexaminering.nl Vragen: info@kennispuntmbo.nl Over het Kennispunt Onderwijs & Examinering Wij zijn hét punt waar alle mbo-scholen informatie vinden en krijgen over de invoering van nieuwe wet- en regelgeving, praktische oplossingen en kwaliteitsborging: van examinering, keuzedelen, vrijstellingen tot toelatingsrecht. Stel gerust uw vraag, nodig ons uit voor het geven van een presentie en uiteraard bent u van harte welkom op onze bijeenkomsten.