BORGING VAN HET EINDNIVEAU IN DE PRAKTIJK 24 januari 2013

DE WHW: wat is er veranderd? Examencommissie heeft een meer inhoudelijke rol: –het vaststellen van richtlijnen en aanwijzingen binnen het kader van de OER om de uitslag van tentamens en examens te beoordelen en vast te stellen; –het borgen van de kwaliteit van de tentamens en examens, waarbij het accent minder op de procedure en meer op de inhoudelijke kwaliteit van de toetsing komt te liggen; –het bepalen of een student voldoet aan de voorwaarden die de OER stelt voor het behalen van het diploma.

Inspectie van het Onderwijs: onderzoek examencommissies en garantie van het niveau? Conclusies 'Onderzoek 2009: Boekhouder of wakend oog?' –Examencommissies staan zelf garant voor het niveau. Daarbij geven commissies die daaraan twijfelen, te kennen dat ze het eindniveau niet zelf controleren, men vertrouwt op mechanismen in de opleiding. –Aandachtspunten: de objectiviteit en gelijke hantering van beoordelingscriteria en toetskwaliteit docenten (lees: examinatoren). –Niet in alle gevallen wordt voldoende overtuigend aangetoond dat examencommissies daadwerkelijk in staat zijn garant te staan voor het eindniveau. –De kwaliteitszorg t.a.v. toetsing en examinering laat te wensen over, waardoor de taakinvulling voor de examencommissie moeilijk wordt. –Onvoldoende toegerust voor de beoogde gezaghebbende positie.

Examencommissie en Accreditatiekader NVAO De examencommissie wordt behandeld bij: –De Instellingstoets Kwaliteitszorg, voor wat betreft taakstelling en positionering (standaard 5) –De Opleidingsbeoordeling, het visitatiepanel spreekt met leden van de examencommissie en opleidingscommissie

Examencommissie en handleiding opleidingsvisitaties NQA Met de examencommissie spreekt het panel over 'Borging' van toetsing en eindniveau Het thema 'Borging' heeft betrekking op standaard 3 Het NQA-panel spreekt met de examencommissie vanuit de taakstelling WHW en eventueel aanvullende taakstelling opgelegd door de instelling/opleiding Vanuit taakstelling WHW en de actualiteit is het mogelijk dat met de examencommissie wordt gesproken over aanwezige leerroutes

Aandachtspunten examencommissie vanuit het nieuwe accreditatiestelsel Een duidelijke en adequate taakafbakening Een onafhankelijke positie met voldoende vakinhoud De examencommissie toont aan hoe zij de kwaliteit van de tentamens en examens bewaakt E én vaste commissie samengesteld uit mensen met kennis van toetsing en van de vakinhoud borgt de kwaliteit Bewaakt de procedures Stimuleer een klimaat van collegiale consultatie

Beeld NQA t.a.v. de uitoefening van de taken examencommissie (1) De rol is in ontwikkeling: van een formeel, procedurele rolopvatting vanuit de oude WHW, naar een meer inhoudelijke rol t.a.v. borging en toetsing. Tot de oude rol behoort het verlenen van vrijstellingen, de eisen bewaken bij het toekennen van 'graden' en sancties bij fraude. Schenk aandacht wanneer uw commissies in deze rolopvatting vastzit.

Beeld NQA t.a.v. de uitoefening van de taken examencommissie (2) Inhoudelijke taken zijn regelmatig belegd bij de 'toetscommissie'. Hoe het eindniveau wordt bewaakt door de examencommissie is vaak nog onduidelijk, en in ontwikkeling t.a.v. het HOE en het WIE –Uit de verschillende proefinstellingstoetsen blijkt dat de examencommissies nog niet volgens de vigerende wet- en regelgeving werken

Aandachtspunten standaard 3: 'borging' vanuit visitatie-ervaring Er is een goed toetsbeleid voorhanden. Dit is echter soms hoog gegrepen en mede daardoor in de praktijk moeilijk uitvoerbaar De toetsen zijn qua kwaliteit en variatie goed De beoordelingsformulieren ontbreken (deels) of worden niet uniform gebruikt, of de criteria worden verschillend gewogen Ontbreken van individuele scores bij groepsbeoordelingen Relatie tussen stage-, scriptie-, portfoliobeoordeling en de te realiseren competenties Regelmatig wordt te hoog beoordeeld en zitten er toch voldoendes bij die eigenlijk onder de maat zijn

Aandachtspunten: 'niveau' vanuit visitatie-ervaring (1) HBO-niveau: Vraagt nadrukkelijk om aandacht gegeven de onderstaande deelaspecten HBO-niveau: actueel en relevant Levert meestal geen ernstige problemen op HBO-niveau: onderzoeksmethodiek Wisselend van kwaliteit, vraagt aandacht

Aandachtspunten: 'niveau' vanuit visitatie-ervaring (2) HBO-niveau: diepgang Vraagt nadrukkelijk aandacht HBO-niveau: logisch redeneren van vraagstelling via het onderzoek naar conclusies/aanbevelingen Vraagt nadrukkelijk aandacht Taalgebruik Vraagt aandacht

Goede praktijken: meerdere docenten beoordelen bij assessments, eerst apart en dan pas de scores vergelijken; twee docenten beoordelen een afstudeerwerk samen met de externe werkveldbegeleider; een commissie van werkveldvertegenwoordigers beoordeelt steekproefgewijs de scripties; eigenaarschap bij een docent die de kwaliteit van de toetsen bewaakt binnen (een deel van) de curriculuminhoud; examencommissie heeft criteria voor validiteit en betrouwbaarheid geoperationaliseerd en gaat alle toetsen daarop screenen.

Standaard 3 Kenmerk van de standaard: –borging kwaliteit van toetsing (adequaat systeem van toetsing) –inhoudelijk oordeel gevraagd over realisatie beoogde eindkwalificaties –standaard cruciaal in hele beoordelingsproces (wordt daarmee nog zwaarder aangezet) Uitwerking NQA: 1.Systeem van Toetsen Welke toetsinstrumenten worden gebruikt? Hoe wordt geborgd dat toetsen aansluiten op leerdoelen? Hoe wordt geborgd dat toetsen passen bij nagestreefde niveaus? Hoe worden validiteit en betrouwbaarheid gewaarborgd? Waar liggen verantwoordelijkheden voor borging van kwaliteit van toetsen en van de beoordeling? Wat is de rol en samenstelling van de examencommissie, van de opleidingscommissie, van een eventuele toetscommissie of andere commissies? Hoe worden toetsen en beoordeling voor studenten inzichtelijk gemaakt? 2.Realisatie van de beoogde eindkwalificaties De opleiding toont aan dat alle beoogde eindkwalificaties worden gerealiseerd Op welke plaats en wijze worden de eindkwalificaties getoetst Toon de realisatie van alle eindkwalificaties aan De opleiding beschikt over een adequaat systeem van toetsing en toont aan dat de beoogde eindkwalificaties worden gerealiseerd.

Zorg dat t.a.v. standaard 3 de volgende onderwerpen 'in control' zijn : het toetsbeleid is uitvoerbaar, transparant en controleerbaar; de beoordelingsformulieren bij m.n. stages-, scripties en portfoliobeoordelingen worden consequent gebruikt, op eenduidige wijze ingevuld en gewogen, geschreven en feedback wordt transparant en duidelijk geformuleerd; bij beoordelingsformulieren waar alleen kruisjes worden gezet, is niet duidelijk waarom een kruisje in een bepaald hokje staat; beoordelingscriteria zijn geformuleerd en gekoppeld aan doelen/eindkwalificaties/competenties; duidelijk wordt gemaakt hoe met groepsbeoordeling wordt omgegaan.

OVERIGE TIPS 'Vierogen'-principe bij toetsontwikkeling Gebruik tweede beoordelaars waar zinvol en haalbaar Betrek externe deskundigen/lectoren bij beoordeling eindwerkstukken Zorg voor een transparante verantwoording van de uitvoering van de taken van de examencommissie Laat toetsen beoordelen door een toetsdeskundige Controleer toetsen van nieuwe docenten structureel het eerste jaar

Tools voor de examencommisie door: EEN KIJKJE IN DE KEUKEN VAN NQA!

De context waarbinnen een NQA- panel het eindniveau beoordeelt? Op basis van beoordelingskader NVAO Op basis van panelhandleiding NQA Op basis van Dublin Descriptoren, eindkwalificaties en generieke HBO-kwalificaties. Nadruk in huidige discussie op eindniveau Op basis van 15 scripties Binnen de beschikbare tijd van een visitatie Door drie domeindeskundigen binnen het panel die niet regulier met elkaar samenwerken

Programma beperkte opleidingsvisitatie dag 1 - middag TijdstipProgrammaonderdeelDeelnemers Ontvangst en rondleidingPanel + vertegenwoordiger(s) opleiding Voorbereiding n.a.v. kritische reflectiePanel Materiaalbestudering: - Studiemateriaal - Studentmateriaal: 11 door NQA geselecteerde scripties - Studentmateriaal: producten van de studenten waar het panel op dag 2 mee spreekt Panel Voorbereiding naar aanleiding van studentmateriaal Panel

Programma beperkte opleidingsvisitatie dag 2 - ochtend TijdstipProgrammaonderdeelDeelnemers Blok inhoud I:afstuderenDocenten + externe begeleiders/beoordelaars (werkveldvertegenwoordigers) van de 4 door opleiding geselecteerde scripties Blok Inhoud II: studiejaren en afstuderen Studenten jaar 3 en 4 + alumni (max. 2 jaar afgestudeerd) van de 4 door opleiding geselecteerde scripties Blok Inhoud III: studiejaren 1 + 2Studenten jaar 1 en Lunchpauze + overleg / extra bestuderen materiaal Panel

Programma beperkte opleidingsvisitatie dag 2 - middag TijdstipProgrammaonderdeelDeelnemers Gesprek met docentenVertegenwoordiging docententeam: spreiding naar studiejaren, vakgebieden, speciale taken (zoals begeleiding) e gesprek opleidingsmanagementOpleidingsmanagement Blok BorgingExamencie, toetscie, opleidingscie, curriculumcie, et cetera Eventuele extra gesprekkenBijvoorbeeld lectoren, extra gesprek docenten Beoordelingsoverleg panelPanel e gesprek opleidingsmanagement, inclusief afronding Opleidingsmanagement mogelijk aangevuld met enkele 'kerndocenten'

De gevolgen van de context? Hanteerbare operationalisering niveau-bepaling werkstukken m.b.v. een beoordelingsformat passend bij de opleiding 4 werkstukken uitvoerig vooraf bestuderen door de panelleden Calibreren en focussen van de panelleden op basis van de vier werkstukken Proportioneel de andere werkstukken beoordelen op basis van de calibratie Bespreken van de twijfelgevallen op basis van format Sterke sturing door voorzitter en secretaris Komen tot een eindoordeel binnen de tijd

Het format voor de behandeling van de casussen? Het format is gebaseerd op de Dublin Descriptoren, de 10 generieke HBO-kwalificaties en het NVAO-beoordelingskader Het sluit aan op het Toetsingskader van de commissie Dunnewijk Het focust op eindniveau, minder op beroepsspecifieke kwalificaties De criteria kunnen variëren, afhankelijk van focus van de opleiding en aan welke kwalificaties de eindwerkstukken moeten voldoen De criteria kunnen wegingen krijgen t.o.v. elkaar

23 Externe beoordeling en praktijkgericht onderzoek in het onderwijs Hogeschool Rotterdam 5 februari 2012

24 Onderzoekende houding en reflectie is niet nieuw? Bachelor-/masterkwalificaties kenden altijd al deze componenten Wel hernieuwd in de aandacht: –Actuele niveaudiscussie –Vanuit HBO zelf als niveau-indicator en beroepskwalificatie ingezet en vanuit 'het niveau moet hoger' –De NVAO focust er meer op als niveau-indicator en beroepskwalificatie

25 Kernelementen praktijkgericht onderzoek beoordeeld en afhankelijk ( ook qua zwaarte in het beoordelingsproces) van: –relevantie voor het opleidingsdomein; –wijze waarop opgenomen in eindkwalificaties; –aansluiting op niveau van bachelor- respectievelijk masteropleiding, in concreto bij de Dublin descriptoren (hiermee wel altijd onderdeel van het beoordelingsproces) Standaard 1 De beoogde eindkwalificaties van de opleiding zijn wat betreft inhoud, niveau en oriëntatie geconcretiseerd en voldoen aan internationale eisen.

26 Standaard 2 Kernelementen praktijkgericht onderzoek beoordeeld op: –wijze waarop in programma opgenomen (naar inhoudelijk niveau en didactische vorm); –Mede in relatie tot de zwaarte binnen de eindkwalificaties en eisen uit domein; –kwalificaties van docenten. Het programma, het personeel en de opleidingsspecifieke voorzieningen maken het voor de instromende studenten mogelijk de beoogde eindkwalificaties te realiseren.

27 Standaard 3 Kernelementen praktijkgericht onderzoek beoordeeld op: –laat gerealiseerd eindniveau voldoende onderzoekende houding en reflectie zien, vereist op bachelor- respectievelijk masterniveau; –kwaliteit van onderzoeksdeel van gerealiseerde eindniveau. De opleiding beschikt over een adequaat systeem van toetsing en toont aan dat de beoogde eindkwalificaties worden gerealiseerd.

28 Onderzoekende houding en reflectie maken daar zonder meer deel van uit Zwaarte en focus kan verschillen per domein en eindkwalificaties, maar altijd meegewogen vanuit generieke Bachelor/Master kwalificaties Niveau moet hoger en dus ook de onderzoekende houding en reflectie Cesuur is scherper geworden Meeste onvoldoende beoordelingen vallen op gerealiseerd niveau Beoordeling van het gerealiseerd niveau

29 Onderzoekende houding en reflectie: hoe staat het ervoor? Op deze onderdelen worden landelijk zeer veel kanttekeningen gemaakt Leidt tot afwaardering naar voldoende en onvoldoende op standaard 3 Hogeschool Rotterdam: 12 visitaties in 2011/2012: allemaal kanttekeningen op onderzoekende houding en/of reflectie Kanttekeningen HR: van miniem tot ernstig (de gemaakte kanttekeningen HR representeren landelijke beeld)

30 Onderzoeksmatig onvoldoende eindwerk Verantwoording van methodologie en literatuur Onvoldoende onderzoeksgerichtheid in eindwerk Onvoldoende analytisch denken en handelen Aanpak methodologische uitvoering Verbinding probleemstelling, literatuur, methode en conclusie ontbreekt Resultaten van beroepsproducten en opdrachten worden zelden kritisch geëvalueerd; professionele reflectie is beperkt Evidence Based Practice verdient versterking Aard van kanttekeningen HR

31 Vereiste en gewenste niveau van de praktijkgerichte onderzoekende houding Wat reflectie is en het vereiste niveau Het niveau, mede op basis van de onderzoeksmethoden die het werkveld gebruikt, de eigen (wensen en eisen) kwalificaties en de generieke bachelor/master kwalificaties Zorg voor de dialoog onder de professionals en bereik consensus hierover Do's: definieer!

32 Do's: programmeer! Integreer onderzoek vanaf 1 e jaar stapsgewijs in programma Een goede start met module onderzoeksvaardigheden Integreer daarna onderzoek in projecten, opdrachten, stages en opdrachten Betrek lector in jaar 1 al bij een of meerdere onderdelen

33 Do's: begeleid! (1) Studenten bij opdrachten t.a.v. onderzoekende houding en reflectie Op basis van consensus over het te bereiken niveau Door gekwalificeerde begeleiders

34 Do's: begeleid onderzoek! (2) Let bij begeleiding op: –probleemstelling; –afgeleide vraagstelling; –methodologiekeuze; –uitvoering van het onderzoek; –koppeling van conclusies en aanbevelingen aan vraagstelling. –Reflectie

35 Do's: begeleid reflectie! (3) Let bij begeleiding van reflectie op: –is dit wel reflectie of louter herhaling beschrijving van het proces en de individuele worsteling van de student? –De waarde van het onderzoek en uitkomsten voor de beroepsuitoefening, opdrachtgever, sector; –verantwoording van stappen en keuzes in onderzoek; –reflectie van conclusies en aanbevelingen op probleemstelling; –gebruikte literatuur en bronvermelding.

36 Do's: organiseer! Betrokkenheid van kenniscentrum bij: –programma –niveau –begeleiding van studenten –Borging Maak resultaatafspraken tussen onderwijs en kenniscentrum Dialoog en consensus bij professionals

37 Dont's: Alleen een module onderzoek introduceren Starten in jaar 4 met onderzoek Tevreden zijn met: ''het trucje is geleerd en uitgevoerd'' De dialoog over het niveau niet voeren of extern wegleggen