EVC-kennisnetwerk 17 juni 2014 Het gebruik van standaarden en de kwaliteit van assessmentinstrumenten

Principes en uitgangspunten EVC-standaarden INGRID VANHOREN AKOV

1. Inleiding Vaststellingen EVC-praktijk Bronnen IDEA Consult studie 2011: EVC in het volwassenenonderwijs IDEA Consult studie 2014: EVC vanuit bedrijfsperspectief Jaarrapport Ervaringsbewijzen 2013 Vaststellingen Gescheiden EVC-praktijken onderwijs en arbeidsmarkt Beperkt civiel effect en uitwisselbaarheid Beperkte bekendheid en gebruik van ervaringsbewijs bij ondernemingen Nood aan formalisering en standaardisatie van EVC-procedures en instrumenten binnen onderwijs Ontbreken van kwaliteitsborging: competentiegerichte standaarden, betrouwbaarheid en validiteit van instrumenten, deskundigheid begeleiders en beoordelaars

1. Inleiding Antwoorden op vaststellingen Ontbreken van competentiegerichte standaarden met civiel effect VKS als uniek referentiekader Nood aan formalisering en standaardisatie van EVC- procedures in onderwijs Gemeenschappelijke modulaire trajecten Ontbreken van kwaliteitsborging  EVC-standaarden

1. Inleiding Relatie VKS en EVC VKS (beroeps- en onderwijskwalificaties) = referentiekader voor opleidingen en voor EVC Ontwikkeling van gemeenschappelijk modulaire opleidingstrajecten Ontwikkeling van EVC-standaarden Leidt tot twee vormen van EVC Onderwijs: in functie van vrijstellingen Arbeidsmarkt: in functie van certificering en kwalificering

2. Modulaire trajecten: Doelstelling en meerwaarde Vlaamse kwalificatiestructuur als nieuw referentiekader = uniek moment voor afstemming tussen opleidingsverstrekkers in aanbod van beroepsgerichte opleidingen Meerwaarde voor lerende Transparant aanbod Flexibele trajecten Uitwisselbaar Methode succesvol gehanteerd voor opleidingsprofiel/-structuren secundair volwassenenonderwijs en leren en werken (hout en bakkerij)

2. Modulaire trajecten: Proces Modularisering op basis van erkende beroepskwalificatie(s) Hanteren van algemene methode Inbreng van alle partners in de ontwikkeling van modulaire opleidingstrajecten Instellingsoverschrijdend en onderwijsniveauoverschrijdend opleidingsprofiel Uitwisselbaarheid modules

2.Modulaire trajecten: Beroepenclusters Hout Ruwbouw Bakkerij Logistiek (magazijn) Slagerij Kleding en confectie Koeling en warmte

Beroepencluster hout Houtbewerking - Schrijnwerk - Interieur

Beroepskwalificatiedossier Houtbewerking - Schrijnwerk - Interieur

Opbouw beroepskwalificatiedossier Opbouw beroepskwalificatiedossier Houtbewerking - Schrijnwerk - Interieur

Beroepskwalificatiedossier Houtbewerking - Schrijnwerk - Interieur

2. Modulaire trajecten: Cluster: hout

2. Modulaire trajecten Cluster: hout

2. Modulaire trajecten Cluster: hout

2. Modulaire trajecten: Consequenties voor EVC EVC in functie van vrijstellingen en verkorte opleidingstrajecten Automatische vrijstellingen op basis van reeds gevolgde (modules van) opleidingen Bij opleidingsverstrekkers met gemeenschappelijke modulaire opleidingstrajecten in formeel onderwijs: volwassenenonderwijs, leren en werken (DBSO), BuSO OV3 Uitbreiding naar VDAB en Syntra Vlaanderen (leertijd)

3. EVC-standaarden: Inhoud Omschrijving van beroep, vereiste competenties en context Vaardigheden als concreet oberveerbare gedragscriteria Kennis als concrete kennis, specifiek voor de beroepen waar de standaard voor beschreven is Omschrijving van hanteerbare mix van assessmentmethoden (per standaard of per module) Omschrijving van richtlijnen voor het afnemen van assessment (context van het beroep, locatie en voorzieningen)

3. EVC-standaarden: Doelstelling en meerwaarde Kwaliteitskader voor het toepassen en ontwikkelen van assessmentmethoden en –instrumenten Standaardisering van format en methodologie voor EVC-standaarden Voorwaarden voor kwaliteitsborging Basis voor professionalisering Meerwaarde voor de EVC-aanbieder Transparant EVC-kader Vereenvoudiging van procedures Handvaten voor EVC-praktijk

3. EVC-standaarden: Proces Op basis van erkende beroepskwalificaties en opleidingsprofielen Hanteren van algemene methode Inbreng van alle partners in de ontwikkeling van EVC-standaarden Beleidsdomein- en onderwijsniveauoverschrijdend

3. EVC-standaarden: Consequenties Certificering van competenties BK: kwalificatiebewijs Certificering van competenties modules OP: delen van kwalificatiebewijzen? Certificering van competenties activiteitenblokken BK: bewijzen van competenties?

?

Overzicht van assessmentmethodes en de methodologie van standaarden ROBIN VANDERELST AKOV

Een kleine test… Uit hoeveel vragen moet een meerkeuzetoets minstens bestaan om voldoende betrouwbaar te zijn? 30 40 50 60 Wanneer je minstens 3 van de 40 antwoorden niet weet bij een meerkeuzetoets, vanaf wanneer kan je statistisch gezien dan best gokken? Altijd Wanneer je één antwoord kan uitsluiten Wanneer je twee antwoorden kan uitsluiten Nooit

Project ‘Ontwikkelen standaarden’ Achtergrond Nood aan formalisering en standaardisatie van EVC-procedures en instrumenten binnen onderwijs Ontbreken van kwaliteitsborging: competentiegerichte standaarden, betrouwbaarheid en validiteit van instrumenten, deskundigheid begeleiders en beoordelaars Waarom dit project? Besparing van tijd en middelen Vergemakkelijken van de uitwisselbaarheid van modules tussen de verschillende partners door vertrouwen te scheppen

Project ‘Ontwikkelen standaarden’ Mogelijkheid om expertise te verhogen en de kwaliteit van instrumenten te verhogen Vergroten van civiel effect door vertrouwen tussen partners en door samenwerking met sectoren Verloop Vergelijkende landenanalyse Inhoud en format standaard Richtlijnen Assessmentmethodes Ontwikkelen kwaliteitskit

1. Vergelijkende landenanalyse Finland Lange traditie in erkennen van ervaring Studieloopbaan en arbeidsmarktloopbaan lopen door elkaar Aansturing vanuit ministerie van onderwijs is sterk aanwezig Schotland Initiatief, ontwerp en opstellen gebeurt door sectoren Centrale coördinatie verzekerd door centrale Scottish Qualification Authority

1. Vergelijkende landenanalyse Frankrijk Lange traditie in erkenning Sterke aansturing en specifieke aanpak per beleidsdomein Nederland Traditioneel vertrekt initiatief vanuit sectoren Vanaf 2005 met kwaliteitscode EVC gecoördineerd door overheid Grote vrijheid qua initiatief, format en invulling van standaarden

1. Vergelijkende landenanalyse Inhoud standaarden buitenland Minimum opgenomen: omschrijving van het beroep, kennis, vaardigheden, context Vaardigheden en kennis worden concreet omschreven: Vaardigheden als concreet oberveerbare gedragscriteria Kennis als concrete kennis, specifiek voor de beroepen waar de standaard voor beschreven is Finland en Schotland, net als Vlaanderen (ervaringsbewijs), nemen concrete richtlijnen op rond het afnemen van assessment betreffende locatie, voorzieningen en context van het beroep. Dit is niet het geval in Nederland

1. Vergelijkende landenanalyse: Inhoud standaarden buitenland Finland en Schotland: concrete instrumenten opgenomen in standaard: Omschrijven welk instrument voor welke activiteit/module gebruikt wordt Omschrijven context, locatie, voorzieningen voor de test Beoordelingshandleiding voorzien voor assessor in de standaard Nederland en Frankrijk: concrete instrumenten worden niet opgenomen in standaarden Wel methodes per activiteit omschreven Vb. praktijkonderzoek, portfolio, …

2. Inhoud en format standaard: Vlaanderen Wenselijk om een format te voorzien om duidelijkheid, vergelijkbaarheid en uitwisselbaarheid te garanderen Activiteiten uit de BK’s overnemen in standaarden Vaardigheden letterlijk overnemen. Wel bewaken dat ze steeds concreet observeerbaar zijn Kennis expliciet apart opnemen in de standaarden

3. Richtlijnen: Methodologische vragen Hoe wordt cesuur bepaald? Moet er een voldoende zijn voor alle activiteiten om te slagen? Moeten er per activiteit voldaan zijn aan alle beoordelingscriteria? Concrete richtlijnen rond locatie, voorzieningen en context bij het afnemen van een assessment opnemen? Standaarden geven per activiteitenblok aan welke assessmentmethode gehanteerd wordt? Of in het geheel van de standaard?

4. Assessmentmethodes: Overzicht Observatie in authentieke setting Observatie in gesimuleerde setting Rollenspel Productproef Interview: semigestructureerd, gesloten, criteriumgericht Portfolio Kennistoets: essayvragen, meerkeuzevragen

4. Assessmentmethodes: Inhoud Uitleg instrument Toepassingsgebied Aandachtspunten in de ontwikkeling van het instrument Aandachtspunten in het gebruik van het instrument Gevolgen voor een standaard

4. Assessmentmethodes Rollenspel Een simulatie van een interpersoonlijke beroepssituatie Met een van tevoren vastgestelde rol, volgens een bepaald scenario en met standaardreacties De kandidaat dient gepaste acties tentoon te spreiden Veelal een specifieke beroepsgerelateerde casus: een specifiek probleem, exemplarisch voor het beroep, wordt omschreven. Vb begeleider buitenschoolse kinderopvang

4. Assessmentmethodes: Rollenspel Toepassingsgebied Afhankelijk van het probleem of de situatie die in de specifieke casus omschreven wordt Afhankelijk van de rol die de kandidaat in de casus dient aan te nemen Nadruk op beslissingen nemen, analyse en probleemoplossende vaardigheden Maar ook sociale vaardigheden en commerciële vaardigheden

4. Assessmentmethodes: Rollenspel Kennis komt onrechtstreeks aan bod. Kennis kan rechtstreeks getoetst worden door het onderwerp van de betreffende casus goed te kiezen en het scenario zorgvuldig uit te schrijven Aandachtspunten bij de ontwikkeling Validiteit Belangrijk om een authentieke context te creëren Sluit het scenario aan bij de realiteit van het werkveld?

4. Assessmentmethodes: Rollenspel Worden relevante taken opgenomen? Worden alle vaardigheden die relevant zijn voor de competentie via de taak/opdracht gemeten? Rollenspel is casusspecifiek : de kandidaat werkt in een rollenspel aan een enkele casus. Beperkte predictieve validiteit

4. Assessmentmethodes: Rollenspel Betrouwbaarheid Nood aan een gestandaardiseerd scenario: de simulant dient in elke afgenomen proef op dezelfde wijze te reageren op dezelfde stimulansen van kandidaten Nood aan een goed uitgeschreven scenario Nood aan een training van de simulant De opdrachten, taken moeten helder zijn voor alle betrokkenen

4. Assessmentmethodes: Rollenspel Het werken met authentieke taken maakt het voorspellen van de taakuitvoering lastig Door assessoren te trainen interpretaties in dezelfde richting laten gaan Meestal met vrij globale scoringsrubrieken gewerkt en wordt aan de assessor overgelaten in welke rubriek een gedragsaspect gescoord dient te worden

4. Assessmentmethodes: Rollenspel Aandachtspunten gebruik Voorbereiding en uitvoering vragen tijd en werk van beoordelaar en kandidaat Een verhoogd niveau van aandacht en een goede training van de simulant Observeren en beoordelen van de gestelde acties van de kandidaat en de interactie met de simulant, vraagt een verhoogde aandacht van de assessor Nood aan voldoende middelen om een testomgeving te creëren en om de nodige tijd en personeelsuren vrij te maken

4. Assessmentmethodes: Rollenspel Gevolgen voor de standaard Duidelijke criteria beschikbaar zijn voor het scoren van gedrag Er dient al een basisscenario te worden opgenomen in de standaard Eventueel de setting opnemen in de standaard Het scenario dient verder uitgeschreven te worden

4. Assessmentmethodes: Koppeling aan BK’s BK’s dmv descriptorelementen toegewezen aan VKS-niveau Descriptorelementen opgedeeld in vb. probleemoplossende vaardigheden, motorische,… Deze koppelen aan het toepassingsgebied van assessmentmethodes Opstellen evaluatiematrix, geen exacte wetenschap!

4. Assessmentmethodes: Evaluatiematrix

4. Assessmentmethodes: Voorbeeld Voorbeeld BK binnenschrijnwerker Erkend en ingeschaald op niveau 3 Vooral praktische kennis Gesloten interview, meerkeuzetoets

5. Ontwikkelen kwaliteitskit Verdergaand op handleiding standaarden Ontwikkelen kwaliteitskit voor het ontwikkelen van assessmentinstrumenten op basis van: Verder verloop project: ontwikkelen testdossiers met sectoren Samenwerking met ESF-projecten Wetenschappelijke onderbouwing door studenten KUL olv professor Dochy

?

Meer informatie? Agentschap voor Kwaliteitszorg in Onderwijs en Vorming (AKOV) Afdeling projecten: EVC - Curriculum - Kwalificaties Koning Albert II-laan 15 1210 Brussel http://www.ond.vlaanderen.be/wegwijs/akov/ Nieuwe website VKS en EVC vanaf september 2014 !