EVC-kennisnetwerk 17 juni 2014

Presentatie over: "EVC-kennisnetwerk 17 juni 2014"— Transcript van de presentatie:

1 EVC-kennisnetwerk 17 juni 2014
Het gebruik van standaarden en de kwaliteit van assessmentinstrumenten

2

3 Principes en uitgangspunten EVC-standaarden
INGRID VANHOREN AKOV

4 1. Inleiding Vaststellingen EVC-praktijk
Bronnen IDEA Consult studie 2011: EVC in het volwassenenonderwijs IDEA Consult studie 2014: EVC vanuit bedrijfsperspectief Jaarrapport Ervaringsbewijzen 2013 Vaststellingen Gescheiden EVC-praktijken onderwijs en arbeidsmarkt Beperkt civiel effect en uitwisselbaarheid Beperkte bekendheid en gebruik van ervaringsbewijs bij ondernemingen Nood aan formalisering en standaardisatie van EVC-procedures en instrumenten binnen onderwijs Ontbreken van kwaliteitsborging: competentiegerichte standaarden, betrouwbaarheid en validiteit van instrumenten, deskundigheid begeleiders en beoordelaars

5 1. Inleiding Antwoorden op vaststellingen
Ontbreken van competentiegerichte standaarden met civiel effect VKS als uniek referentiekader Nood aan formalisering en standaardisatie van EVC- procedures in onderwijs Gemeenschappelijke modulaire trajecten Ontbreken van kwaliteitsborging  EVC-standaarden

6 1. Inleiding Relatie VKS en EVC
VKS (beroeps- en onderwijskwalificaties) = referentiekader voor opleidingen en voor EVC Ontwikkeling van gemeenschappelijk modulaire opleidingstrajecten Ontwikkeling van EVC-standaarden Leidt tot twee vormen van EVC Onderwijs: in functie van vrijstellingen Arbeidsmarkt: in functie van certificering en kwalificering

7 2. Modulaire trajecten: Doelstelling en meerwaarde
Vlaamse kwalificatiestructuur als nieuw referentiekader = uniek moment voor afstemming tussen opleidingsverstrekkers in aanbod van beroepsgerichte opleidingen Meerwaarde voor lerende Transparant aanbod Flexibele trajecten Uitwisselbaar Methode succesvol gehanteerd voor opleidingsprofiel/-structuren secundair volwassenenonderwijs en leren en werken (hout en bakkerij)

8 2. Modulaire trajecten: Proces
Modularisering op basis van erkende beroepskwalificatie(s) Hanteren van algemene methode Inbreng van alle partners in de ontwikkeling van modulaire opleidingstrajecten Instellingsoverschrijdend en onderwijsniveauoverschrijdend opleidingsprofiel Uitwisselbaarheid modules

9 2.Modulaire trajecten: Beroepenclusters
Hout Ruwbouw Bakkerij Logistiek (magazijn) Slagerij Kleding en confectie Koeling en warmte

10 Beroepencluster hout Houtbewerking - Schrijnwerk - Interieur

11 Beroepskwalificatiedossier Houtbewerking - Schrijnwerk - Interieur

12 Opbouw beroepskwalificatiedossier
Opbouw beroepskwalificatiedossier Houtbewerking - Schrijnwerk - Interieur

13 Beroepskwalificatiedossier Houtbewerking - Schrijnwerk - Interieur

14 2. Modulaire trajecten: Cluster: hout

15 2. Modulaire trajecten Cluster: hout

16 2. Modulaire trajecten Cluster: hout

17 2. Modulaire trajecten: Consequenties voor EVC
EVC in functie van vrijstellingen en verkorte opleidingstrajecten Automatische vrijstellingen op basis van reeds gevolgde (modules van) opleidingen Bij opleidingsverstrekkers met gemeenschappelijke modulaire opleidingstrajecten in formeel onderwijs: volwassenenonderwijs, leren en werken (DBSO), BuSO OV3 Uitbreiding naar VDAB en Syntra Vlaanderen (leertijd)

18 3. EVC-standaarden: Inhoud
Omschrijving van beroep, vereiste competenties en context Vaardigheden als concreet oberveerbare gedragscriteria Kennis als concrete kennis, specifiek voor de beroepen waar de standaard voor beschreven is Omschrijving van hanteerbare mix van assessmentmethoden (per standaard of per module) Omschrijving van richtlijnen voor het afnemen van assessment (context van het beroep, locatie en voorzieningen)

19 3. EVC-standaarden: Doelstelling en meerwaarde
Kwaliteitskader voor het toepassen en ontwikkelen van assessmentmethoden en –instrumenten Standaardisering van format en methodologie voor EVC-standaarden Voorwaarden voor kwaliteitsborging Basis voor professionalisering Meerwaarde voor de EVC-aanbieder Transparant EVC-kader Vereenvoudiging van procedures Handvaten voor EVC-praktijk

20 3. EVC-standaarden: Proces
Op basis van erkende beroepskwalificaties en opleidingsprofielen Hanteren van algemene methode Inbreng van alle partners in de ontwikkeling van EVC-standaarden Beleidsdomein- en onderwijsniveauoverschrijdend

21 3. EVC-standaarden: Consequenties
Certificering van competenties BK: kwalificatiebewijs Certificering van competenties modules OP: delen van kwalificatiebewijzen? Certificering van competenties activiteitenblokken BK: bewijzen van competenties?

22 ?

23 Overzicht van assessmentmethodes en de methodologie van standaarden
ROBIN VANDERELST AKOV

24 Een kleine test… Uit hoeveel vragen moet een meerkeuzetoets minstens bestaan om voldoende betrouwbaar te zijn? 30 40 50 60 Wanneer je minstens 3 van de 40 antwoorden niet weet bij een meerkeuzetoets, vanaf wanneer kan je statistisch gezien dan best gokken? Altijd Wanneer je één antwoord kan uitsluiten Wanneer je twee antwoorden kan uitsluiten Nooit

25 Project ‘Ontwikkelen standaarden’
Achtergrond Nood aan formalisering en standaardisatie van EVC-procedures en instrumenten binnen onderwijs Ontbreken van kwaliteitsborging: competentiegerichte standaarden, betrouwbaarheid en validiteit van instrumenten, deskundigheid begeleiders en beoordelaars Waarom dit project? Besparing van tijd en middelen Vergemakkelijken van de uitwisselbaarheid van modules tussen de verschillende partners door vertrouwen te scheppen

26 Project ‘Ontwikkelen standaarden’
Mogelijkheid om expertise te verhogen en de kwaliteit van instrumenten te verhogen Vergroten van civiel effect door vertrouwen tussen partners en door samenwerking met sectoren Verloop Vergelijkende landenanalyse Inhoud en format standaard Richtlijnen Assessmentmethodes Ontwikkelen kwaliteitskit

27 1. Vergelijkende landenanalyse
Finland Lange traditie in erkennen van ervaring Studieloopbaan en arbeidsmarktloopbaan lopen door elkaar Aansturing vanuit ministerie van onderwijs is sterk aanwezig Schotland Initiatief, ontwerp en opstellen gebeurt door sectoren Centrale coördinatie verzekerd door centrale Scottish Qualification Authority

28 1. Vergelijkende landenanalyse
Frankrijk Lange traditie in erkenning Sterke aansturing en specifieke aanpak per beleidsdomein Nederland Traditioneel vertrekt initiatief vanuit sectoren Vanaf 2005 met kwaliteitscode EVC gecoördineerd door overheid Grote vrijheid qua initiatief, format en invulling van standaarden

29 1. Vergelijkende landenanalyse Inhoud standaarden buitenland
Minimum opgenomen: omschrijving van het beroep, kennis, vaardigheden, context Vaardigheden en kennis worden concreet omschreven: Vaardigheden als concreet oberveerbare gedragscriteria Kennis als concrete kennis, specifiek voor de beroepen waar de standaard voor beschreven is Finland en Schotland, net als Vlaanderen (ervaringsbewijs), nemen concrete richtlijnen op rond het afnemen van assessment betreffende locatie, voorzieningen en context van het beroep. Dit is niet het geval in Nederland

30 1. Vergelijkende landenanalyse: Inhoud standaarden buitenland
Finland en Schotland: concrete instrumenten opgenomen in standaard: Omschrijven welk instrument voor welke activiteit/module gebruikt wordt Omschrijven context, locatie, voorzieningen voor de test Beoordelingshandleiding voorzien voor assessor in de standaard Nederland en Frankrijk: concrete instrumenten worden niet opgenomen in standaarden Wel methodes per activiteit omschreven Vb. praktijkonderzoek, portfolio, …

31 2. Inhoud en format standaard: Vlaanderen
Wenselijk om een format te voorzien om duidelijkheid, vergelijkbaarheid en uitwisselbaarheid te garanderen Activiteiten uit de BK’s overnemen in standaarden Vaardigheden letterlijk overnemen. Wel bewaken dat ze steeds concreet observeerbaar zijn Kennis expliciet apart opnemen in de standaarden

32 3. Richtlijnen: Methodologische vragen
Hoe wordt cesuur bepaald? Moet er een voldoende zijn voor alle activiteiten om te slagen? Moeten er per activiteit voldaan zijn aan alle beoordelingscriteria? Concrete richtlijnen rond locatie, voorzieningen en context bij het afnemen van een assessment opnemen? Standaarden geven per activiteitenblok aan welke assessmentmethode gehanteerd wordt? Of in het geheel van de standaard?

33 4. Assessmentmethodes: Overzicht
Observatie in authentieke setting Observatie in gesimuleerde setting Rollenspel Productproef Interview: semigestructureerd, gesloten, criteriumgericht Portfolio Kennistoets: essayvragen, meerkeuzevragen

34 4. Assessmentmethodes: Inhoud
Uitleg instrument Toepassingsgebied Aandachtspunten in de ontwikkeling van het instrument Aandachtspunten in het gebruik van het instrument Gevolgen voor een standaard

35 4. Assessmentmethodes Rollenspel
Een simulatie van een interpersoonlijke beroepssituatie Met een van tevoren vastgestelde rol, volgens een bepaald scenario en met standaardreacties De kandidaat dient gepaste acties tentoon te spreiden Veelal een specifieke beroepsgerelateerde casus: een specifiek probleem, exemplarisch voor het beroep, wordt omschreven. Vb begeleider buitenschoolse kinderopvang

36 4. Assessmentmethodes: Rollenspel
Toepassingsgebied Afhankelijk van het probleem of de situatie die in de specifieke casus omschreven wordt Afhankelijk van de rol die de kandidaat in de casus dient aan te nemen Nadruk op beslissingen nemen, analyse en probleemoplossende vaardigheden Maar ook sociale vaardigheden en commerciële vaardigheden

37 4. Assessmentmethodes: Rollenspel
Kennis komt onrechtstreeks aan bod. Kennis kan rechtstreeks getoetst worden door het onderwerp van de betreffende casus goed te kiezen en het scenario zorgvuldig uit te schrijven Aandachtspunten bij de ontwikkeling Validiteit Belangrijk om een authentieke context te creëren Sluit het scenario aan bij de realiteit van het werkveld?

38 4. Assessmentmethodes: Rollenspel
Worden relevante taken opgenomen? Worden alle vaardigheden die relevant zijn voor de competentie via de taak/opdracht gemeten? Rollenspel is casusspecifiek : de kandidaat werkt in een rollenspel aan een enkele casus. Beperkte predictieve validiteit

39 4. Assessmentmethodes: Rollenspel
Betrouwbaarheid Nood aan een gestandaardiseerd scenario: de simulant dient in elke afgenomen proef op dezelfde wijze te reageren op dezelfde stimulansen van kandidaten Nood aan een goed uitgeschreven scenario Nood aan een training van de simulant De opdrachten, taken moeten helder zijn voor alle betrokkenen

40 4. Assessmentmethodes: Rollenspel
Het werken met authentieke taken maakt het voorspellen van de taakuitvoering lastig Door assessoren te trainen interpretaties in dezelfde richting laten gaan Meestal met vrij globale scoringsrubrieken gewerkt en wordt aan de assessor overgelaten in welke rubriek een gedragsaspect gescoord dient te worden

41 4. Assessmentmethodes: Rollenspel
Aandachtspunten gebruik Voorbereiding en uitvoering vragen tijd en werk van beoordelaar en kandidaat Een verhoogd niveau van aandacht en een goede training van de simulant Observeren en beoordelen van de gestelde acties van de kandidaat en de interactie met de simulant, vraagt een verhoogde aandacht van de assessor Nood aan voldoende middelen om een testomgeving te creëren en om de nodige tijd en personeelsuren vrij te maken

42 4. Assessmentmethodes: Rollenspel
Gevolgen voor de standaard Duidelijke criteria beschikbaar zijn voor het scoren van gedrag Er dient al een basisscenario te worden opgenomen in de standaard Eventueel de setting opnemen in de standaard Het scenario dient verder uitgeschreven te worden

43 4. Assessmentmethodes: Koppeling aan BK’s
BK’s dmv descriptorelementen toegewezen aan VKS-niveau Descriptorelementen opgedeeld in vb. probleemoplossende vaardigheden, motorische,… Deze koppelen aan het toepassingsgebied van assessmentmethodes Opstellen evaluatiematrix, geen exacte wetenschap!

44 4. Assessmentmethodes: Evaluatiematrix

45 4. Assessmentmethodes: Voorbeeld
Voorbeeld BK binnenschrijnwerker Erkend en ingeschaald op niveau 3 Vooral praktische kennis Gesloten interview, meerkeuzetoets

46 5. Ontwikkelen kwaliteitskit
Verdergaand op handleiding standaarden Ontwikkelen kwaliteitskit voor het ontwikkelen van assessmentinstrumenten op basis van: Verder verloop project: ontwikkelen testdossiers met sectoren Samenwerking met ESF-projecten Wetenschappelijke onderbouwing door studenten KUL olv professor Dochy

47 ?

48 Meer informatie? Agentschap voor Kwaliteitszorg in Onderwijs en Vorming (AKOV) Afdeling projecten: EVC - Curriculum - Kwalificaties Koning Albert II-laan 15 1210 Brussel Nieuwe website VKS en EVC vanaf september 2014 !