03/04/2017 Competenties beoordelen met GP Hoe doe ik het en hoe borg ik kwaliteit? Judith Gulikers, Educatie en competentiestudies, WUR. judith.gulikers@wur.nl.

Presentatie over: "03/04/2017 Competenties beoordelen met GP Hoe doe ik het en hoe borg ik kwaliteit? Judith Gulikers, Educatie en competentiestudies, WUR. judith.gulikers@wur.nl."— Transcript van de presentatie:

1 03/04/2017 Competenties beoordelen met GP Hoe doe ik het en hoe borg ik kwaliteit? Judith Gulikers, Educatie en competentiestudies, WUR.

2 Wat had ik jullie beloofd.....
De vertaling van de algemene competenties in een concrete proeve; Het objectief observeren van competenties met behulp van de WAKKER methode; Het gebruik van rubrics met daarin verwervingsstappen; Het komen tot een zo betrouwbaar mogelijk oordeel (met twee beoordelaars); Het positioneren van de beoordeling van een proeve binnen een doorlopende leerlijn.

3 Jullie gaan aan de slag Het begin: Wat wil je gaan beoordelen?
Validiteit Betrouwbaarheid Onderwijsgevolgen  de doolopende leerlijn

4 Piramide van Miller: WAT wil je zien?
03/04/2017 Doen Performance assessment in vivo: Observatie op werkplek, video….. Tonen Performance assessment in vitro: Simulatie, rollenspel………….... Authenticiteit Weten hoe Contextrijke tests: Casus, werkstuk, ….. Weten Feitentests / vaardigheden: MCtoets, open vragen….. Beroepsbekwaamheid bestaat uit vier lagen: de onderste lagen zijn voorwaardelijk voor de hogere lagen. Afhankelijk van welke laag je in je onderwijs of beoordeling wilt aanspreken moet je andere methoden kiezen. In traditioneel onderwijs ligt de nadruk op laag 1 en misschien laag 2. In CGO ligt de nadruk op laag 3 en 4 Naarmate je hoger in de piramide komt, wordt de authenticiteit van de onderwijs en beoordelingsmethoden belangrijker.

5 Validiteit: beoordelen we echt de 4 competenties?
Dit vraagt (nieuwe) professionaliseit van docenten Stap 1: vanuit GP: Verantwoording 4 competenties Praktijksituatie BB, KB, GL gedrag in de praktijksituatie Maar dit staat allemaal op papier kwaliteit wordt bepaald door hoe de school er vorm aan geeft Dit vraagt ondersteunig om PvB zo uit te voeren als bedoeld

6 Men neme de PvB mee naar school……
03/04/2017 intakevragenlijst Stap 2: wat kan de school/docenten eraan doen? Gezamenlijk vormgeven aan de uitgangspunten van GP Betekenis geven aan de 4 competenties in eigen PvB Observeren en reflectiegesprek richten hierop richten Cruciale vraag voor validiteit Wat betekenen de 4 competenties in deze PvB? Hoe zie ik deze 4 competenties in deze PvB? onderzoeken presenteren plannen en organiseren met druk en tegenslag omgaan

7 plannen en organiseren met druk en tegenslag omgaan
03/04/2017 onderzoeken presenteren plannen en organiseren met druk en tegenslag omgaan

8 plannen en organiseren met druk en tegenslag omgaan
03/04/2017 4 competenties onderzoeken presenteren plannen en organiseren met druk en tegenslag omgaan Jullie invulling hiervan geeft sturing aan: Observatie (waar ga je naar kijken) Reflectiegesprek (waar wil je meer over horen) Onderzoeken: goede vragen stellen aan boer: oorzaken van zijn probleem en mogelijkheden op zijn bedrijf en persoonlijke situatie Overzicht maken van mogelijkheden en onmogelijkheden binnen bedrijf op verschillende plekken informatie zoeken en aangeven waar informatie vandaan komt Checken of bedachte nevenactiviteit past bij bedrijf en boer Product/presentatie laat de cruciale gegevens zien, niet allerlei bijzaken Aanbevelingen doen over hoe nevenactiviteit uit te voeren Met druk en tegenslag omgaan Misschien dilemma voor inbouwen!! bv. Boer stuurt na week een mail dat hij in de zomerperiode altijd 4 weken zo druk is met het reguliere werk, dat hij er dan geen nevenactiviteit bij kan doen Leerlingen reageren constructief en laten zich niet uit veld slaan Leerlingen maken verschillende overwegingen over hoe om te gaan met situatie leerling bedenkt een oplossing

9 Hoe weet ik nu welk gedrag en niveau ik van leerling mag verwachten?
03/04/2017 Rubrics zijn PvB overstijgend Rubrics zijn inhoudsoverstijgend Rubrics zijn gebruikt in PvBs om BB, KB, GL niveau te beschrijven Rubrics

10 03/04/2017

11 De praktijksituatie zoals jullie die vormgeven
03/04/2017 De praktijksituatie zoals jullie die vormgeven moet de leerling alle mogelijkheden bieden om deze gedragingen te laten zien Authentieke situatie (locatie / opdrachtgever / echt resultaat)  Stimuli aanbregen om gedrag uit te lokken? (dilemma) onderzoeken presenteren plannen en organiseren met druk en tegenslag omgaan

12 03/04/2017 Tot nu toe hebben aan de validiteit gewerkt: Hoe borg je dat je daadwerkelijk de 4 competenties uit de proeve op het gewenste niveau beoordeelt Maar hoe zit het dan met betrouwbaarheid? Hoe borg je dat je het ‘ware’ niveau van de leerling beoordeelt?  Ook hier blijkt de rubric een belangrijk hulpmiddel voor te zijn

13 And how about reliability?
het ‘oude’ betrouwbaarheid: alle leerlingen doen hetzelfde er is 1 goed antwoord jij ziet precies hetzelfde als ik het ‘nieuwe’ betrouwbaarheid: er is altijd interpretatie.  niet objectiviteit, maar intersubjectiviteit  én niet gelijkheid, maar vergelijkbaarheid

14 ‘Nieuwe’ betrouwbaarheid:
Wat betekenen die 4 competenties in deze PvB? + niveau in rubric geduid ‘Nieuwe’ betrouwbaarheid: Weten wat we gaan beoordelen = voorwaarde Intersubjectiviteit Meerdere beoordelaars, die onafhankelijk tot oordeel komen Meerdere methoden Meerdere momenten Oordelen onderbouwen met concrete bewijzen Vergelijkbare PvB’s voor leerlingen Uit te voeren activiteiten en moeilijkheid Procedure van beoordelen Het is niet mijn interpretatie hoor! Dilemma’s??

15 Hoe zit dit in GP? 2 methoden: competenties beoordelen door ernaar te kijken én erover te praten vaststaand beoordelingsformulier intakegesprek: examinatoren samen beeld vormen van wat ze gaan beoordelen minimaal 2 beoordelaars Advies voor beoordelingsprocedure los van elkaar beoordelingsformulier invullen aantekeningen uit observatie + RG gebruiken voor argumenten WACKER procedure voor observeren

16 Nu gaan we competenties observeren……..
Hoe ga je observeren? mime filmpje mime filmpje 2 Kindergarten cop

17 Vrijwilligers om mij te observeren??
Experimentje Vrijwilligers om mij te observeren??

18 Valkuilen bij observeren: je gaat interpreteren
Te snel oordelen: eerste indruk of ervaring met leerling Op basis van te weinig informatie oordelen De persoonlijkheid van degene die beoordeelt, speelt mee in de beoordeling De ‘gevolgen’ van de beoordeling, beïnvloeden de beoordeling

19 Valkuilen gezien bij GP
Alles willen zien van alle leerlingen  observatie is moeilijk Je wilt competenties zien! “mijn mond houden’  docent gaat helpen Leerling moet laten zien dat hij/zij het (zelf) kan Examinator observeert Na observatie van praktijkdeel al beoordelen Reflectiegesprek is essentieel onderdeel van PvB Reflectiegesprek gebruiken als feedback gesprek Feedback gesprek komt pas NA de beoordeling

20 WACKER - Methode Waarnemen (observeren) Aantekeningen maken
Classificeren Kwalificeren Evalueren Rapporteren

21 Vermijden van valkuilen
Beoordelen via een vaste methodiek Duidelijke omschrijving van competentie hebben Observatie en interpretatie strikt gescheiden houden Tijdens het observeren aantekeningen maken zodat geen informatie verloren kan gaan Aantekeningen meenemen naar reflectiegesprek In reflectiegesprek verder uitdiepen Daarna ..CKER WACKER methode

22 Waarnemen en aantekeningen maken
Observeren van het gedrag van de leerling Het zo volledig mogelijk opschrijven van wat je observeert / hoort Aandachtspunt: Je aantekeningen mogen enkel waarnemingen bevatten, géén interpretaties! Dus ook niet gaan ‘afvinken’ Noteer alles wat je opvalt (goed én minder)

23 Aantekeningen NOG GEEN OORDEEL Reflectiegesprek HIERNA PAS OORDEEL

24 Denk terug: hoe zie ik een competentie in mijn toetssituatie.
Classificeren Bepalen wat van het geobserveerde gedrag iets zegt over welke competentie Welke aantekeningen zeggen iets over welke competenties? Denk terug: hoe zie ik een competentie in mijn toetssituatie. Hierom dus!

25 Hier zijn dus de rubrics van handig!
Kwalificeren Bepalen in welke mate een een leerling het gewenste gedrag / de gewenste competenties op niveau heeft laten zien Hier zijn dus de rubrics van handig!

26 Evaluaren Beoordelaars vullen individueel beoordelingsformulier in
daarna Naast elkaar leggen van de verschillende kwalificaties en tot een gemeenschappelijk resultaat komen Conclusies onderbouwen met concrete voorbeelden uit aantekeningen  Dit noemen we ‘intersubjectiviteit’ (betrouwbaarheid!)

27 Oordeel verantwoorden
03/04/2017 Eerste oordeel A1 = gezakt, A2 = geslaagd A1: ik twijfel hoor A2: waarom dan? A1: tja, dat weet ik eigenlijk niet zo goed A2: Daarop kunnen we de leerling natuurlijk niet laten zakken. Ik vind zijn ontwerp in ieder geval super in elkaar zitten en alle producten die hij heeft opgeleverd voldoen aan onze criteria. A1: Ja, vind jij dat? Ik vind dat ontwerp niet zo super? A2: Maar vind je het niet zo super omdat het niet aan de eisen voldoet of vind je het niet zo super omdat het gewoon jouw smaak niet is? A1: hmm……. lastig

28 Vervolg 03/04/2017 A2: De leerling is wel wat zwakker in de communicatie met de klant. In het verkoopgesprek hebben we geobserveerd dat hij niet de goede vragen stelde om alle benodigde informatie boven tafel te krijgen, maar uiteindelijk heeft hij wel zijn schetsen en ideeën met de klant overlegd en is hij tot overeenstemming gekomen. A1: Ja, je hebt inderdaad gelijk. Als ik naar de competenties en beoordelingscriteria kijk, heeft hij het inderdaad gehaald. Ik vind zijn ontwerp gewoon persoonlijk niet zo mooi. Maar ik vind het wel belangrijk om op het beoordelingsformulier aan te geven dat hij zich moet verbeteren in de communicatie met de klant. Doordat in de procedure van deze PvB was afgesproken dat assessoren na afloop aan de hand van de competenties aan elkaar moesten gaan vertellen waarom ze vonden dat een leerling wel/niet geslaagd was, ontstaat er een kritische discussie en gefundeerd oordeel.

29 Rapporteren: eerst beoordelen.........
Nieuwe beoordelingsformulier met op achterkant competentiematrix Holistisch oordeel: kan lln praktijksituatie met daarin de 4 competenties op goed niveau aan? Punten voor voorbereiding, proces, product, reflectie Waar kun je trots op zijn, waar nog aan werken Op de achterkant: mogelijkheid om per competenties leerling iets mee te geven (zowel positief als negatief)

30 ..................daarna betekenisvolle feedback
Beoordelingen bespreken met leerling en hem/haar feedback geven op zijn functioneren, op basis van concrete voorbeelden en competenties Bespreken welke acties ondernomen kunnen worden om bepaalde competenties verder te ontwikkelen Eventuele input voor portfolio, of nieuw POP / PAP Maak van een summatieve toets ook een leermoment!

31 Onderwijsgevolgen = kwaliteitsaspect van een toets!
En zo draagt PvB bij aan de Doorlo-pende leerlijn

32 Heel veel succes! Judith.gulikers@wur.nl
03/04/2017 Heel veel succes! © Wageningen UR