Authentiek beoordelen in het VMBO: is het de opdrachtgever of de locatie die ‘t ‘m doet Judith Gulikers, Educatie en competentiestudies, Wageningen Universiteit

De kern van het verhaal Theoretisch kader: 5-dimensionale model voor authentiek beoordelen (Gulikers et al., 2004) Voortbouwen op onderzoek in MBO Uitleg studie VMBO Project Groen Proeven Belangijkste resultaten en verklaringen

Theoretisch kader Authentiek leren en beoordelen is al gedurende langere tijd populair Stimulerend voor motivatie en leren Eerste onderzoek, mn in Hoger Onderwijs, gericht op authentieke denk- en leerprocessen (Newmann & Wehlage, 1992; Herrington & Oliver, 2002) Belangrijk voor beroepsvoorbereiding en creëren van beroepsbeeld Vraagt daarom ook om laten zien van beroepsrelevant gedrag (Darling-Hammond & Snyder, 2000) Past helemaal in competentiegerichte onderwijs (De Bruijn & Leeman, 2011)

Wat is authentiek beoordelen Authentic assessment = “an assessment requiring students to use the same competencies, or combinations of knowledge, skills, and attitudes, that they need to apply in the criterion situation in professional life” The level of authenticity of an assessment is thus defined by its degree of resemblance to the criterion situation that is a professional practice situation at the students’ level (Gulikers, Bastiaens, & Kirschner, 2004) Authenticiteit is een dimensie

5-dimensionaal framework (5DF) Taak Fysieke context Sociale context Vorm Resultaat / Criteria Authenticiteit is meer dan alleen de fysieke context Assessment kan meer of minder authentiek gemaakt worden op meerdere kenmerken

Authenticity is in the eye of the beholder Ervaart de student het assessment authentiek?? Dit blijkt afhankelijk van hoe een student ‘de beroepspraktijk’ ziet als gevolg van hun praktijkervaring

Eerder onderzoek Als leerlingen assessment meer authentiek percipieren  dieper leren  meer “generic skills” ontwikkelen Verschillend voor MBO leerjaar 1 en MBO leerjaar 4 leerlingen Voor MBO jaar 1 lln is vooral de taak en criteria belangrijk, fysieke context veel minder. Bij MBO leerjaar 4 is grotere overeenkomst van meer dimensies van het assessment met beroepspraktijk nodig

Follow-up in VMBO Wat is het effect van locatie (school/bedrijf) en opdrachtgever (geen/wel) op ervaring van authenticeit en leeruikomsten van VMBO leerlingen Leerlingen met nog minder praktijkervaring Jonger dan MBO leerlingen VMBO is voorbereidend: proeven aan breed scala van beroepsrichtingen Hypothesis: Fysieke context is minder belangrijk dan een authentieke taak voor betere leeruitkomsten Een assessment op school met een hoog authentieke taak zal als authentiek ervaren worden en positief bijdragen aan leeruitkomsten

Project Groen Proeven Authentieke Proeve van bekwaamheid voor groene VMBO Plaatsen van leerling in kritische beroepssituatie. Mag op school of in bedrijf Landelijke proeves ontwikkeld voor 5 beroepsvelden  daadwerkelijke uitvoering is “des schools” Leerling zelf plannen, complexe taak uitvoeren, zelf beslissingen en keuzen maken, inspringen op dilemma’s, beargumenten van handelen in reflectiegesprek Docent Observator en examinator

Methode 36 pilots, op 11 groene VMBO’s 453 lln, 76 docenten Keuze voor uitvoering is aan de school Gestructureerde intakegesprekken: borgen vormgeven PvB  verslag Observatie tijdens uitvoering Ervaren authenticiteit (4-puntsschaal) “generic skills development” (Wilson et al., 1997) (4-puntsschaal) Cijfer: 1-10 van 150 leerlingen Evaluatiegesprekken met lln en docenten  verslagen Kruskal-Wallis en Mann-Whitney post-hoc tests met Bonferonni correctie en effect size Kwalitatieve analyse intake, observatie en evaluaties door 3 personen

4 condities Externe School Geen OG 161/22 Bedrijf Geen OG 43/14 Taak op papier 4 condities School Geen OG 161/22 Bedrijf Geen OG 43/14 School Wel OG 210/38 Bedrijf Wel OG 39/2 Docent of Externe Externe

Authenticiteitsperceptions School Geen OG Bedrijf Geen OG H(3)=62.6 p<.00 SG=BG SG<SW BG<BW Docenten N.S. Wel trend School Wel OG Bedrijf Wel OG In afwezigheid van opdrachtgever, had locatie geen effect. SG=

Kwalitatieve data leerlingen Werken / praten met echte klant Werken voor een echte klant Opleveren van resultaat voor deze klant “Die biedermeiers stonden een week later nog in de klas te rotten” taak

Leeruitkomst: Generic skills development en cijfer Cijfer N.S, maar SG: 84,6 SW: 69.6 BG: 81.0 BW: 81.5 H(3) = 20.5 p<.00 SG>SW U=11386 r=.22 School Geen OG Bedrijf Geen OG School Wel OG Bedrijf Wel OG

Wat gebeurt hier?? Hint1: GSD = plannen, zelfstandig beslissingen nemen, nieuwe problemen oplossen, samenwerken Hint2: Opdrachtgever in school kon ofwel de docent of en externe persoon zijn.

What happens?? Vervolg analyse Verschil zit tussen SG en S/docent Docent als opdrachtgever Externe als opdrachtgever What happens?? 4+4 = ?? 12? Vervolg analyse Verschil zit tussen SG en S/docent En niet tussen SG en S/externe

Kwalitatieve gegevens Meeste genoemde leerervaring van docenten: “Mijn mond houden”

Conclusie Voor VMBO leerlingen Een assessment op school kan erg authentiek zijn, vooral wanneer de taak ontstaat in interactie met een opdrachtgever in plaats van op papier en wanneer er een echt resultaat bij de opdrachtgever terecht komt EN De opdrachtgever moet zich bewust zijn dat hij/zij niet leerling gaat ‘helpen’  remt zelfstandig uitvoeren van de complexe taak  remt ontwikkeling van generieke vaardigheden

Dank! Wij zien jullie graag volgend jaar in Wageningen op de ORD 2012 Judith.gulikers@wur.nl