Meten van docentcompetenties Divisie: methodologie en evaluatie Erik Roelofs, Citogroep (Erik.Roelofs@citogroep.nl) Piet Sanders, Citogroep (Piet.Sanders@citogroep.nl) Informatie: www.toetswijzer.nl

Overzicht presentatie Doelen competentiemetingen Uitgangspunten bij metingen Psychometrische kwaliteitseisen Uitwerking competentiedomein Meten en beoordelen Generaliseerbaarheid uitkomsten (Piet Sanders) Aanbevelingen 1 2 3

Docentcompetenties meten: waarom? Beoordelen: selectie, promotie, functiedifferentiatie Professionalisering: opleiding, nascholing, begeleiding Invoeren onderwijsvernieuwing Toelatingsbeleid en vereisten. Hierbij kan gedacht worden aan competentiemetingen met het oog op het nemen van maatregelen met een civiel effect of gevolgen voor personeelsbeleid, zoals certificeren, selectie, aanname en ontslag, promotie. Wet op het leraarschap waarin onder meer het register voor leraren staat. Professionele ontwikkeling van docenten. Hierbij worden metingen verricht met het oog op het vaststellen van verschillende stadia of niveaus van bekwaamheid, zoals opleidingsbekwaam, LIO bekwaam, startbekwaam, gevorderd bekwaam, senior bekwaam. Vaak is hierbij sprake van een tamelijk welomschreven domein van competenties, gebaseerd op bestaande onderwijskundige inzichten, die gaandeweg een loopban worden verworven. Schoolverbetering en onderwijsvernieuwing. Hierbij staat vernieuwing van het onderwijsrepertoire van docenten centraal, met het oog op optimalisering van leer- en ontwikkelingsprocessen en verbetering van leerresultaten. Voorbeelden: Studiehuis, basisvorming, voorschoolse ontwikkeling, probleemgestuurd onderwijs, competentiegericht onderwijs. Verantwoording afleggen over de effectiviteit van het onderwijs van afdelingen en scholen als geheel. Het gaat hierbij in wezen het om verantwoorden van de wijze waarop middelen bestemd voor onderwijs efficiënt en effectief worden ingezet. Inspectieonderzoeken Verantwoording afleggen: schooleffectiviteit Lunchbijeenkomst, Erik Roelofs, POK docentcompetenties, 2-11-2001

2. Uitgangspunten 2.1 Procesmodel competent handelen een specifieke context (school, klas, leerling, omgeving) Taakomgeving: uit te voeren taken in … kennis vaardigheden opvattingen persoonsgebonden eigenschappen 1. Basis 3. Werkgedrag 4. Resultaat leerproces leeropbrengst 2. Beslisproces

2. Uitgangspunten: 2.2 gevolgen competenties meten Complex: Integratief: basis, beslisproces, gedrag, gevolgen Meerdere acceptabele werkgedragingen Verschillende databronnen en informanten Contextgebonden: Variatie aan (authentieke) situaties Veralgemeniserende uitspraken lastig Interpretatief: Assessor: is expert, verzamelt contextgevoelig bewijsmateriaal Inbreng kandidaat

3. Psychometrische kwaliteitseisen Representativiteit taak en situatiedomein Dekking taakprocessen Rechtvaardigheid afname- en nauwkeurigheid scoringsstructuur Generaliseerbaarheid resultaten Over taken/situaties: convergentie en onderscheid Over beoordelaars: betrouwbaarheid Rechtvaardigheid: kandidaat krijgt kans om competentie te tonen. Beoordelingen zijn vrij van onnauwkeurigheden, navolgbaar. Gewenste gevolgen: veelzijdig bewijs van eigen kunnen. Ongewenst: mooie lay-out van portfolio wordt feitelijke praktijk (verzamelen van niet eigen materiaal?) Gewenste/ongewenste consequenties Lunchbijeenkomst, Erik Roelofs, POK docentcompetenties, 2-11-2001

4: Uitwerking beoordelingskader Competentie: Spelbegeleiding Observatie en signaleren Spelverrijking Individueel Samenspel Doen alsof Materialen Context-situatie Criteria en beheersingsstandaarden De leidster stimuleert kinderen door het inbrengen van nieuw materialen of het geven van tips in het spel tot rijker doen alsof spel, tot uitdrukking komend in het spelen van nieuwe rollen, waardoor kinderen rijkere representaties van alledaagse thema’s verwerven.

5. Meten: 5.1 bronnen van bewijs Basis Beslis-/werkgedrag Resultaat Bron K A V Be-slis Werk Leer-proces Op-brengst Documentatie onderwijsmaterialen Observatie/video Logboek Interview/verslag Basisvormen aan de hand waarvan uitspraken over competentie kunnen worden gedaan. Niet iedere bron is even krachtig en brengt bepaalde aspecten het best in beeld. Streven naar een mix aan bronnen. Vragenlijst Test Lunchbijeenkomst, Erik Roelofs, POK docentcompetenties, 2-11-2001

5. Meten: 5.2 meetsituaties Onmiddellijkheid; Situatiecomplexiteit Volledigheid proces Dekking aantal Competenties en situaties Controle op data- verzameling en beoordelingsproces Reële werksituaties Gesimuleerde werksituaties Gesymboliseerde werksituaties + + - + + - + + - Meetsituaties zijn niet aan elkaar gelijk. Reëel: voorbereiding en uitvoering lessen in de eigen klas, beroepssituatie Gesimuleerd/gecreëerd: minilessen, rollenspel. Stilzetten Gesymboliseerd: videofragmenten, casebeschrijving, De representativiteit van de prestatie wordt het best benaderd met meten in reële situaties. Dit wordt minder naarmate situatie worden gesimuleerd/gecreëerd. In gesymboliseerde situaties doet de situatie zich niet meer feitelijk voor. Ook ontbreken tijdsdruk en directe gevolgen. Hoe moeten gegevens uit de ene situatie gecombineerd worden met de andere? Informanten: 1. Docent 2. Collega 3. Leidinggevende 4. Leerlingen 5. Externen Lunchbijeenkomst, Erik Roelofs, POK docentcompetenties, 2-11-2001

5. Meten: 5.3 Beoordelingsprocedure Integratie van bewijzen en scoring Score is som der deelscores (analytisch) Score is gelijkenis met voorbeeld (benchmark voor starter, expert) Bias/fouten: Eigen voorkeuren voor onderwijsstijlen Geïmporteerde criteria Inconsistenties met criteria Niet kunnen onderscheiden criteria

Voorbeeld verschillende databronnen: klassenmanagement Beschrijving lescontext Reflectie op beslissingen lesverloop Beslissen: Handelen: Les-documentatie Video-opname begeleiding leerkracht Video-opname leergedrag kind Gevolgen leerling:

Scoring klassenmanagement in benchmarks Richt zich voornamelijk op ordehandhaving (A) en geeft weinig ruimte voor inbreng van leerlingen (B), waardoor lln voornamelijk taakgericht-volgend deelnemen aan leerproces (C) Basis Maakt afwisselend gebruik van methoden van ordehandhaving (A) en het geven van ruimte (B), waardoor lln naast taakgericht-volgend ook zelfsturend deelnemen aan leerproces (C) Gevorderd Kan vooraf en tijdens les reacties van leerlingen inschatten en op basis daarvan beslissen wanneer A en B worden toegepast waardoor leerlingen per situatie terugvallen op taakgericht-volgend zelfsturend bezig zijn. Excellent

Scoring door sommering van deelscores

Werkwijze projecten Uitwerken belangrijkste competenties, situaties en beheersingsstandaarden Bepalen van kracht van de soorten bewijsmateriaal Scoringsregels voor het bepalen van competentieniveaus Uittesten: Geselecteerde groepen (hoog, midden, laag) Integratie bewijsmateriaal tot oordelen Generaliseerbaarheid van uitspraken

6. Generaliseerbaarheid van resultaten (Toets)betrouwbaarheid Beoordelaarsbetrouwbaarheid,-overeenstemming Generaliseerbaarheid Kwaliteit Generaliseerbaarheidsstudie -facet beoordelaars en taken Generaliseerbaarheid Decisiestudie - aantal taken en beoordelaars

6.1 Scores twee beoordelaars, vier taken van zes kandidaten generaliseerbaarheid) Pers./Taak 1 2 3 4 5 6 9 8 7 10 50 37 29 24 23 18 30 22 15 32 Beoordelaar 2 Pers./Taak 1 2 3 4 19 26 35 30 17 33 42 44 65 52 32 5 6 8 7 10 9 48 50

6.2 De scores van zes personen op vier taken (toetsbetrouwbaarheid) Persoon Taak 1 Taak 2 Taak 3 Taak 4 1 2 3 4 5 6 17 16 18 14 8 10 15 7 13

6.3 Scores zes personen, twee beoordelaars(beoordelaars-betrouwbaarheid) Persoon Beoordelaar 1 Beoordelaar 2 1 2 3 4 5 6 23 18 30 22 15 32 19 26 35 17 33

7. Aanbevelingen Terugwaartse formulering van van competenties en beheersingsstandaarden Aandacht voor de kwaliteit van bewijsmateriaal Onderzoek naar totstandkoming beoordelingen en bronnen van bias/onnauwkeurigheden Generaliseerbaarheid als een kwaliteitsindicator