Het meten van docentcompetenties Erik Roelofs, Citogroep (Erik.Roelofs@citogroep.nl) ROC congres 2003 Informatie: www.toetswijzer.nl Het meten van competenties, ROC-congres, 11 juni 2003 Erik Roelofs, Citogroep, Arnhem

Programma Opening, kennismaken Competentie-analyse Bewijsbronnen, instrumenten en beoordelingen. Demonstratie instrument EduProf Citogroep/ICLON Uitwisseling over kwaliteit instrument

Docentcompetenties meten: waarom? Beoordelen: selectie, promotie, functiedifferentiatie Professionalisering: ondersteuning van leerprocessen docenten Invoeren onderwijsvernieuwing Verantwoording afleggen: schooleffectiviteit Beoordeling. Hierbij kan gedacht worden aan competentiemetingen met het oog op het nemen van maatregelen met een civiel effect of gevolgen voor personeelsbeleid, zoals certificeren, selectie, aanname en ontslag, promotie. Wet op het leraarschap waarin onder meer het register voor leraren staat. Professionele ontwikkeling van docenten. Hierbij worden metingen verricht met het oog op het vaststellen van verschillende stadia of niveaus van bekwaamheid, zoals opleidingsbekwaam, LIO bekwaam, startbekwaam, gevorderd bekwaam, senior bekwaam. Vaak is hierbij sprake van een tamelijk welomschreven domein van competenties, gebaseerd op bestaande onderwijskundige inzichten, die gaandeweg een loopban worden verworven. Schoolverbetering en onderwijsvernieuwing. Hierbij staat vernieuwing van het onderwijsrepertoire van docenten centraal, met het oog op optimalisering van leer- en ontwikkelingsprocessen en verbetering van leerresultaten. Voorbeelden: Studiehuis, basisvorming, voorschoolse ontwikkeling, probleemgestuurd onderwijs, competentiegericht onderwijs. Verantwoording afleggen over de effectiviteit van het onderwijs van afdelingen en scholen als geheel. Het gaat hierbij in wezen het om verantwoorden van de wijze waarop middelen bestemd voor onderwijs efficiënt en effectief worden ingezet. Inspectieonderzoeken Het meten van competenties, ROC-congres, 11 juni 2003 Erik Roelofs, Citogroep, Arnhem

Perspectief: blijvend leren Verzamelen informatie Uitproberen Waarderen, overdenken Verander-ingen plannen Verwerven nieuwe inzichten

Meten van docentkwaliteit 1950 -1960: persoonlijkheidstrekken (warm - koud; autoritair- toegeeflijk) 1960 -1980: effectief gebleken docentgedragingen (“schrijft doelen op bord”, “circuleert door klas”) 1980 -1990: denkprocessen van docenten (hoe rijk is denkproces docent voor-tijdens-na les) 1990 – heden: leerprocessen van leerlingen Integratie

Competentiegericht vs. Cursorisch leren Zelfstandige constructie van kennis Overname van kennis Complete taken Opgedeelde taken Student centraal Programma centraal Professionele contexten Schoolse contexten Samenwerkend leren Individualistisch leren Ontwikkelend leren Foutloze beheersing

Wat is nu een competente docent? In welke rol ziet u de docent? Benoem een aantal competenties

Aspecten competent handelen een specifieke context (school, klas, leerling, omgeving) Taakomgeving: uit te voeren taken in … kennis vaardigheden opvattingen persoonsgebonden eigenschappen 1. Basis 3. Werkgedrag 4. Resultaat leerproces leeropbrengst 2. Beslisproces Werkgedrag: Wat hanteert een docent in concrete werksituaties aan technieken van uitleggen, begeleiden, opdrachten, toetsen. Basis: Wat weet docent van vakinhoud: Denken en doen van professionals Belangrijkste modellen van interventies, onderzoek , werkplekken Principes van onderwijzen en leren: Waarom werkt een bepaalde wijze van uitleggen? Welke principes van bespreken werken in welke situaties? Opvattingen: Hoe denkt docent over verschillen tussen leerlingen? Wat vindt hij zelf van studiehuis? Eigenschappen: Geduld? Beheersdrift? Beslisgedrag/verantwoord gedrag Bewust beslisgedrag als schakel. Docent neemt heeft basis om op terug te vallen. Kan zijn handelingen verantwoorden, vanuit een situatie-inschatting (informatie uit de context: onderwijsprogramma, leerlingen, klas, omgeving). Gevolgen Wat doen leerlingen? Wat leren leerlingen? Geen techniek heeft zin als er niet wordt geleerd. Het meten van competenties, ROC-congres, 11 juni 2003 Erik Roelofs, Citogroep, Arnhem

Stappen bij instrumentontwikkeling Visie: wat is acceptabel professioneel gedrag en wat niet op verschillende functieniveaus? Ontwerp: bij wie, wanneer, waarom, wat meten? Competenties en beheersingsstandaarden uitwerken Bewijsbronnen en instrumentontwikkeling Afname en dataverzameling Oordeel en feedback aan docent, vervolg POP Rechtvaardigheid: kandidaat krijgt kans om competentie te tonen. Beoordelingen zijn vrij van onnauwkeurigheden, navolgbaar. Gewenste gevolgen: veelzijdig bewijs van eigen kunnen. Ongewenst: mooie lay-out van portfolio wordt feitelijke praktijk (verzamelen van niet eigen materiaal?). Leerkrachten laten niet alles zien; onttrekken zich aan procedures. Voorbeeld Citotoetsen: ziek melden van zwakke leerlingen, vanwege gebruik toetsen voor kwaliteit scholen. Het meten van competenties, ROC-congres, 11 juni 2003 Erik Roelofs, Citogroep, Arnhem

Hoe (specifiek) formuleer je competenties Label competentie: bondige formulering Formulering in meetbare termen: Rol: kandidaat kan in beroepsrol a Taak: taak y of verzameling taken y Situatie: in beroepssituatie z of verzameling situaties z Hulpmiddelen: met hulpmiddelen h Aanpak: zodanig verantwoord volgens basisprincipes p uitvoeren Resultaat: dat resultaat q of verzameling resultaten q wordt bereikt

Voorbeeld elementen in beeld: een leerkracht

Analyse voorbeeld Bevorderen positief pedagogisch klimaat Indicator: bevorderen emotioneel welbevinden Criterium Beslisbasis Handelen Resultaat bij leerlingen Bevorderen emotioneel welbevinden Lln die zich emotioneel welbevinden kunnen aandacht richten op leren. Als leraar… Opvangen van verstoringen welbevinden (troosten, op gemak stellen) Welbevinden van lln herstelt; ll heeft ruimte voor nieuwe leeractiviteiten

Bronnen van bewijs Basis Beslis-/werkgedrag Resultaat Bron K A V Leer-proces Op-brengst Documentatie onderwijsmaterialen Observatie/video Logboek Interview/verslag Basisvormen aan de hand waarvan uitspraken over competentie kunnen worden gedaan. Niet iedere bron is even krachtig en brengt bepaalde aspecten het best in beeld. Streven naar een mix aan bronnen. Vragenlijst Test Het meten van competenties, ROC-congres, 11 juni 2003 Erik Roelofs, Citogroep, Arnhem

Meetsituaties Discussievraag Onmiddellijkheid; Situatiecomplexiteit Volledigheid proces + + - Dekking aantal competenties en situaties + + - Controle op data- verzameling en beoordelingsproces + + - Reële werksituaties Gesimuleerde werksituaties Meetsituaties zijn niet aan elkaar gelijk. Reëel: voorbereiding en uitvoering lessen in de eigen klas, beroepssituatie Gesimuleerd/gecreëerd: minilessen, rollenspel. Stilzetten Gesymboliseerd: videofragmenten, casebeschrijving, De representativiteit van de prestatie wordt het best benaderd met meten in reële situaties. Dit wordt minder naarmate situatie worden gesimuleerd/gecreëerd. In gesymboliseerde situaties doet de situatie zich niet meer feitelijk voor. Ook ontbreken tijdsdruk en directe gevolgen. Hoe moeten gegevens uit de ene situatie gecombineerd worden met de andere? Gesymboliseerde werksituaties Discussievraag Het meten van competenties, ROC-congres, 11 juni 2003 Erik Roelofs, Citogroep, Arnhem

Wanneer is een bewijsbron acceptabel? Zijn de aangetoonde gegevens veroorzaakt door de docent?; vallen die onder zijn/haar verantwoordelijkheid? Weerspiegelen de gegevens de taak van de docent? Zijn de gegevens verbonden met gevolgen van het handelen? Leerresultaten? Leerklimaat? Besluitvorming? Zijn de gegevens van grootst belang m.b.t. kwaliteit docent? Zijn er betere databronnen beschikbaar over hetzelfde onderwerp? Bieden gegevens een actueel beeld van de docent? (Peterson, 2000, pg. 93;) Het meten van competenties, ROC-congres, 11 juni 2003 Erik Roelofs, Citogroep, Arnhem

EduProf: web-based vragenlijsten 5 competentiegroepen Instrumenten voorbereiden onderwijs: 5 competenties uitvoeren onderwijs: 6 competenties toetsing en evaluatie: 3 competenties functioneren in de organisatie: 2 competenties professionalisering: 2 competenties Quick scan (k=53) Standaard scan (k=182) Situatiegevoelige scan: competentie 7 competentie 8

EduProf

Selectie van competenties

Enkele vragen

Terugkoppeling: beheersing

Terugkoppeling: toelichting

Toepassen op uzelf Kies (in tweetallen) een domein Vul een zelfbeoordeling in Bereken uw scores, zoek oorzaken van verschillen Bekijk en bespreek de achtergrondteksten en Commentaren Welke toepassingen ziet u? Een competentie uit onderwijstaken eruit genomen (zie hand-out) Het meten van competenties, ROC-congres, 11 juni 2003 Erik Roelofs, Citogroep, Arnhem

Videodossiers MBO-docenten Beschrijving lescontext en scenario Gevolgen -leerling Beslissen Handelen Inhoudsopgave video-episodes Videobeelden leerkracht Videobeelden leerling Les-documentatie Verantwoording interventies

Gegevensverzameling videodossiers Video-opnames: begeleidingsepisodes, dubbele camerapositie Inhoudsaanduiding: uitleg, feedback, groepsinterventies Documentatie materialen: opdrachten, lesplannen, blokboeken, geschreven commentaar aan leerlingen Beschrijving taakcontext: lessituatie; curriculaire context; leerlingen; Verantwoording aanpak Zelfbeoordeling op beoordelingscriteria. Persoonlijke gegevens docent

Discussie/uitwisseling Wat zou u waar willen inzetten? Waar liggen uw voorkeuren?

Toepassing in systeem van beoordeling en professionalisering Quick-zelfscan Sterkte-zwakte analyse collegascan, leerlingscan Uitgebreide zelfscan Aanvullende Methoden (video) Scholing of professionalisering

Slot Nadere informatie instrumenten: www.toetswijzer.nl

3f Meest aan te raden bronnen bij beoordeling (Peterson, 2001) Systematische observaties Expert-review van onderwijsmaterialen Cliëntrapportages: Leerlingrapportages (vragenlijsten, focus groepen) Ouderrapporten (idem) Vorderingen van leerlingen Tests van kennisbasis Documentatie van professionele activiteiten Rapport van direct leidinggevende Documentatie van uitzonderlijke prestaties Welke Materialen? Studentenwerkstukken, hand-outs, ondersteunende studiematerialen Voorwaarden aan reviewers: De collega’s zijn werkzaam in dezelfde leerjaren, met zelfde vakinhoud, vergelijkbaar curriculum en klassensamenstelling Collega’s kennen de collega niet (om belangen- en rolconflicten te vermijden) Vorderingen? Vooruitgang ten opzichte van een eerdere meting Eigen tests of gestandaardiseerde tests Meest dwingende bewijsbron Tests Onderwijsstrategieën Ontwikkeling van kinderen (zie voorbeelden van ETS in mapje) Ouderrapporten Communicatie van leerkrachten richting ouders (voortgang van kinderen, tips om leerlingen te ondersteunen etc.) Geen vragen stellen over wat zich in de klas afspeelt Documentatie van professionele activiteiten Volgen van cursussen Bijstaan van collega’s Systematische observaties 5 tot 10 uren onaangekondigde observatie Vooral gedrag en gevolgen ervan in beeld. Bij te hanteren systeem moet onderliggende visie op onderwijzen helder zijn Rapport van direct leidinggevende Aanduiding van gehanteerde databron Alleen die onderdelen waarvan de schoolleider directe kennis heeft. Het meten van competenties, ROC-congres, 11 juni 2003 Erik Roelofs, Citogroep, Arnhem

3g Problematische bewijsbronnen bij beoordeling } Getuigschriften Lesbezoeken door collega’s Vragenlijsten onder collega’s Prescriptieve gedragschecklists Microteaching Zelfevaluatie Inrichting van het klaslokaal Wél geschikt om reflectie op te roepen Getuigschriften: niet duidelijk onder welke condities de prestaties tot stand kwam. Bijna elk type leerkracht heeft bewonderaars. Gaat vaak maar om beperkte en indirecte gegevens. Geloofwaardigheid vaak in verband gebracht met de persoon van de schrijver. Gevaar voor oneerlijkheid. Lesbezoeken door collega’s: observator bias; voorkeuren voor manieren van lesgeven; sociale relaties Vragenlijsten onder collega’s: hebben niet altijd goed zicht op alle bekwaamheden; zeer mee oppassen. Contextvrije prescriptieve gedragschecklists: lijsten die zeer gedetailleerd bepaalde effectieve gedragingen voorschrijven, waardoor ze de ruimte voor een eigen invulling door de leerkracht; zijn wel objectief maar dekken in geen enkel opzicht de complexiteit en de contextgebondenheid van competenties als lesgeven, die juist meerdere oplossingen openlaten. Microteaching: versimpelde setting enkele vaardigheden, niet representatief voor hele competentie Zelfevaluatie: blijkt laag te correleren met leerlingbeoordelingen over dezelfde aspecten. Inrichting van het klaslokaal: sterk afhankelijk van het beschikbare materiaal op de school. Eerder: wat kan de leerkracht nog onder de meest Spartaanse omstandigheden. Het meten van competenties, ROC-congres, 11 juni 2003 Erik Roelofs, Citogroep, Arnhem

Wanneer spreken we van een competentie-instrument? Een duidelijk omschreven meetdoel en doelgroep Taken gebaseerd op een beschreven domein Beroepsrelevante situaties Gebruik van één of meer databronnen Regels voor afname, resp. dataverzameling Regels voor scoring Regels en normen voor (eind)beoordeling Een beslissing, een consequentie

3h Competentiematrix (Bewezen geschikt)

Eisen aan iedere toetstaak/-opgave Aanwijzingen: wat moet kandidaat doen en aanleveren? Gerichte vragen, instructies, opdrachten Structuur: helderheid over criteria, contexten, vormbeperkingen Keuzemogelijkheden: welke eigen uitwerkingen zijn mogelijk?

4.1 Beoordeling: fouten Persoonlijke voorkeuren, selectieve waarneming Zelf geïmporteerde (impliciete) criteria Inconsistenties met criteria Niet kunnen onderscheiden criteria Horn-, Halo-effecten, centrale tendenties Te mild- te streng

4.2 Training beoordelaars Nauwkeurig waarnemen en registreren Documenteren verzamelde bewijsmaterialen Nauwkeurig ordenen en interpreteren Scoren van gegevens uit diverse taaksituaties; samen en alleen (overeenstemming) Integratie van bewijzen Rapportage aan leraren: legitimeringsverslag

4.3 Scoring in benchmarks voorbeeld klassenmanagement Richt zich voornamelijk op ordehandhaving (A) en geeft weinig ruimte voor inbreng van leerlingen (B), waardoor lln voornamelijk taakgericht-volgend deelnemen aan leerproces (C) Basis Maakt afwisselend gebruik van methoden van ordehandhaving (A) en het geven van ruimte (B), waardoor lln naast taakgericht-volgend ook zelfsturend deelnemen aan leerproces (C) Gevorderd Kan vooraf en tijdens les reacties van leerlingen inschatten en op basis daarvan beslissen wanneer A en B worden toegepast waardoor leerlingen per situatie terugvallen op taakgericht-volgend zelfsturend bezig zijn. Excellent

4.4 Andere scorerubrieken 1: contraproductief 2: gemiste kansen 3: acceptabel 4: goed 5: meesterlijk 6: uitmuntend, wereldklasse 1: beginning 2: developing 3: proficient 4: exemplary

4.5 Scoring van afzonderlijke gedragingen 1. Leraar geeft opdrachten die leerlingen meestal goed maken 2. Leraar prijst leerlingen bij correct antwoord. 3. Leraar geeft geen negatieve feedback. Helemaal niet Zeer vaak 1 2 3 4 5

4.6 Beslissen: combinatie van gegevens Professionele ontwikkeling: Profiel bekwaamheden en niveauaanduiding Waarop bekwaam en minder bekwaam? Beoordelen: selectie, doorstroom Eén totaalscore  beslissing: zakken/slagen, bekwaam/niet bekwaam

4.7 Combinatiemethode Expert/klinisch: combinatie via interpretatie/integratie van gegevens Statistisch: combinatie via een statistische bewerking

4.8 Combinatiemodellen cesuur Compenserend: Bij selectie Niet compenserend: Bij certificering, toelating Score

4.9 Problemen met combineren Kan a (goede materiaalvoorbereiding) compenseren voor b (minder sterke uitleg, of voor minder goed gedragsmanagement)? Welke gewichten toekennen aan verschillende score-onderdelen? Leidt meer van a altijd tot betere resultaten op b? Effectieve leertijd Kwaliteit klassenmanagement