Operationalisering van het beroepsprofiel tot een betrouwbaar en relevant beoordelingsinstrument Johnny R. J. Fontaine (UGent) Kristien Carnel (KHLeuven) Nine Hooge (KHLeuven)
Overzicht Context: kennis en competenties Belang van diagnostiek Criteria voor goed instrumentarium Decretale basiscompetenties van de leerkracht Portfolio in de EVC-procedure Naar een breed bruikbaar competentie-instrument Identificeren van gedragsindicatoren voor competenties Overlapping tussen competenties Eerste stap naar nieuw competentie-instrument Conclusies
Context: Kennis en competenties Vroeger was het onderwijs gericht op kennis & intellectuele capaciteiten Ontoereikend, slechts één element in beroepsfunctioneren: beroepscompetenties, emotionele intelligentie, sociale intelligentie, praktische intelligentie, niet-intellectuele competenties
Context: Kennis en competenties Algemene trend zowel in werk- als onderwijscontext om competenties centraal te stellen (vb. Case Western Reserve University’s Weatherhead School of Management & ESADE Business School Barcelona: zelfbewustzijn, zelfmanagement, sociaal bewustzijn, management van sociale relaties, verder opgesplitst in 20 specifieke competenties) Toenemend belang in snel evoluerende, democratische samenlevingen
Belang van diagnostiek Kennis en competenties: Instroom: EVK & EVC, certifiëring Opleiding: formatieve functie Uitstroom: credits en diploma
Criteria voor goed instrumentarium Betrouwbaarheid (intern, tussen beoordelaars, hertesting) Domeinrepresentativiteit- en relevantie Interne organisatie & relaties met andere eigenschappen (vb. intelligentie & persoonlijkheid) Voorspellende waarde Overeenkomstig theoretisch kader
Theoretisch kader Decretale basiscompetenties van de leerkracht: 36 competenties ingedeeld in 10 functionele gehelen 10 attitudes: professionele identiteit
Theoretisch kader Kritische ingesteldheid Doelstellingen kiezen en formuleren De emancipatie van kinderen bevorderen Het eigen vormingsaanbod situeren en integreren in het geheel van het onderwijsaanbod Een gestructureerd werkklimaat behouden en bevorderen Vernieuwende elementen aanwenden en aanbrengen Met ouders in dialoog treden over opvoeding en onderwijs Overleggen en samenwerken binnen het schoolteam Deelnemen aan het maatschappelijk debat over onderwijskundige thema's Contacten leggen met externe instanties Actuele thema’s en brede maatschappelijke ontwikkelingen identificeren en kritisch benaderen
Portfolio in de EVC-procedure 26 basiscompetenties opgenomen in EVC-procedure Vertalen van competenties in gedrags-indicatoren op vier niveaus (groeilijnen: start – professioneel) Portfolio: zelfbeoordeling, beoordeling door twee assessoren
Portfolio in de EVC-procedure Redelijke overeenkomst tussen assessoren onderling en tussen assessoren- en zelfbeoordeling Bevraging van experts Zelfbeoordeling gemiddeld gelijk of lager dan assessorenbeoordeling Maar: aantallen té klein voor grondige evaluatie van validiteit
Naar een breed bruikbaar competentie-instrument Niet alleen instroom, maar ook formatieve functie en uitstroom Niet 26, maar 46 competenties van belang Nood aan eenvoudiger beoordelings-instrument (stagementoren, zelfreflectie) Grote aantallen voor onderzoek validiteit
Naar een breed bruikbaar competentie-instrument Onderzoek van Departement Leraren-opleiding KHLeuven: Kristien Carnel, Björn Callewaert, Nine Hooge Gefinancierd door Europees Sociaal Fonds
Naar een breed bruikbaar competentie-instrument Vijf studies: Identificeren van gedragsindicatoren voor competenties Overlapping tussen competenties Eerste versie van competentie-instrument Betekenisonderzoek van de gedragsindicatoren Tweede versie van competentie-instrument
Identificeren van gedragsindicatoren voor competenties “… decretale basiscompetenties voor leraars niet operationeel en meetbaar geformuleerd zijn” (Carnel, et al., 2005) Competenties worden geïnfereerd uit concreet gedrag: op zoek naar gedragsindicatoren Niet voor 26, maar 46 competenties
Identificeren van gedragsindicatoren voor competenties 183 stagementoren uit het werkveld: Kritische incidentenmethode: “Dit betekent dat u per competentie nagaat welke (goede of minder goede) ervaringen u heeft meegemaakt, die een goed voorbeeld geven van de aan- of afwezigheid van de betreffende competentie.” Drie gedragsindicatoren: “Waaraan herkent u de competentie nu het best? Welk gedrag is nu het meest typisch voor deze competentie? Is het mogelijk om telkens aan te geven wat het verschil is tussen iemand die deze competentie matig, redelijk of in sterke mate bezit? Hoe kan u concreet zien dat een leerkracht deze competentie meer bezit dan een ander?”
Identificeren van gedragsindicatoren voor competenties Resultaten: Samen met portfolio-onderzoek meer dan 500 gedragsindicatoren voor 46 competenties Overlapping tussen gerapporteerde gedragsindicatoren voor verschillende competenties
Overlapping tussen competenties In welke mate is er sprake van begripsmatige overlapping tussen de 46 decretale competenties? 336 gedragsindicatoren geselecteerd 77 experts
Overlapping tussen competenties Beoordelen van in ik-vorm geformuleerde gedragsindicatoren (336 x 46): relevantie van elke gedragsindicator op 10 competenties relevantie voor beroep van onderwijzer/es op 8-puntenschaal (1= uiterst irrelevant / 2 = zeer irrelevant / 3 = irrelevant / 4 = eerder irrelevant / 5 = eerder relevant / 6 = relevant / 7 = zeer relevant / 8 = uiterst relevant)
Overlapping tussen competenties Resultaten Voor meeste competenties kunnen experts profiel van gedragsindicatoren redelijk betrouwbaar bepalen (Cronbach’s alpha > .70, maar bijvoorbeeld ‘verantwoordelijkheidszin’ is een uitzondering) Verschillende competenties vertoonden zeer gelijkaardige profielen van gedragsindicatoren
Overlapping tussen competenties Factoranalyse op de 46 competenties leverde een zeer duidelijke structuur op: de overlapping in het competentiedomein splitst zich op in 5 factoren Deskundigheid: inrichter van krachtige leeromgeving Levenslang leren Scheppen van een leefklimaat Leerzorgkader Integratie in schoolgemeenschap: teamlid
Overlapping tussen competenties Deskundigheid: inrichter van krachtige leeromgeving Competenties: Leerinhouden/ervaringen kunnen selecteren, structureren en vertalen in onderwijsaanbod Leermiddelen kiezen en aanpassen Aangepaste werkvormen en groeperingsvormen bepalen Gedragindicatoren: Ik hanteer werkvormen die optimale kansen bieden aan interactief en samenwerkend leren (hoekenwerk, projectwerk, clim). Ik kom los van bestaande werkstramienen (lesontwerpen, schema’s, handleidingen, materialen,…). Ik leg verbanden tussen de eindtermen en de leerplannen bij het uitwerken van mijn lessen.
Overlapping tussen competenties Levenslang leren Competenties: Actuele maatschappelijke ontwikkelingen hanteren in een pedagogische context Leergierigheid Deelnemen aan het maatschappelijk debat over onderwijskundige thema's Gedragindicatoren: Ik verzamel informatie over actuele onderwijskundige thema’s. Ik ben op de hoogte van recente tendensen in het Vlaams basisonderwijs met bijzondere aandacht voor gelijke kansen en participatie. Ik leg nieuwsgierigheid aan de dag, ga verkennend op zoek naar meer, beter, anders,…
Overlapping tussen competenties Scheppen van een leefklimaat Competenties: In overleg een positief leerklimaat creëren voor de kinderen in de leerlingengroep en op school De emancipatie van kinderen bevorderen Relationele gerichtheid: in contacten met anderen kenmerken van echtheid, aanvaarding, empathie en respect tonen Gedragindicatoren: Ik maak afspraken in overleg met de kinderen zodat ze zich mee verantwoordelijk voelen voor de werksfeer. Ik bied kansen tot mondigheid, zelfstandigheid, eigen initiatief en participatie van de kinderen … Ik leer kinderen respectvol omgaan met / open staan voor de veelheid aan waarden …
Overlapping tussen competenties Leerzorgkader Competenties: Observatie/evaluatie voorbereiden Zich op de hoogte stellen van en discreet omgaan met gegevens over de lerende Observeren / proces en product evalueren met het oog op bijsturing en differentiatie Gedragindicatoren: Ik maak een foutenanalyse bij toetsresultaten. Voor leerlingen met speciale leerbehoeften werk ik met een handelingsplanning. Ik neem initiatief om me een beeld te vormen over de uiteenlopende thuissituaties van de leerlingen.
Overlapping tussen competenties Integratie in schoolgemeenschap: teamlid Competenties: Overleggen en samenwerken binnen het schoolteam Binnen het team over een taakverdeling overleggen en deze naleven De eigen pedagogische en didactische opdracht en aanpak in team bespreekbaar maken Gedragindicatoren: Ik overleg met collega’s over de regels die een positief leef- en leerklimaat in de school moeten bevorderen. Ik kom tot goede regelmatige inhoudelijke afstemming met mijn collega’s. Ik neem standpunten in op klas- en schoolniveau in overleg met collega’s, directie,…
Eerste versie van competentie-instrument Conceptueel zijn er vijf grote groepen van competenties te onderscheiden op basis van hun gedragsindicatoren Competentie-instrument moet zeker deze vijf groepen goed meten, eventueel in later stadium meer specifieke instrumenten
Eerste stap naar nieuw competentie-instrument In totaal 152 gedragsindicatoren gekozen: 5 factoren x 4 niveaus In welke mate herken je dit gedrag bij jezelf? (1 = niet, 2 = uiterst zelden, 3 = zelden, 4 = van tijd tot tijd, 5 = regelmatig, 6 = vaak, 7 = zeer vaak, 8 = voortdurend) 71 leerkrachten, 42 studenten, 39 stagementoren
Eerste versie van competentie-instrument Ik integreer coöperatieve en/of activerende leer- en werkvormen voor een gedifferentieerde onderwijsleerpraktijk. Ik ga actief op zoek naar bijdragen aan het opvoedingsproject van de school door externen. Ik gebruik en stimuleer diverse vormen van leerlingenparticipatie in de klas en de school. Bij evaluatie en advisering hou ik rekening met de rechten en plichten van ouders. Ik pas het pedagogisch-didactisch handelen aan wijzigende omstandigheden en de diversiteit in de klas aan.
Eerste versie van competentie-instrument Voorlopige resultaten: Leerzorgkader en integratie in schoolgemeenschap minder relevant voor stagairs Geen vijf factoren in de zelfbeoordelingen Slechts één factor: tendens om hoger of lager te scoren op alle items
Eerste versie van competentie-instrument Methodologische verklaringen: Kleine steekproef Onbetrouwbaarheid van de antwoorden Antwoordschaal laat onvoldoende differentiatie toe Gedragsindicatoren toch nog té abstract en voor meerdere interpretaties vatbaar
Eerste versie van competentie-instrument Inhoudelijke verklaringen Hallo-effect: sociale wenselijkheid, zelfs in anonieme condities Mensen vormen globaal beeld van zichzelf en anderen. Indien correct, dan ook beïnvloedbaar door andere factoren.
Eerste versie van competentie-instrument Ook teruggevonden in verwante benaderingen (EI in MBA opleidingen met meer dan 7000 respondenten: Boyatzis, R. E., Batista-Foguet, J. M., Serlavos, R. (2005, July). Which is the underlying model and the appropriate analysis strategy for assessing Emotional Intelligence Competencies. Paper presented at the First European Association Survey Research Conference, Barcelona, Spain.) Intrinsiek probleem van de competentie-benadering? Niet bruikbaar als er slechts één factor uitkomt
Betekenisonderzoek van de gedragsindicatoren Kwalitatief onderzoek naar betekenis van gedragsindicatoren: leerkrachten werd gevraagd vrij weer te geven hoe ze elke gedragsindicator begrepen Resultaat: gedragsindicatoren werden niet op een éénduidige manier begrepen onbetrouwbaarheid van de scores Volgende stap: uitzuiveren van betekenis van gedragsindicatoren
Tweede versie van competentie-instrument Centrale doelstelling: is het mogelijk om met methodologische aanpassingen meerdere competentiefactoren te onderscheiden?
Tweede versie van competentie-instrument 138 geherformuleerde gedragsindicatoren op basis van kwalitatief onderzoek Per 15 gedragsindicatoren de meest en minst toepasselijke gedragsindicator kiezen Uitbereiding van positieve zijde van de antwoordschaal (cfr. waarden)
Tweede versie van competentie-instrument In welke mate herken je dit gedrag bij jezelf? 1 = helemaal niet van toepassing 2 = niet van toepassing 3 = een beetje van toepassing 4 = matig van toepassing 5 = van toepassing 6 = sterk van toepassing 7 = zeer sterk van toepassing 8 = uitermate sterk van toepassing Steekproef: 128 studenten en 258 leerkrachten
Tweede versie van competentie-instrument Resultaten: Opnieuw één grote dominante factor MAAR vier grote factoren, die positief samenhangen komen stabiel naar voren (via random split-half) en per factor kunnen stabiele subfactoren worden onderscheiden
Factor 1: Samen school maken Subfactor 1: De leraar als lid van een schoolteam Ik werk actief mee op vergaderingen en overlegmomenten. Ik neem actief deel aan de organisatie van schoolevenementen. Subfactor 2: De leraar als partner van ouders, zorg-verstrekkers en collega’s Ik informeer ouders over de leervorderingen van hun kind. Ik werk in de begeleiding van individuele leerlingen samen met externen (CLB, pedagogische begeleidingsdienst, logopedist, andere hulpverleners,...) Ik laat informatie over leervorderingen doorstromen naar alle betrokken partijen (leerlingen, ouders, directie en collega's). Subfactor 3: Differentiatie in aanpak en beoordeling Ik maak verschillende beoordelingsinstrumenten aangepast aan de individuele noden van leerlingen. Ik bepaal gedifferentieerde doelstellingen rekening houdend met de verschillen tussen leerlingen (verrijkingsdoelstellingen en extra basisdoelstellingen).
Factor 2: Functioneren binnen een (klas)groep Subfactor 1: De leraar als opvoeder Ik geef tijdens mijn lessen leerlingen de kans om hun mening te geven. Ik bevorder een aangename, dynamische klassfeer waar kinderen zich thuis voelen. Ik ben consequent in het hanteren van gemaakte afspraken in de klas. Subfactor 2: De leraar als begeleider van leer- en ontwikkelingsprocessen binnen een krachtige leeromgeving Ik slaag erin om mijn lesinhouden en handelen flexibel aan te passen aan wisselende omstandigheden. Ik gebruik diverse leermiddelen. Ik hanteer een vlot lestempo.
Factor 3: Kwaliteit bewaken Subfactor 1: leraar als zelfevaluator Ik gebruik feedback van collega’s/directie/pedagogische begeleiders om mijn handelen bij te sturen. Ik ga na of ik mijn vooropgestelde doelstellingen ook echt behaal. Subfactor 2: leraar als reflectieve practicus Door te reflecteren expliciteer ik mijn deels impliciete interpretatiekader. Ik sta stil bij, denk na over het onderwijs in het algemeen en mijn leerkracht-zijn in het bijzonder. Subfactor 3: leraar als taalleraar Ik stimuleer een correct taalgebruik bij de leerlingen. Ik heb een correct taalgebruik. Subfactor 4: leraar als correct taakuitvoerder Ik ben punctueel in mijn administratie. Ik waak erover dat mijn aanpak in overeenstemming is met de wettelijke bepalingen.
Factor 4: Innovatie Subfactor 1: Leraar als vernieuwer Ik ga creatief tewerk bij het ontwikkelen van leerstrategieën en materialen. Ik ben vindingrijk in het bedenken van andere benaderingen voor bestaande situaties. Subfactor 2: Betrekken van cultuur en maatschappij Ik sluit in mijn lessen aan bij actuele maatschappelijke thema’s. Ik integreer kunst en cultuur in de respectieve leergebieden van de lagere school. Subfactor 3: ICT-gebruiker Ik gebruik educatieve software waarbij leerlingen zelfstandig nieuwe leerinhouden kunnen verwerven en verwerken. Ik bewaak een veilig en doelmatig gebruik van ICT bij het leren.
Tweede versie van competentie-instrument Discussie: Met de methodologische aanpassingen vinden we een meerfactoriële structuur: de piste is bruikbaar We blijven met een grote eerste factor, wat wijst op een sterke samenhang tussen de factoren: Wat is hiervan de betekenis? Grote overlap, maar niet hetzelfde als betekenisstructuur: samen voorkomen van gedragsindicatoren vs betekenisoverlap De resultaten kunnen worden gebruikt om een verkort en bruikbaar instrument te maken
Algemene conclusies Decretale competenties zijn niet onafhankelijk van elkaar te definiëren: zoektocht naar conceptueel helder en werkbaar aantal onderliggende factoren. Het proces is zeer moeizaam geweest: het meten van competenties is niet evident Work in progess: resultaten laten toe om constructief verder te bouwen, maar zijn nog niet het eindstadium vermits ogenschijnlijk kleine veranderingen grote effecten met zich meebrengen, moeten verder aanpassingen steeds worden onderzocht
Niet alleen kennis is belangrijk, zoveel is zeker, maar Respondenten hebben de tendens alle gedragsindicatoren op eenzelfde manier te beantwoorden: dit vormt een bedreiging voor de validiteit Niet alleen kennis is belangrijk, zoveel is zeker, maar niet “alles” werkt: aanhoudend gebruik van “slechte” diagnostische instrumenten kan een verregaande nefaste impact hebben. In het licht van de huidige maatschappelijke evoluties speelt de kwaliteit van de competentiemeting een steeds grotere rol. de verdere ontwikkeling van een goed competentie-instrumentarium is essentieel.