Training ICALT-1 ‘Observeren met ICALT’ [namen trainers] Trainer checkt of alle aanwezigen de ICALT observatie training hebben gevolgd

Kennismaking Naam Vak Achtergrond Verwachtingen van de training OGV&O 30-9-2017 Kennismaking Naam Vak Achtergrond Verwachtingen van de training Ook vak noteren, meenemen voor hoe deelnemer later praat. Jonge deelnemers neigen ernaar zich niet in de inhoud te mengen van de les. Wees niet teveel gastheer van de discussie, wees onderdeel van het proces.

OGV&O 30-9-2017 Doel van de training Inzicht in achtergronden van het ICALT-observatie instrument Kunnen observeren met het ICALT-observatie instrument Consensus bereiken binnen de groep ICALT: International Comparative Analysis of Learning and Teaching Achtergronden: daarmee ook bewust van beperkingen, gebruikswaarde Observeren/consensus: gaan we doen

Opzet training OGV&O 30-9-2017 Achtergrond Project BSL Internationaal Onderzoek Onderzoeksresultaten Gebruik van het instrument & gegevens Oefenen Hoe observeer je ermee? Hoe beoordelen wij ermee? onderling hetzelfde? hetzelfde als de landelijke norm? Deel 1 is bedoeld als smaakmaker. Gaat om discussie over wat goed onderwijs is.

OGV&O 30-9-2017 Deel 1: Achtergrond

BSL: 3-jarige inductieprogramma OGV&O 30-9-2017 Landelijk Onderzoek Naar Inductie Effecten (LONIE) BSL: 3-jarige inductieprogramma “Landelijk onderzoek naar inductie Effecten” (LONIE) Rijksuniversiteit Groningen Verzameling van data Vragenlijsten Observaties van docenten in de klas

Project BSL regio Nijmegen OGV&O 30-9-2017 Project BSL regio Nijmegen Projectgroep met vertegenwoordigers RU/HAN/scholen Poule van schoolbegeleiders RU/HAN/scholen 2014 Ontwikkelperiode ‘14-’15 9 scholen ‘15-’16 25 scholen ’16-’17 32 scholen Voorjaar 2014: ontwikkelperiode (RU, HAN, scholen) -> handreiking voor de begeleiding van startende leraren Start in 2014-2015 met 9 scholen, 2015-2016 met 25 scholen Niet alleen aandacht voor taak in de klas, maar ook voor ‘professionele persoonlijke ontwikkeling’ van de starter Handreiking begeleiding startende leraren Taak in de klas (docentvaardigheden)? Professionele persoonlijke ontwikkeling?

Onderzoek Radboud Universiteit 3x digitaal logboek diepte-interview met kleine groep Jaar 3 Jaar 2 Jaar 1 Starters in het beroep inzicht in professionele ruimte, (professionele) identiteit en spanningen

Schoolbegeleiders Dubbele rol Adviseren van scholen: ontwikkelen 3-jarig inductieprogramma Trainen van observatoren in werken met instrument Aangeven dat schoolbegeleiders niet per se op de eigen school trainen

Internationaal onderzoek OGV&O 30-9-2017 Internationaal onderzoek Coleman (1966) Intelligentie & achtergronden bepalen verschillen in prestaties Leraar doet er nauwelijks toe Tegenreactie onderzoek Kleinschalig Grootschalig Experimenten Conclusie Leraar bepaalt 15-25% van verschillen in prestaties Leraar doet er dus wel toe! Fase nu: experimentele studies. Correlationeel of echt causaal? Richting van effect? Beiden?

Vorderingen monitoren Veilig en stimulerend leerklimaat OGV&O Minimum doelen Leertijd Vorderingen monitoren Veilig en stimulerend leerklimaat Efficiënte lesorganisatie Duidelijke gestructureerde instructie Intensieve en activerende les Aanleren van leerstrategieën Afstemmen op verschillen 30-9-2017 1e 4 heel belangrijk. Minimum doelen moeilijk observeerbaar. - Tijd: effectief gebruik van de tijd Leerstrategieeën: is er TIJDENS de les aandacht voor (dus niet aparte studielessen). Bv woordjes leren, hoe pak je lap tekst aan, hoe leren als de juf er niet is  stimuleren zelfregulatie. Dit zijn de zes aspecten waar ICALT zich op richt (observeerbaar) Fase nu: experimentele studies. Correlationeel of echt causaal? Richting van effect? Beiden?

Internationaal onderzoek OGV&O 30-9-2017 Internationaal onderzoek Bronnen die internationaal onderzoek vertalen naar de praktijk: Robert Marzano (2008). Wat werkt in de klas. Middelburg: Bazalt. John Hattie (2009). Visible learning. A synthesis of over 800 meta-analyses relating to achievement. London: Routledge. John Hattie (2012). Visible learning for teachers: maximizing impact on learning. London: Routledge. -Expertobservaties: door ervaren docenten die getraind zijn in observeren. -Goed om leerling en docent observaties te vergelijken. Leerling baseert mening op meerdere lessen, kijkt naar andere zaken. Maar beide observatiebronnen zijn nuttig.

Achtergrond ICALT Gericht op goed observeerbare domeinen: OGV&O 30-9-2017 Achtergrond ICALT Gericht op goed observeerbare domeinen: Afstemmen op verschillen Leerstrategieën aanleren Intensieve en activerende les Duidelijke en gestructureerde instructie Efficiënte lesorganisatie Veilig en stimulerend leerklimaat Niet iedereen zal het ermee eens zijn dat dit allemaal goed observeerbaar is. Bij observeren dus een les kiezen waar dit ook in kan zitten (dus bv niet: presentaties van leerlingen, toets). Handig als geobserveerde docent weet waarop gelet gaat worden. Richtlijn: een les waarin je ook instructie geeft. * Soms kritiek scholen: onze lessen zien er gemiddeld heel anders uit.

Enkele onderzoeksresultaten OGV&O 30-9-2017 Enkele onderzoeksresultaten Scores nemen af in deze volgorde. In Nederland scoren docenten op de 1e 3 schalen goed en op de laatste 3 is ruimte voor verbetering. Dit patroon lijkt ook in andere landen (Zuid afrika) In PO zijn docenten beter in afstemmen op verschillen dan in leerstrategieen. Komt misschien door noodzaak: in PO meer contact, moet in VO via strategieen?

Onderzoeksresultaten (2) OGV&O 30-9-2017 Onderzoeksresultaten (2) Vrouwen scoren over de gehele breedte beter, maar vooral (statistisch significant) voor organisatie en instructie.

Onderzoeksresultaten (3) OGV&O 30-9-2017 Onderzoeksresultaten (3) 1e graders doen het beter? Levert veel discussie op, mensen gaan ervan uit dat 2e graders beter zijn in klimaat etc. Plaatje is eigenlijk onzinnig want hier worden bovenbouw en onderbouw vergeleken. Vergelijking in onderbouw: 2e graders doen het beter net na afstuderen (reden: hebben meer ervaring achter de knopen?). Interessanter zou zijn: grafiek met groei over 3 jaar.

Onderzoeksresultaten (4) OGV&O 30-9-2017 Onderzoeksresultaten (4) Hier is het leuk om te speculeren over wat hier speelt. Organisatie/instructie dicht bij elkaar. Feit dat het zo parallel loopt geeft aan dat het eigenlijk 1 dimensie is, waarvan een deel makkelijker is en een deel moeilijker. Dip: hoe komt het? Vervreemding van jongere/oudere collega’s? Betere docenten verlaten het primaire proces? Toch iets in de motivationele hoek? Risico van dit plaatje: veel discussie en kost veel tijd.

Nadelen ICALT Het is ingewikkeld om docentgedrag in kaart te brengen OGV&O 30-9-2017 Nadelen ICALT Het is ingewikkeld om docentgedrag in kaart te brengen Het ICALT-observatie instrument is niet perfect Niet volledig Items zijn voor meerdere interpretaties vatbaar Altijd een momentopname … Belang van consensus binnen de groep! Op macro niveau verbanden

Meerwaarde Wat is de meerwaarde? OGV&O 30-9-2017 Meerwaarde Wat is de meerwaarde? Ontwikkeld op basis van wetenschappelijk onderzoek Geeft zicht op vaardigheden van docenten op verschillende momenten van hun beroepsloopbaan Kan gebruikt worden voor begeleiding in de klas Kan bijdragen aan de ontwikkeling van docenten Geeft een beeld van de opbouw van vaardigheden van starters

Gebruik van instrument en gegevens OGV&O 30-9-2017 Gebruik van instrument en gegevens Onderzoek Gemiddelde score groot aantal personen Kleinere rol toeval Uitkomst geen gevolg voor individu 1 meetmoment voldoende Beoordeling 1 persoon Grote rol toeval Uitkomst kan grote gevolgen hebben voor individu Meer observaties en observatoren nodig ICALT wordt in BSL niet ingezet voor beoordeling! Enkel voor begeleiding, tbv de ontwikkeling van de docent.

OGV&O 30-9-2017 Observatiegegevens Worden opgestuurd naar Groningen t.b.v. landelijk onderzoek Worden anoniem verwerkt Terugkoppeling aan starter t.b.v. coaching Nabespreking met coach op initiatief van de starter: wat is de zone van de naaste ontwikkeling? Web applicatie www.icalt.nl (zie ook handreiking)

OGV&O 30-9-2017 Deel 2: oefenen

Oefenen Oefenen met het gebruik van het instrument Onderling bespreken van de beoordelingen: consensus? Beoordelingen vergelijken met normeringsgegevens

Het ICALT observatie-instrument OGV&O 30-9-2017 Het ICALT observatie-instrument Veilig en stimulerend leerklimaat ...toont in gedrag en taalgebruik respect voor leerlingen 1 2 3 4 ...laat leerlingen uitspreken 0 1 ...luistert naar wat leerlingen te zeggen hebben ...maakt geen rolbevestigende opmerkingen ...zorgt voor een ontspannen sfeer ...spreekt de leerlingen op een positieve manier aan ...reageert met humor en stimuleert humor ...accepteert dat leerlingen fouten maken ...straalt warmte en empathie uit naar alle leerlingen in de klas ...ondersteunt het zelfvertrouwen van leerlingen ...koppelt op een positieve manier terug op vragen en opmerkingen van leerlingen ...geeft leerlingen complimenten over hun werk ...honoreert de bijdragen van leerlingen ...zorgt voor wederzijds respect ...stimuleert leerlingen naar elkaar te luisteren ...treedt op wanneer er om leerlingen wordt gelachen ...houdt rekening met (culturele) verschillen en eigenaardigheden Technisch: hoe vul je dit in. 0 = niet gezien, 1 = wel gezien. MAAR: op de 4 puntsschaal niet lager dan 1. Hele subgroep niet gezien = automatisch een 1. Altijd de subcategorie interpreteren binnen de hogere categorieen Normaal zie je 1 gedraging, hier is het uitgesplitst. Als iemand je irriteert, niet overall laten doorsijpelen (halo effect) maar specifiek maken.

Het ICALT observatie-instrument Schaal Gemiddelde van item scores OGV&O 30-9-2017 Het ICALT observatie-instrument Veilig en stimulerend leerklimaat ...toont in gedrag en taalgebruik respect voor leerlingen 1 2 3 4 ...laat leerlingen uitspreken 0 1 ...luistert naar wat leerlingen te zeggen hebben ...maakt geen rolbevestigende opmerkingen ...zorgt voor een ontspannen sfeer ...spreekt de leerlingen op een positieve manier aan ...reageert met humor en stimuleert humor ...accepteert dat leerlingen fouten maken ...straalt warmte en empathie uit naar alle leerlingen in de klas ...ondersteunt het zelfvertrouwen van leerlingen ...koppelt op een positieve manier terug op vragen en opmerkingen van leerlingen ...geeft leerlingen complimenten over hun werk ...honoreert de bijdragen van leerlingen ...zorgt voor wederzijds respect ...stimuleert leerlingen naar elkaar te luisteren ...treedt op wanneer er om leerlingen wordt gelachen ...houdt rekening met (culturele) verschillen en eigenaardigheden Item Altijd scoren! Indicatoren Hulpmiddel Technisch: hoe vul je dit in. 0 = niet gezien, 1 = wel gezien. MAAR: op de 4 puntsschaal niet lager dan 1. Hele subgroep niet gezien = automatisch een 1. Altijd de subcategorie interpreteren binnen de hogere categorieen Normaal zie je 1 gedraging, hier is het uitgesplitst. Als iemand je irriteert, niet overall laten doorsijpelen (halo effect) maar specifiek maken. Ieder item scoren! Schaalscore = gemiddelde score van de items van een domein Missing data maakt de schaalscores waardeloos Kies bij twijfel tussen 2 of 3 altijd voor 2

Het ICALT observatie-instrument OGV&O 30-9-2017 Het ICALT observatie-instrument Veilig en stimulerend leerklimaat ...toont in gedrag en taalgebruik respect voor leerlingen 1 2 3 4 ...laat leerlingen uitspreken 0 1 ...luistert naar wat leerlingen te zeggen hebben ...maakt geen rolbevestigende opmerkingen ...zorgt voor een ontspannen sfeer ...spreekt de leerlingen op een positieve manier aan ...reageert met humor en stimuleert humor ...accepteert dat leerlingen fouten maken ...straalt warmte en empathie uit naar alle leerlingen in de klas ...ondersteunt het zelfvertrouwen van leerlingen ...koppelt op een positieve manier terug op vragen en opmerkingen van leerlingen ...geeft leerlingen complimenten over hun werk ...honoreert de bijdragen van leerlingen ...zorgt voor wederzijds respect ...stimuleert leerlingen naar elkaar te luisteren ...treedt op wanneer er om leerlingen wordt gelachen ...houdt rekening met (culturele) verschillen en eigenaardigheden 0 = niet gezien 1 = gezien Hulpmiddel Technisch: hoe vul je dit in. 0 = niet gezien, 1 = wel gezien. MAAR: op de 4 puntsschaal niet lager dan 1. Hele subgroep niet gezien = automatisch een 1. Altijd de subcategorie interpreteren binnen de hogere categorieen Normaal zie je 1 gedraging, hier is het uitgesplitst. Als iemand je irriteert, niet overall laten doorsijpelen (halo effect) maar specifiek maken.

Het ICALT observatie-instrument OGV&O 30-9-2017 Het ICALT observatie-instrument Veilig en stimulerend leerklimaat ...toont in gedrag en taalgebruik respect voor leerlingen 1 2 3 4 ...laat leerlingen uitspreken 0 1 ...luistert naar wat leerlingen te zeggen hebben ...maakt geen rolbevestigende opmerkingen ...zorgt voor een ontspannen sfeer ...spreekt de leerlingen op een positieve manier aan ...reageert met humor en stimuleert humor ...accepteert dat leerlingen fouten maken ...straalt warmte en empathie uit naar alle leerlingen in de klas ...ondersteunt het zelfvertrouwen van leerlingen ...koppelt op een positieve manier terug op vragen en opmerkingen van leerlingen ...geeft leerlingen complimenten over hun werk ...honoreert de bijdragen van leerlingen ...zorgt voor wederzijds respect ...stimuleert leerlingen naar elkaar te luisteren ...treedt op wanneer er om leerlingen wordt gelachen ...houdt rekening met (culturele) verschillen en eigenaardigheden vertalen ≠ optellen Technisch: hoe vul je dit in. 0 = niet gezien, 1 = wel gezien. MAAR: op de 4 puntsschaal niet lager dan 1. Hele subgroep niet gezien = automatisch een 1. Altijd de subcategorie interpreteren binnen de hogere categorieen Normaal zie je 1 gedraging, hier is het uitgesplitst. Als iemand je irriteert, niet overall laten doorsijpelen (halo effect) maar specifiek maken.

Het ICALT observatie-instrument OGV&O 30-9-2017 Het ICALT observatie-instrument Veilig en stimulerend leerklimaat ...toont in gedrag en taalgebruik respect voor leerlingen 1 2 3 4 ...laat leerlingen uitspreken 0 1 ...luistert naar wat leerlingen te zeggen hebben ...maakt geen rolbevestigende opmerkingen ...zorgt voor een ontspannen sfeer ...spreekt de leerlingen op een positieve manier aan ...reageert met humor en stimuleert humor ...accepteert dat leerlingen fouten maken ...straalt warmte en empathie uit naar alle leerlingen in de klas ...ondersteunt het zelfvertrouwen van leerlingen ...koppelt op een positieve manier terug op vragen en opmerkingen van leerlingen ...geeft leerlingen complimenten over hun werk ...honoreert de bijdragen van leerlingen ...zorgt voor wederzijds respect ...stimuleert leerlingen naar elkaar te luisteren ...treedt op wanneer er om leerlingen wordt gelachen ...houdt rekening met (culturele) verschillen en eigenaardigheden 1 = overwegend zwak 2 = meer zwak dan sterk 3 = meer sterk dan zwak 4 = overwegend sterk Niks gezien (alles 0)  1 Bij twijfel tussen 2 of 3: kies 2 Technisch: hoe vul je dit in. 0 = niet gezien, 1 = wel gezien. MAAR: op de 4 puntsschaal niet lager dan 1. Hele subgroep niet gezien = automatisch een 1. Altijd de subcategorie interpreteren binnen de hogere categorieen Normaal zie je 1 gedraging, hier is het uitgesplitst. Als iemand je irriteert, niet overall laten doorsijpelen (halo effect) maar specifiek maken.

Het ICALT-observatie instrument OGV&O 30-9-2017 Het ICALT-observatie instrument Afstemmen van instructie en verwerking op verschillen tussen leerlingen ...gaat na of de lesdoelen werden bereikt 1 2 3 4 ...gaat na of de doelen van de les zijn bereikt 0 1 ...gaat na wat de prestaties van de leerlingen zijn ...biedt zwakke leerlingen extra leer- en instructietijd ...geeft zwakke leerlingen extra leertijd ...geeft zwakke leerlingen extra instructietijd ...geeft zwakke leerlingen extra oefeningen ...geeft zwakke leerlingen ‘voor’- of ‘na’-instructie ...stemt de instructie af op relevante verschillen tussen leerlingen ...zet leerlingen die minder instructie nodig hebben (alvast) aan het werk ...geeft aanvullende instructie aan groepjes of individuele leerlingen ...richt zich niet alleen op de middenmoot ** Domein klimaat: is wat apart, gaat over schendingen van de sfeer. Klimaat kan al gevestigd zijn. Als die sfeer er is en je ziet weinig actief gedrag daarop, dan kun je dat positief scoren. Wel scoren als je schendingen van respect ziet. ** Andere domeinen: wel letten op actief gedrag van de docent.

Aandachtspunten Items begrijpen en inprenten OGV&O 30-9-2017 Aandachtspunten Items begrijpen en inprenten Rekening houden met eigen expertises Kijk naar gedrag door de bril van de items en niet (alleen) door de eigen bril van wat goed onderwijs is Absoluut versus relatief Eigen mening ‘parkeren’  definitie instrument aanhouden Waken voor patronen in beoordelingen (irritatie, halo-effect) Betrouwbare beoordelingen (=consensus) met dit instrument bevorderen, zonder consensus in overtuigingen na te streven Rekening houden met eigen expertises = bijvoorbeeld vakdidactische achtergrond en ervaring in onder en/of bovenbouw. Ben je zelf van mening dat je overal kunt observeren? ‘item hoppen’ = uitkijken dat je bij de argumentatie van een item niet argumenten gebruikt die onder een ander item vallen

Wat neem je mee uit deze training? OGV&O 30-9-2017 Wat neem je mee uit deze training? Ten aanzien van Deelname van jouw school aan dit project? Observeren? Begeleiden?