Opbrengstgericht werken in datateams 2013 Kim Schildkamp (k.schildkamp@utwente.nl)

Opbrengstgericht werken

Opbrengstgericht werken Gebruik maken van data, zoals toetsen, om het onderwijs te verbeteren (zie Schildkamp & Kuiper, 2010): systematisch verzamelen analyseren & interpreteren van aanwezige data binnen de school en de informatie gebruiken om het onderwijs te verbeteren

Data Verschillende soorten data, zoals: zelfevaluatie resultaten inspectierapporten toetsresultaten vragenlijsten instroom, doorstroom, uitstroom observaties in de klas interviews met leerlingen

Waarom? Controleren of doelen bereikt worden Geen intuïtie en gevoel, maar verantwoorde beslissingen Kan leiden tot onderwijsverbetering (e.g. Carlson, Borman & Robinson, 2011; Schildkamp, Lai & Earl, 2012) Echter, (nog) te weinig gebruik

Project ‘Datateams’ Richt zich op OGW in VO-scholen Onderzoeken van een eigen gekozen probleem, met behulp van data (‘evidence-based’) Begeleiding van 37 datateams Systematisch werken aan het verbeteren van het onderwijs aan de hand van een acht stappenplan met behulp van data Onderzoek naar het functioneren en de effecten van datateams

Wat is een datateam? Team van 6-8 personen Docenten, schoolleiding en evt. kwaliteitszorgmedewerker Aan de slag met een eigen gekozen onderwerp/probleem Hypotheses/onderzoeksvragen (mogelijke oorzaken) onderzoeken met behulp van data (bijv. examenresultaten, vragenlijsten etc.) Oorzaken probleem achterhalen, maatregelen implementeren en evalueren Twee doelen: Professionalisering Schoolverbetering (gericht op gekozen probleem)

Rol schoolleider in datateam Ander perspectief of probleem Andere kennis en vaardigheden Belangrijk voor implementatie maatregelen Status

Problemen oplossen zonder data Probleem Maatregel

Stap 1: Probleem definiëren Schoolbrede problemen: doorstroom, afstroom, rendement Vakspecifieke problemen: Engels, wiskunde, aardrijkskunde, vaak te laag CE of te groot verschil CE en SE

Stap 1: Voorbeelden probleemdefinities Wij zijn ontevreden over de CE resultaten van de havo afdeling met betrekking tot het vak Engels. De afgelopen 5 jaar was dit structureel 0,5 punten onder het landelijk gemiddelde. We streven ernaar om weer minimaal op het landelijk gemiddelde uit te komen. We zijn ontevreden over het doorstroomrendement in de bovenbouw van de havo, want het doorstroompercentage is gedaald van 72% (2007-2008) naar 41% (2010-2011). We streven ernaar om dat percentage binnen drie jaar terug te brengen naar 70%.

Stap 2: Hypotheses opstellen Meetbaar! Vaak eerst extern (buiten zichzelf): probleem komt door basisscholen, door beleid van de school etc. Dit is niet erg, want het is belangrijk voor professionele ontwikkeling: Vertrouwen creëren Oefenen met het stappenplan Je leert het meest van fouten! Toont het belang van data aan

Stap 2: voorbeelden hypotheses Het doorstroompercentage van het profiel EM is structureel lager dan het doorstroompercentage van de totale havo. Er zijn significant meer jongens dan meisjes die afstromen van 5 vwo naar 5 havo De leerlingen die afstromen van 5vwo naar 5havo komen significant vaker uit de maatschappijprofielen. De afnemende trend bij de doorstroompercentages bovenbouw havo wordt veroorzaakt doordat het percentage doublanten in 4 havo structureel hoger is dan 20%. Leerlingen afkomstig uit locatie x en leerlingen die opstromen vanuit het vmbo, hebben een negatieve invloed op het CE-cijfer en het verschil SE-CE. In de afgelopen cohorten is de afstroom van 3V naar 4H toegenomen, omdat meer dan de helft van deze leerlingen tegen het advies van 2D naar 3VWO zijn gegaan en daarna alsnog zijn afgestroomd naar 4HAVO. De basisschool adviseert te hoog waardoor leerlingen afstromen in klas 2 of 3. Leerlingen die blijven zitten spijbelen significant vaker Als breuken en percentages niet regelmatig herhaald worden vergeten leerlingen bijna alles wat ze geleerd hebben Problemen met de doorlopende leerlijn zijn van invloed op het zittenblijven in 4 Havo Docenten geven meer feedback op het resultaat dan op het proces

Stap 3: Data verzamelen Heel veel data al beschikbaar binnen de school Maak gebruik van bestaande instrumenten Naast kwantitatieve data (vragenlijsten, toetsen, doorstroom) kunnen kwalitatieve data ook heel waardevol zijn (observaties, interviews)

Stap 3: Voorbeelden data Doorstroom gegevens (en geslacht, profiel, thuistaal) Toetsgegevens CE en SE CITO en advies basisscholen Vragenlijsten: motivatie, feedback, studievaardigheden, doorlopende leerlijn Observaties in de klas: feedback Interviews: studiehouding

Stap 4: Controleren kwaliteit verzamelde data Belangrijk om foute beslissingen te voorkomen! Controleer of er geen fouten in de data zitten Helaas ook niet valide en niet betrouwbare data aanwezig Soms onvoldoende data beschikbaar

Stap 4: Voorbeelden kwaliteit Toetsdata: te weinig sommen over breuken en percentages voor een oordeel Motivatievragenlijst: problemen met validiteit (e.g. Ik voel mij uitgedaagd op school) Problemen met verschillende soorten adviesdata Gelukkig ook wel veel “goede” data

Stap 5: Data analyse Lastig! Kwalitatieve data analyse Kwantitatieve data analyse Ondersteuning: cursus data analyse

Stap 5: Voorbeelden data analyse Schooljaar Doorstroomrendement bb havo 2007-2008 72% 2008-2009 73% 2009-2010 69% 2010-2011 41%

Stap 6: Interpretatie en conclusie Wat vertellen de data over het probleem en oorzaken hiervan? Kloppen de hypotheses? Zo niet: terug naar stap 2 (komt vaak voor!) Zo ja, verder met stap 7 Zo ja, verder met stap 2 en met stap 7

Stap 6: Voorbeelden conclusies Het doorstroompercentage van het profiel EM is structureel lager dan het doorstroompercentage van de totale havo. Als breuken en percentages niet regelmatig herhaald worden vergeten leerlingen bijna alles wat ze geleerd hebben Leerlingen die met 4 onvoldoendes over gaan van 3 naar 4 Havo blijven in 4 Havo alsnog zitten Leerlingen met lage prestaties wiskunde in de onderbouw komen van basisscholen A, B en C Er zijn significant meer jongens dan meisjes die afstromen van 5 vwo naar 5 havo Problemen met de doorlopende leerlijn zijn van invloed op het zittenblijven in 4 Havo De leerlingen die afstromen van 5vwo naar 5havo komen significant vaker uit de maatschappijprofielen. Leerlingen afkomstig uit locatie x en leerlingen die opstromen vanuit het vmbo, hebben een negatieve invloed op het CE-cijfer en het verschil SE-CE. De basisschool adviseert te hoog waardoor leerlingen afstromen in klas 2 of 3. Leerlingen die blijven zitten spijbelen significant vaker Docenten geven meer feedback op het resultaat dan op het proces

Stap 7: Maatregelen nemen op basis van data Doel van de actie (meetbaar) en wanneer tevreden? Teamleider en teamleden? Welke concrete maatregelen en deadlines? Taakverdeling? Middelen? Hoe vooruitgang monitoren? Welke data zijn hiervoor nodig?

Stap 7: Voorbeelden maatregelen Actieplan feedback in de klas Strenger beleid spijbelen Secties aan de slag met doorlopende leerlijn Breuken en percentages vaker herhalen in de klas Internet oefenprogramma’s Meer huiswerk controleren

Stap 8: Maatregelen evalueren Procesevaluatie Worden de maatregelen zo uit gevoerd als bedacht? Worden de maatregelen door iedereen uitgevoerd? Effectevaluatie: Is het probleem opgelost: m.a.w. is het doel zoals geformuleerd in stap 1 behaald?

Stap 8: Voorbeelden evaluatie Wiskunde: Proces: Docenten herhalen elke les via een quiz op het bord breuken en percentages. Uit de evaluatie met leerlingen blijkt dat dit te veel is en dit wordt terug gebracht naar eens per week Effect: Wiskundeprestaties zijn significant omhoog gegaan Doorstroom: Proces: Spijbelaars worden onmiddellijk aangesproken en ervaren de consequenties van hun gedrag Effect: Het aantal zittenblijvers is significant verminderd

Pilot onderzoek datateams 2009-2011 5 datateams Observaties van alle bijeenkomsten Interviews met alle deelnemers

Pilot: functioneren datateams (1) Depth of inquiry (0=geen, 1=gemiddeld) Attributie (0= buiten de school, 1=school, 3= hoog) 2= leerlingen, 3= zelf)

Pilot: Functioneren datateams (2) Doen, doen, doen…zo werken we, maar het is zonde als je het verkeerde doet…Daarom hebben we data nodig, om te onderzoeken of onze hypotheses kloppen Van ervaring en intuïtie naar data Verschillende rondes hypotheses: eerste hypotheses kloppen vaak niet! In het begin vooral externe oorzaken, maar oorzaken op klasniveau kloppen vaker Na een aantal rondes hypotheses meestal iemand die zegt “we hebben gekeken naar oorzaken buiten de school, oorzaken op schoolniveau en naar onze leerlingen, misschien moeten we meer kijken naar wat er in de klas gebeurt”. Bewustwording belang data Kennis geconstrueerd op basis van data Ik dacht echt dat het overgangsbeleid van de school de oorzaak was van te veel zittenblijvers. Misschien zit ik er met andere dingen ook wel naast. Data zijn belangrijker dan ik dacht.

Pilot: Bevorderende en belemmerende factoren Schoolleider: rolmodel en faciliteren Tijd: inroosteren Samenwerking en communicatie binnen en buiten het datateam Vrijwillige deelname Gezamenlijk probleem en doel Kennis en vaardigheden: combinatie “data literacy” en PCK Structuur/stappenplan geeft houvast Externe ondersteuning noodzakelijk

Pilot: Eerste effecten Professionele ontwikkeling: Opbrengstgericht werken Leren van elkaar Schoolverbetering: Betere wiskundeprestaties Minder zittenblijvers

Hoe verder? 2012-2016: 37 datateams (OCW, VO Raad, Stichting Carmelcollege en individuele scholen) Twee jaar begeleiding van de UT Werkboek en materialen Extra cursus data analyse Ontmoetingsdagen en conferenties

Hartelijk dank voor uw aandacht! www.datateams.nl Hartelijk dank voor uw aandacht!