Opbrengstgericht werken in datateams

Presentatie over: "Opbrengstgericht werken in datateams"— Transcript van de presentatie:

1 Opbrengstgericht werken in datateams
2013 Kim Schildkamp

2 Opbrengstgericht werken

3 Opbrengstgericht werken
Gebruik maken van data, zoals toetsen, om het onderwijs te verbeteren (zie Schildkamp & Kuiper, 2010): systematisch verzamelen analyseren & interpreteren van aanwezige data binnen de school en de informatie gebruiken om het onderwijs te verbeteren

4 Data Verschillende soorten data, zoals: zelfevaluatie resultaten
inspectierapporten toetsresultaten vragenlijsten instroom, doorstroom, uitstroom observaties in de klas interviews met leerlingen

5 Waarom? Controleren of doelen bereikt worden
Geen intuïtie en gevoel, maar verantwoorde beslissingen Kan leiden tot onderwijsverbetering (e.g. Carlson, Borman & Robinson, 2011; Schildkamp, Lai & Earl, 2012) Echter, (nog) te weinig gebruik

6 Project ‘Datateams’ Richt zich op OGW in VO-scholen
Onderzoeken van een eigen gekozen probleem, met behulp van data (‘evidence-based’) Begeleiding van 37 datateams Systematisch werken aan het verbeteren van het onderwijs aan de hand van een acht stappenplan met behulp van data Onderzoek naar het functioneren en de effecten van datateams

7 Wat is een datateam? Team van 6-8 personen
Docenten, schoolleiding en evt. kwaliteitszorgmedewerker Aan de slag met een eigen gekozen onderwerp/probleem Hypotheses/onderzoeksvragen (mogelijke oorzaken) onderzoeken met behulp van data (bijv. examenresultaten, vragenlijsten etc.) Oorzaken probleem achterhalen, maatregelen implementeren en evalueren Twee doelen: Professionalisering Schoolverbetering (gericht op gekozen probleem)

8 Rol schoolleider in datateam
Ander perspectief of probleem Andere kennis en vaardigheden Belangrijk voor implementatie maatregelen Status

9 Problemen oplossen zonder data
Probleem Maatregel

10

11 Stap 1: Probleem definiëren
Schoolbrede problemen: doorstroom, afstroom, rendement Vakspecifieke problemen: Engels, wiskunde, aardrijkskunde, vaak te laag CE of te groot verschil CE en SE

12 Stap 1: Voorbeelden probleemdefinities
Wij zijn ontevreden over de CE resultaten van de havo afdeling met betrekking tot het vak Engels. De afgelopen 5 jaar was dit structureel 0,5 punten onder het landelijk gemiddelde. We streven ernaar om weer minimaal op het landelijk gemiddelde uit te komen. We zijn ontevreden over het doorstroomrendement in de bovenbouw van de havo, want het doorstroompercentage is gedaald van 72% ( ) naar 41% ( ). We streven ernaar om dat percentage binnen drie jaar terug te brengen naar 70%.

13 Stap 2: Hypotheses opstellen
Meetbaar! Vaak eerst extern (buiten zichzelf): probleem komt door basisscholen, door beleid van de school etc. Dit is niet erg, want het is belangrijk voor professionele ontwikkeling: Vertrouwen creëren Oefenen met het stappenplan Je leert het meest van fouten! Toont het belang van data aan

14 Stap 2: voorbeelden hypotheses
Het doorstroompercentage van het profiel EM is structureel lager dan het doorstroompercentage van de totale havo. Er zijn significant meer jongens dan meisjes die afstromen van 5 vwo naar 5 havo De leerlingen die afstromen van 5vwo naar 5havo komen significant vaker uit de maatschappijprofielen. De afnemende trend bij de doorstroompercentages bovenbouw havo wordt veroorzaakt doordat het percentage doublanten in 4 havo structureel hoger is dan 20%. Leerlingen afkomstig uit locatie x en leerlingen die opstromen vanuit het vmbo, hebben een negatieve invloed op het CE-cijfer en het verschil SE-CE. In de afgelopen cohorten is de afstroom van 3V naar 4H toegenomen, omdat meer dan de helft van deze leerlingen tegen het advies van 2D naar 3VWO zijn gegaan en daarna alsnog zijn afgestroomd naar 4HAVO. De basisschool adviseert te hoog waardoor leerlingen afstromen in klas 2 of 3. Leerlingen die blijven zitten spijbelen significant vaker Als breuken en percentages niet regelmatig herhaald worden vergeten leerlingen bijna alles wat ze geleerd hebben Problemen met de doorlopende leerlijn zijn van invloed op het zittenblijven in 4 Havo Docenten geven meer feedback op het resultaat dan op het proces

15 Stap 3: Data verzamelen Heel veel data al beschikbaar binnen de school
Maak gebruik van bestaande instrumenten Naast kwantitatieve data (vragenlijsten, toetsen, doorstroom) kunnen kwalitatieve data ook heel waardevol zijn (observaties, interviews)

16 Stap 3: Voorbeelden data
Doorstroom gegevens (en geslacht, profiel, thuistaal) Toetsgegevens CE en SE CITO en advies basisscholen Vragenlijsten: motivatie, feedback, studievaardigheden, doorlopende leerlijn Observaties in de klas: feedback Interviews: studiehouding

17 Stap 4: Controleren kwaliteit verzamelde data
Belangrijk om foute beslissingen te voorkomen! Controleer of er geen fouten in de data zitten Helaas ook niet valide en niet betrouwbare data aanwezig Soms onvoldoende data beschikbaar

18 Stap 4: Voorbeelden kwaliteit
Toetsdata: te weinig sommen over breuken en percentages voor een oordeel Motivatievragenlijst: problemen met validiteit (e.g. Ik voel mij uitgedaagd op school) Problemen met verschillende soorten adviesdata Gelukkig ook wel veel “goede” data

19 Stap 5: Data analyse Lastig! Kwalitatieve data analyse
Kwantitatieve data analyse Ondersteuning: cursus data analyse

20 Stap 5: Voorbeelden data analyse
Schooljaar Doorstroomrendement bb havo 72% 73% 69% 41%

21 Stap 6: Interpretatie en conclusie
Wat vertellen de data over het probleem en oorzaken hiervan? Kloppen de hypotheses? Zo niet: terug naar stap 2 (komt vaak voor!) Zo ja, verder met stap 7 Zo ja, verder met stap 2 en met stap 7

22 Stap 6: Voorbeelden conclusies
Het doorstroompercentage van het profiel EM is structureel lager dan het doorstroompercentage van de totale havo. Als breuken en percentages niet regelmatig herhaald worden vergeten leerlingen bijna alles wat ze geleerd hebben Leerlingen die met 4 onvoldoendes over gaan van 3 naar 4 Havo blijven in 4 Havo alsnog zitten Leerlingen met lage prestaties wiskunde in de onderbouw komen van basisscholen A, B en C Er zijn significant meer jongens dan meisjes die afstromen van 5 vwo naar 5 havo Problemen met de doorlopende leerlijn zijn van invloed op het zittenblijven in 4 Havo De leerlingen die afstromen van 5vwo naar 5havo komen significant vaker uit de maatschappijprofielen. Leerlingen afkomstig uit locatie x en leerlingen die opstromen vanuit het vmbo, hebben een negatieve invloed op het CE-cijfer en het verschil SE-CE. De basisschool adviseert te hoog waardoor leerlingen afstromen in klas 2 of 3. Leerlingen die blijven zitten spijbelen significant vaker Docenten geven meer feedback op het resultaat dan op het proces

23 Stap 7: Maatregelen nemen op basis van data
Doel van de actie (meetbaar) en wanneer tevreden? Teamleider en teamleden? Welke concrete maatregelen en deadlines? Taakverdeling? Middelen? Hoe vooruitgang monitoren? Welke data zijn hiervoor nodig?

24 Stap 7: Voorbeelden maatregelen
Actieplan feedback in de klas Strenger beleid spijbelen Secties aan de slag met doorlopende leerlijn Breuken en percentages vaker herhalen in de klas Internet oefenprogramma’s Meer huiswerk controleren

25 Stap 8: Maatregelen evalueren
Procesevaluatie Worden de maatregelen zo uit gevoerd als bedacht? Worden de maatregelen door iedereen uitgevoerd? Effectevaluatie: Is het probleem opgelost: m.a.w. is het doel zoals geformuleerd in stap 1 behaald?

26 Stap 8: Voorbeelden evaluatie
Wiskunde: Proces: Docenten herhalen elke les via een quiz op het bord breuken en percentages. Uit de evaluatie met leerlingen blijkt dat dit te veel is en dit wordt terug gebracht naar eens per week Effect: Wiskundeprestaties zijn significant omhoog gegaan Doorstroom: Proces: Spijbelaars worden onmiddellijk aangesproken en ervaren de consequenties van hun gedrag Effect: Het aantal zittenblijvers is significant verminderd

27 Pilot onderzoek datateams
5 datateams Observaties van alle bijeenkomsten Interviews met alle deelnemers

28 Pilot: functioneren datateams (1)
Depth of inquiry (0=geen, 1=gemiddeld) Attributie (0= buiten de school, 1=school, 3= hoog) = leerlingen, 3= zelf)

29 Pilot: Functioneren datateams (2)
Doen, doen, doen…zo werken we, maar het is zonde als je het verkeerde doet…Daarom hebben we data nodig, om te onderzoeken of onze hypotheses kloppen Van ervaring en intuïtie naar data Verschillende rondes hypotheses: eerste hypotheses kloppen vaak niet! In het begin vooral externe oorzaken, maar oorzaken op klasniveau kloppen vaker Na een aantal rondes hypotheses meestal iemand die zegt “we hebben gekeken naar oorzaken buiten de school, oorzaken op schoolniveau en naar onze leerlingen, misschien moeten we meer kijken naar wat er in de klas gebeurt”. Bewustwording belang data Kennis geconstrueerd op basis van data Ik dacht echt dat het overgangsbeleid van de school de oorzaak was van te veel zittenblijvers. Misschien zit ik er met andere dingen ook wel naast. Data zijn belangrijker dan ik dacht.

30 Pilot: Bevorderende en belemmerende factoren
Schoolleider: rolmodel en faciliteren Tijd: inroosteren Samenwerking en communicatie binnen en buiten het datateam Vrijwillige deelname Gezamenlijk probleem en doel Kennis en vaardigheden: combinatie “data literacy” en PCK Structuur/stappenplan geeft houvast Externe ondersteuning noodzakelijk

31 Pilot: Eerste effecten
Professionele ontwikkeling: Opbrengstgericht werken Leren van elkaar Schoolverbetering: Betere wiskundeprestaties Minder zittenblijvers

32 Hoe verder? : 37 datateams (OCW, VO Raad, Stichting Carmelcollege en individuele scholen) Twee jaar begeleiding van de UT Werkboek en materialen Extra cursus data analyse Ontmoetingsdagen en conferenties

33 Hartelijk dank voor uw aandacht!
Hartelijk dank voor uw aandacht!