Data verzamelen = veranderen Workshop SWPBS conferentie 11 november 2017 Monique Nelen Windesheim Expertisecentrum PBS

Programma Voorstellen Data gestuurd werken Onderzoek naar resultaten SWPBS in Nederland: opzet en eerste bevindingen Werken met een MOS Werken met de TFI

Data gestuurd werken Data in de onderwijscontext: “information that is systematically collected and organized to represent some aspect of schools” (Lai & Schildkamp, 2013, p. 10). Zowel kwalitatieve als kwantitatieve data die leraren en schoolleiders nodig hebben voor het nemen van besluiten Leraren maken vaak onvoldoende of geen gebruik van data, maar gaan liever uit van hun intuïtie en beperkte observaties Leraren hebben scholing nodig om data gestuurd te werken Werken in professionele leergemeenschappen is een effectieve manier van werken Schildkamp, Poortman, Handelzalts (2016), Data teams for schoolimprovement.

Volgens Schildkamp & Ehren, 2013, p.56 Data team procedure Volgens Schildkamp & Ehren, 2013, p.56

Werkzame bestanddelen Schildkamp et al (2016) Data team procedure Data team bestaande uit data expert + 4-6 leraren + 1-2 schoolleiders Getraind en ondersteund door begeleider Depth of inquiry: Mate waarin het team de ‘diepte’ zoekt in het gesprek over de data (analyse, synthese, doel bepalen, reflectie) Diepgaand: discussie ondersteunt de ontwikkeling van nieuwe kennis gericht op handelen in de klas Vlak: discussie richt zich vooral op het delen van informatie, beschrijven en storytelling Formuleren van een hypothese wat de oorzaak is van het probleem: attributie. Leraar cruciaal: hij maakt het verschil! Ingaan op relatie tussen leraar, leerling en inhoud

Vergelijking data team procedure - SWPBS Data gestuurd werken als 1 van de 5 pijlers PBS team werkt data gestuurd Gebruik makend van concept Moeilijke Onderwijs Situatie: MOS MOS = iedere situatie waarin een leerling niet doet wat de leraar verwacht (Wichers-Bots & Das, 2015) SWPBS = schoolontwikkeling

7 stappen bij een MOS 1. Identificatie van MOS 5 W’s: wie, wat, waar, wanneer, waarom/waartoe? Waarden en gedragsver-wachtingen zijn bepaald 1. Identificatie van MOS 2. Analyse van MOS 3. Beslissing: Interventie wel of niet? 4. Analyse van reeds beschikbare interventies 5. Ontwerpen en uitvoeren interventie 6. Check of gedaan wordt wat is afgesproken 7. Evaluatie van MOS na interventie

Waarom Data gestuurd werken? 3 functies: Onderbouwd besluiten nemen over het gedrag van leerlingen en leraren Monitoren van het proces Meten van resultaten In onderzoek naar resultaten van SWPBS in NL: door afname TFI en SET Door het meten van output op deelnemende scholen in onderzoek MN

Mate + kwaliteit implementatie Wat zijn de resultaten van het invoeren van SWPBS op Nederlandse basisscholen afgezet tegen de mate en kwaliteit van implementatie gemeten met de TFINL en de SETNL? Veiligheid Gedragsproblemen SWPBS Effecten Extra ondersteuning Lezen/rekenen Mate + kwaliteit implementatie

4 studies Kenmerkende elementen van SWPBS in Nederland Validering van TFINL en SETNL A) Effecten meten op basisscholen op: ervaren gevoel van veiligheid van leerlingen, leerkrachten en ouders aantal en type gedragsincidenten op school percentage leerlingen extra ondersteuning resultaten voor lezen en rekenen B) Welke invloed heeft de mate en kwaliteit van implementatie op de gevonden effecten? Vergelijking VS-NL (kenmerkende elementen, TFI&SET, effecten, invloed implementatie op effecten)

Onderzoek mogelijk gemaakt door:

Cijfers 69 basisscholen worden gedurende 3 jaar gevolgd Daarnaast 60 andere scholen: eenmalig TFI en SET Nog 21 scholen nodig voor eenmalige afname TFI + SET 55 coaches effectscholen + 7 coaches validatiescholen + 26 PBS deskundigen = 88 afnemers van TFI & SET Gemiddelde TFI score: 58% Gemiddelde SET score: 67%

Data over resultaten Perceptie van veiligheid: OCW monitor Gedragsincidenten Citoscores Begrijpend lezen en rekenen/wiskunde Aantal leerlingen met ondersteuning Doel: data van scholen onderling kunnen vergelijken

Werkwijze gedragsincidenten (5 nov-5 dec 2015)

Methodologische knelpunten Hoe kan ik de data van scholen onderling vergelijken? Wat verstaat een school onder een incident? Wanneer registreer je een incident? Registreren alle leerkrachten op dezelfde manier? Hoe wordt er geregistreerd? Blijft een school gedurende 3 jaar op dezelfde wijze registreren of is er sprake van voortschrijdend inzicht? Hoe kan de school de eigen data vergelijken? Wat te doen met scholen die nog geen data over gedragsincidenten verzamelen? Dit jaar: 4 metingen

Data verzamelen= veranderen Over het algemeen zijn deelnemers erg positief TFI en SET geven gerichte informatie waar de school staat Informatie is sturend voor vervolg Het afnemen van de TFI/SET is een interventie!

Werken met een MOS Schrijf voor jezelf ook welke MOS bij jou op school voorkomen Maak een top 3: waar hebben de meeste leraren last van? Tip: maak het concreet en houd het klein en overzichtelijk Vorm groepjes van 3 en bespreek elkaars top 3 Kies 1 MOS Bespreek/bevraag hoe er mee wordt omgegaan: schrijf goede praktijken op Welke PBS interventies worden toegepast? Gebruik de datacyclus van de MOS

Gedragsinterventies op jullie school > 80% <15% < 5% Enkele leerlingen, langerdurende intensieve interventies Voor een groep leerlingen Kortdurend, snel werkend ? Voor alle leerlingen, Zo doen wij dat hier

Als het niet hoeft voor te komen, SWPBS interventies Als het niet hoeft voor te komen, dan voorkom het! en anders Aanleren!

7 stappen bij een MOS 1. Identificatie van MOS Waarden en gedragsver-wachtingen zijn bepaald 1. Identificatie van MOS 2. Analyse van MOS 3. Beslissing: Interventie wel of niet? 4. Analyse van reeds beschikbare interventies 5. Ontwerpen en uitvoeren interventie 6. Check of gedaan wordt wat is afgesproken 7. Evaluatie van MOS na interventie

SWPBS interventies voor een MOS Kan probleemgedrag voorkomen worden door de school qua ruimte en tijd anders te organiseren? Formuleer vanuit waarden duidelijke verwachtingen (mbv de matrix) Leer verwacht gedrag aan ( les, video..) Waardeer het verwachte gedrag systematisch (4:1) Minimaliseer aandacht voor ongewenst gedrag Formuleer duidelijke consequenties voor ongewenst gedrag

Data gestuurd implementeren Regelmatig meten waar je staat Geeft informatie over wat er al aanwezig is en wat er nog moet gebeuren Biedt concrete handvatten voor een plan van aanpak Geeft richting aan besluitvorming Verhoogt implementatie betrouwbaarheid (en daarmee ook de kans op succes)

Hoe? Meerdere instrumenten in de VS In het Nederlands zijn vertaald: Tiered Fidelty Inventory (TFI) Schoolbrede Evaluatie Toets (SET) Benchmark of Quality (BoQ) Self Assessment Survey (SAS) en Zelfbeoordelingsonderzoek (ZBO) Zie www.swpbsnetwerk.nl en www.swpbs.info

Hoe het goede instrument voor jouw school te kiezen? Zelf evaluatie of onafhankelijke beoordelaar? Tijdsinvestering? Hele team betrekken? Groen – Geel – Rood? Kies een instrument waarvan je redelijk zeker weet dat het de kenmerkende elementen van SWPBS meet (gevalideerd instrument)

SWPBIS Tiered Fidelity Inventory*: TFI Doel Meten of en in welke mate een school kenmerkende elementen van SWPBS implementeert. Implementatie leidraad voor scholen ten behoeve van het ontwikkelen, implementeren en evalueren van interventies op universeel, gericht en intensief niveau (tier 1, 2 en 3) Registratie in een kwaliteitsregister voor SWPBS scholen. * Algozine et al (2014)

Kenmerken TFI Groen, Geel en Rood: 3 tiers Iedere Tier kent verschillende subschalen en bijbehorende vragen Groen: PBS team + Implementatie + Evaluatie: totaal 15 vragen 0-1-2 score Mate van implementatie in % berekend op basis van score Bij een score van 70% op de TFI kunnen positieve resultaten in de school verwacht worden Afname TFI vereist training en vaardigheid Afname in het PBS team van de school Onder leiding van de eigen (externe) PBS coach

Plan van aanpak TFI Voor de school: Een handzaam document waarin aangegeven kan worden aan welke punten gewerkt gaat worden. Voor de coach: Een document waarmee de schoolontwikkeling aangestuurd kan worden Voor het onderzoek: Alle plannen tezamen geven inzicht in welke actiepunten relevant zijn voor Nederlandse scholen Hoe werkt het? Bij elke vraag waar een school geen 2 scoort kunnen actiepunten geformuleerd worden voor de komende periode

Werken met de TFI Bekijk de vragen van de TFI Bedenk hoe jouw school daarop zou scoren Bekijk het plan van aanpak bij de 3 vragen Scoor wat er nog moet gebeuren in jouw school

Gezocht! Scholen die eenmalig de TFI en SET afnemen Kan ook VO, (V)SO en SBO zijn Liefst voor 1 februari 2017 Nog scholen nodig! PBS deskundigen die de TFI en SET af willen nemen

Afsluiten Vragen? Dank voor jullie aandacht Mjm.nelen@windesheim.nl