Evidence Based Werken in Theorie en Praktijk Wim Groot TIER – Universiteit Maastricht DAIR Seminar 5 november 2014

TIER Top Institute for Evidence Based Education Research: www.tierweb.nl Opgericht in 2008. Netwerk van Universiteit Maastricht, Universiteit van Amsterdam en Universiteit van Groningen Omzet: €4-5 miljoen, 30-40 fte

Missie Ontwikkelen van ‘Evidence based onderwijs’, d.w.z.onderwijsbeleid en –praktijk gebaseerd op gepast, expliciet en zorgvuldig gebruik van best beschikbare wetenschappelijke bewijs Gericht op onderwijspraktijk en onderwijsbeleid

Wat is evidence based onderwijs? Evidence based onderwijs’ is de filosofie dat onderwijsbeleid en -praktijk gebaseerd dienen te zijn op een oordeelkundig, expliciet en nauwgezet gebruik van de huidige best evidence. ‘Evidence based onderwijs’ verwijst enerzijds naar de verzameling van interventies die positief geëvalueerd zijn, anderzijds verwijst het naar een houding of attitude (werken op basis van evidence based onderwijs).

Evidence based filosofie Een evidence based attitude impliceert dat de docent, schoolleider of de beleidsmaker zich bij elke beslissing bewust is: Of er bewijsmateriaal (evidence) is om deze beslissing te ondersteunen; Hoe betrouwbaar en toepasbaar dit bewijsmateriaal is.

Hoe krijgt evidence based onderwijs vorm binnen TIER Evaluatie-onderzoek op basis van gerandomiseerde experimenten of quasi-experimenten Meta-analyses en review studies Master Evidence Based Innovation in Teaching (Mebit) voor PO, VO en HBO docenten en beleidsmakers Center for Evidence Based Life-long Learning (CELL) De portal ‘wat werkt in het onderwijs’: www.bestevidence.nl

Samenwerking met scholen Gericht op het vinden van antwoorden op drie vragen: Wat is de kwaliteit van het onderwijs dat door scholen wordt aangeboden en hoe verhoudt zich dit tot de kwaliteit van het onderwijs dat door vergelijkbare instellingen wordt aangeboden? (Benchmark) Wat kan worden gedaan om de kwaliteit van het onderwijs verder te verbeteren? Hoe kan door scholing de kennis en vaardigheden van docenten worden vergroot om de – voor kwaliteitsverbetering - noodzakelijke veranderingen te realiseren en te evalueren? In de samenwerking wordt door het ontwikkelen van ‘evidence based onderwijs’ binnen scholen antwoorden gevonden op deze vragen waarmee de kwaliteit van het onderwijs kan worden verbeterd

Evidence based onderwijs: Onderzoek en onderwijs versterken elkaar Mebit: onderzoek naar wat werkt in onderwijs, onderwijs in onderzoeksvaardigheden Ontwikkelen van langdurige samenwerkingsverbanden: netwerk van scholen, docenten (deelnemers Mebit, alumni) en onderzoekers Onderzoek moet van hoge kwaliteit zijn en relevant voor beleid of praktijk

Ervaringen met evidence based werken Samenwerking met onderwijspraktijk: heel positief Voorbeeld: gezamenlijke onderzoeksaanvragen (NWO-NRO) Meesterwerken Samenwerking met beleid: minder Voorbeeld: Experimenten prestatiebeloning voor leraren

Prestatiebeloning in het onderwijs Initiatief staatssecretaris Halbe Zijlstra (kabinet Rutte I) Subsidie Experimenteerregeling Prestatiebeloning in het Onderwijs Veel weerstand tegen prestatiebeloning in het onderwijs Walter Dresscher van de Algemene Onderwijsbond: "Er is de afgelopen jaren in het buitenland heel veel mee geëxperimenteerd. Die experimenten hebben bijna nergens tot verbetering van het onderwijs geleid. Als het kabinet dan toch denkt dat ze dat hier wel kunnen, dan lijkt me dat je moet spreken van een politieke hobby.“ In het verleden werd in onderwijs ook prestatiebeloning betaald, prestatiebeloning is in huidige CAO ook mogelijk

Wat weten we over de effecten van teambeloning in het onderwijs? Nyasha Tirivayi, Henriette Maassen van den Brink & Wim Groot (2014) ‘Group Incentives for Teachers and their Effect on Student Learning: A Systematic Review of Theory and Evidence’, School Effectiveness and School Improvement: An International Journal of Research, Policy and Practice 6 studies waarvan 5 met (quasi-)experimenteel design 4 veldexperimenten 1 quasi-experimenteel design 1 niet-experimenteel design 2 experimentele studies vonden significant en positief effect van teambeloning op leerprestaties, twee andere experimentele studies vonden geen effect Quasi-experimentele studie vond kleine positieve effecten Niet-experimentele studie vond positieve effecten

Experiment teambeloning Martinus College, Grootebroek Wat is het effect van de introductie van teambeloning op de onderwijsopbrengsten in de onderbouw en de bovenbouw van het vmbo, mavo, havo en vwo? Hoe kijken docenten aan tegen teambeloning in hun school? Wat zijn de neveneffecten van de introductie van teambeloning op andere onderwijsuitkomsten (bijvoorbeeld welbevinden van leerlingen, aandacht voor vakken die niet in de schooltoets of het CSE zijn opgenomen, etc.) en de baantevredenheid van de docenten? Verschillen de (neven)effecten naar achtergrondkenmerken van de school, de teams en de leerlingen (regio, leeftijd, etniciteit, sekse, sector, Cito score, basisschooladvies, etc.)? Welke activiteiten ondernemen docenten om onderwijsopbrengsten te verhogen en hoe verschillende deze tussen teams die wel en teams die geen teambeloning ontvangen?

Opzet van het experiment Prestatie-indicatoren Moet meetbaar zijn, beïnvloedbaar zijn door de docententeams, maar niet manipuleerbaar. Aansluiting van de Onderwijsinspectiegegevens (de ‘bolletjes’ in de opbrengstkaarten). Voordelen: Het verbindt experiment gericht op verbetering van de onderwijskwaliteit aan de algemeen gebruikte en aanvaarde onderwijsbeoordeling van kwaliteit door de Onderwijsinspectie; Bij gebleken succes zouden financiële incentives in de vorm van teambeloning hierdoor makkelijk gekoppeld kunnen worden aan de kwaliteitsbeoordeling door de Onderwijsinspectie; Geen dataverzameling bij controlescholen noodzakelijk; geringe extra administratieve belasting voor school. Ieder team van Martinus werd vergeleken met 11 andere teams die de afgelopen 3 jaar een rendementscore hadden die gemiddeld zo dicht mogelijk bij Martinus lag. Als een team bij de beste 3 van deze groep behoort, dan hebben de docenten recht op bonus van €800

Resultaten Tabel 2: Resultaten teams Martinus College. Notitie: p-waarde van eenzijdige toets tussen rechte haken. De teams die prestatiebeloning krijgen zijn grijs gearceerd. 1 De gemiddelde score betreft het gewogen gemiddelde naar rato van het aantal FTE.

Conclusie pilot teambeloning Bescheiden effect, maar niet statistisch significant Oorzaak? Gebrek aan informatie en vooral draagvlak

Voorbeeld Meesterwerken Bundel onderzoeksverslagen deelnemers Master Evidence Based Innovation in Teaching Deel 5 is net verschenen

Dank voor uw aandacht www.tierweb.nl