Marjan Vermeulen en Marcel van der Klink Miriam Goes, Marjan Vermeulen en Marcel van der Klink Evidence based collectief innoveren Het gebruik van datafeedback voor de professionalisering van leraren

Inleiding De invoering van CGO is een grootschalige innovatie binnen het mbo in Nederland en om de mate van invoering van CGO binnen hun organisatie inzichtelijk te kunnen maken hebben besturen van ROC’s, in het kader van de Check-fase uit de PDCA cyclus (Deming, 1986), behoefte aan een meetinstrument. De CGO monitor (Goes-Daniels, Vermeulen & Van der Klink, 2010) is ontwikkeld om aan deze behoefte tegemoet te komen.

Probleemstelling In eerste instantie is de CGO monitor ontworpen om aan te geven in welke mate CGO is ingevoerd. Het doel was om met de uitkomsten van de monitor vanuit het management gericht op die invoering te kunnen sturen. Echter herhaalde metingen met behulp van deze monitor lieten zien dat de voortgang in de ontwikkeling richting CGO gering was (Goes-Daniels, e.a., 2010). Een van de oorzaken bleek de relatieve onbekendheid van de lerarenteams met de uitkomsten van de monitor.

Onderzoeksvraag en onderzoeksopzet Welke interventies helpen leraren hun onderwijs meer competentiegericht te maken aan de hand van data uit de CGO monitor? Onderzoeksopzet Om de onderzoeksvraag te kunnen beantwoorden is gebruik gemaakt van design based onderzoek in de vorm van casestudies die worden toegepast in een “real life” context (Yin, 1994). Onderzocht wordt hoe leraren collectief een leerproces doorlopen.

Theoretisch kader Uit de literatuur is gebleken dat een aantal belangrijke factoren opportuun zijn als het om innoveren en implementeren door leraren gaat. De leraar moet informatie hebben over de huidige situatie en de gewenste situatie (feedback) (Hattie & Timperley, 2007, e.a.) De innovatie moet in gezamenlijk eigenaarschap door het team worden vormgegeven (Waslander, 2007, e.a.) Professionalisering ten behoeve van competentiegericht onderwijs vraagt om collectieve leerprocessen van het team (Verbiest, 2002, 2004) Omdat design based onderzoek (van den Akker, e.a. 2006) gericht is op interventies en theorie en praktijkvragen verbindt in één ontwerp is dit type onderzoek gebruikt om het onderzoek uit te voeren.

Methode Leraren kunnen om hun onderwijs verder vorm te geven, een collectieve leercyclus doorlopen (Dixon, 2000; Castelijns e.a., 2009). Met behulp van feedback uit de monitor verzamelen leraren informatie en interpreteren en analyseren deze. Daarna trekken zij hieruit consequenties voor het handelen in de onderwijssituatie, (data-driven decision making) (Mandinach, Honey en Light, 2006). De invoering van CGO is te beschouwen als een vierde generatie innovatie met elkaar opvolgende fasen waarbij de output uit eerdere fasen input is voor de volgende (Miller & Morris, 1999). De casussen zijn op deze manier opgezet en getracht wordt op grond van al dan niet expliciet geformuleerde ambities (zoals de invoering van CGO) betrokkenheid en eigenaarschap van leraren te genereren.

Methodiek voor collectief leren (Castelijns e.a., 2009) Volgens de methodiek ‘Kantelende Kennis’ (Castelijns, Koster en Vermeulen, 2009) verloopt het proces van succesvol veranderen via collectief informatie verzamelen, betekenis verlenen en uiteindelijk collectief leren in verschillende fasen.

Casus De casus betreft een praktijkonderzoek naar de mate en vormgeving van de invoering van competentiegericht onderwijs bij twee afdelingen van een ROC in Noord Brabant. In opdracht van het management van dit ROC is onderzoek gedaan naar het handelen van leraren inzake CGO. Met inzet van de CGO monitor en interviews is getracht een beeld te krijgen of leraren door middel van datafeedback en betekenisverlening, aan deze data, geholpen kunnen worden in hun handelen inzake CGO en daarmee samenhangend hun professionalisering.

Onderzoeksvraag casus Welke van de ontworpen interventies voldoen zodanig dat leraren hun onderwijs meer competentiegericht kunnen maken aan de hand van data uit de CGO monitor?

Methode casus Om de onderzoeksvraag te kunnen beantwoorden is gebruik gemaakt van de CGO monitor die gecombineerd met teaminterviews met gestructureerde open vragen, discussiestof moest opleveren in een plenaire teambijeenkomst. Onderzoeksgroep en respons Alle onderwijsgevenden van genoemde unit behoren tot de onderzoeksgroep. In totaal 50 leraren en instructeurs. De unit is onderverdeeld in twee afdelingen. 44 van de 50 respondenten hebben gereageerd op de monitor (88%). In totaal zijn 35 leraren geïnterviewd.

Methode casus (vervolg) Interventies Een vraagverhelderingsgesprek tussen onderzoekers en management Een plenaire bijeenkomst met presentatie uitkomsten monitor en interviews en aansluitend discussie De rapportage met conclusies en aanbevelingen Instrumenten Ontwikkeling interviews en inzet cgo monitor Powerpoint presentatie met uitkomsten monitor en interviews Observaties tijdens plenaire bijeenkomst Vastlegging opmerkingen tijdens discussie Emailwisseling met management over opdracht en rapportage

Procedure Start casus april/mei 2010 met vraagverhelderingsgesprek tussen onderzoekers en management om na te gaan wat het doel van het onderzoek is. Het onderzoek had een beperkte omvang en moest in een kort tijdbestek plaatsvinden. Afgesproken werd de cgo monitor in te zetten gecombineerd met teaminterviews (juni/juli 2010) en de uitkomsten daarvan te presenteren (data feedback) op een plenaire bijeenkomst (juli 2010). Tijdens deze plenaire bijeenkomst vond een plenaire discussie plaats waarbij de leraren de informatie interpreteerden en er betekenis aan verleenden. Na afloop is een rapportage gemaakt met conclusies en aanbevelingen en dit rapport is aan alle leraren van de unit ter hand gesteld.

Analyse casus Vraagverheldering om eigenaarschap ambities vast te stellen. De ambitie van de invoering van CGO en van de opdracht tot het doen van onderzoek. Het management heeft beiden geformuleerd. Het doorlopen van de collectieve leercyclus tijdens de plenaire bijeenkomst om de variabelen data feedback, eigenaarschap en collectief leren te onderzoeken. Indicatoren zijn: interpretaties en gedeelde betekenisgeving aan de uitkomsten van monitor en interviews en in gezamenlijke discussie knelpunten benoemen en oplossingen bedenken. In observaties nagaan of het team consequenties verbindt aan de betekenisverlening en overgaat tot plannen maken en acties uitvoeren.

Conclusies casus Datafeedback: “informatie geven” (stap 1) heeft geleid tot het behalen van het doel (datafeedback) en ”informatie interpreteren” (stap 2) laat verschillen zien tussen de teams onderling, Er is nog weinig sprake van gedeelde visies. Eigenaarschap: de ambities zijn afkomstig van het management de leraren voelen zich dus geen eigenaar van beide ambities. Ook op de dataverzameling van stap 1 hadden zij geen invloed. Bij stap 2 (informatie interpreteren) trad wel een vorm van eigenaarschap op maar deze was meestal gericht op de eigen opleiding en de eigen praktijk. Bij de interventie “consequenties verbinden” (stap 3) gaat het om de interpretaties van de informatie om te zetten in actieplannen. Eigenaarschap treedt hier op doordat men gezamenlijk aandachtspunten heeft benoemd en gezamenlijk naar oplossingen heeft gezocht. Collectief leren: Doordat het team niet alle zes de stappen van de cirkel van Castelijns, e.a. (2009) heeft doorlopen kan er geen sprake zijn van collectief leren. Hier en daar is wel al sprake van collectieve leerprocessen doordat men gezamenlijk betekenis verleent en tot knelpunten en oplossingen komt . Men maakt hiervoor nog geen plannen en gaat niet over tot het maken van werkafspraken.

Leerpunten voor volgende casus In de volgende casus moet er een andere volgorde van de interventies aangehouden worden: eerst rapportage van de data, via de powerpoint presentatie in een face-to-face situatie. Daarbij moeten de schalen en de stellingen uit de CGO monitor goed worden uitgelegd, en moet gecheckt worden of er gedeeld begrip is. Daarna toepassen van de methodiek. Het proces moet meer gestructureerd verlopen en uit kleinere stappen bestaan. Daarbij moet het belang van eigenaarschap van het team, bij het management, benadrukt worden. Mosterd na de maaltijd Begrip stellingen Etc.