Meekijken in alle werkboeken Ik ben Linda de Leeuw van Malmberg. Malmberg is een educatieve uitgeverij en iedereen die op een Nederlandse basisschool, middelbare school of MBO school heeft gezeten heeft vast wel eens een boek van Malmberg in handen gehad. Sinds kort begeeft Malmberg zich ook buiten de scholen en zijn er ook werknemers in de Rotterdamse haven aan het werk met Malmberg producten. En misschien ook wel eens ingelogd op een van onze digitale systemen. Waar we namelijk van origine een foliouitgever waren, hebben we op dit moment ook bijna alle methodes in een digitale versie beschikbaar. De digitalisering van de onderwijsmarkt is overal merkbaar. Bij Malmberg, maar ook op de scholen wordt er steeds meer gekeken naar online leeroplossingen. De digitalisering brengt veel veranderingen met zich mee. Maar het biedt ook veel kansen. Vandaag wil ik jullie graag meenemen in een van de kansen die de digitalisering voor Malmberg biedt en laten zien hoe Malmberg de data uit de digitale systemen inzet om interne processen en onze producten te verbeteren. het verbeteren van content op basis van analytics Inct.spiratie 2016 | Linda de Leeuw

Een van de belangrijkste kansen van digitalisering ligt in kern van het bedrijf. Malmberg is als sinds 1885 specialist op het gebied van leermiddelen. Met jarenlange ervaring met het maken van digitale content is Malmberg een van de drie grootste educatieve uitgeverijen in Nederland. Digitale content is anders dan ‘gewone content’. Het bestaat primair uit broninformatie, die kan worden weergegeven in tekst of beeld. En daarbij horen vaak opdrachten. Om ervoor te zorgen dat het materiaal goed gebruikt wordt is een methode niet compleet met materiaal voor de docent. Je kunt hierbij denken aan uitleg over de didactiek, leerlijnen, toetsmateriaal, enzovoorts. Where it all starts…

Educatieve content…en dan? Directere feedback Wat educatief uitgeven zo speciaal maakt is dat de interactie met de content van essentieel belang is voor het leerproces. Alleen door iets met de content te doen zul je ervan leren. En hoe beter de interactie, hoe meer je ervan leert. Om te bepalen wat de beste interactievormen zijn baseert Malmberg zijn content op wetenschappelijke inzichten, praktijkervaring van docenten, expertise van diverse auteurs, etc. In het verleden is het altijd lastig geweest om vast te stellen of de content die gemaakt werd ook daadwerkelijk leerrendement opleverde. De feedback op de producten was eigenlijk erg indirect; we kregen feedback van docenten en experts, maar niet van de leerlingen die dagelijks met onze methodes werkten. Daarom werden er pilotonderzoeken gedaan of werkboeken van leerlingen opgevraagd en die werden dan geanalyseerd. Deze vorm van feedback is echter erg traag, arbeidsintensief en weinig betrouwbaar.

Digitaal uitgeven biedt nieuwe kansen ! Privacy Digitaal uitgeven biedt nieuwe kansen Met de komst van onze digitale platform hebben we wel kans om de interactie van de leerlingen met ons digitale leermiddel te analyseren. En niet van een kleine groep gebruiker, maar van alle gebruikers. Dit doen wij op pseudonieme basis. Dat wil zeggen dat we de antwoorden van alle leerlingen op alle vragen bewaren en analyseren, maar dat we geen idee hebben van welke leerling dat antwoord was. We bekijken daarbij niet alleen welk antwoord ze hebben gegeven, maar ook of het antwoord goed was en hoe lang ze erover gedaan hebben om het antwoord te geven. Deze gegevens gebruiken we voor onze analyses. Maar wat kan je vervolgens met al die data? Die data kunnen we gebruiken om psychometrische analyses te doen. ------------------ Let wel op. Wij zijn een uitgeverij die vooral te maken heeft met gebruikers die minderjarig zijn. Dat betekent dat we data verzamelen zonder daarbij de privacy van de leerlingen te schenden en de data dus nooit kunnen herleiden op een individu. En we mogen ook geen aanbiedingen doen op basis van analyses.

Psychometrie Leerling A GOED FOUT Leerling B Leerling C Psychometrische analyses worden normaal gesproken toegepast in de toets theorie. Malmberg past dit echter ook toe op de vragen die leerlingen in het systeem maken. Je ziet hier drie leerlingen die zes vragen hebben gemaakt. Mark is een goede leerling en heeft bijna alle vragen goed beantwoord. Klaas is een gemiddelde leerling en heeft de helft van de vragen goed en de andere helft fout. Piet is een slechte leerling en heeft slechts 1 vraag goed beantwoord. Wat leren we hier nog meer uit? We weten dat de eerste vraag een hele gemakkelijke vraag was. Ook weten we dat vraag 2 en 3 gemakkelijk was voor de meeste leerlingen. Vraag 4 en 5 was echter moeilijk voor de meeste leerlingen. En vraag 6 was heel moeilijk, want niemand had die vraag goed. Met behulp van deze psychometrische analyses hebben we in een pilot bij VO laten zien dat interne processen en de producten verbeterd konden worden.

Meer focus door gerichte verbeteringen Efficiënter proces Meer focus door gerichte verbeteringen < 2% Zo liet de pilot zien dat verbeterprocessen efficiënt aangepakt kunnen worden. Door de gegevens uit de psychometrische analyses te gebruiken om selecties te maken van vragen die vermoedelijk slecht van kwaliteit zijn hoeven niet alle vragen geanalyseerd te worden. In de pilot bleek dat we een selectie van maximaal 2% van alle vragen konden maken die vermoedelijk slecht van kwaliteit zijn. Ik zeg vermoedelijk, want het is altijd aan de content experts om te bepalen of de vraag inderdaad aangepast moet worden. Echter, door het maken van de selectie konden de content experts veel gerichter aan de slag te gaan.

Enkele voorbeelden Geen enkele leerling had deze vraag goed Betere content ! Expertise Geen enkele leerling had deze vraag goed Antwoord Percentage  8,5 0% 9 56% 8 15% 10 8% Wat de leerlingen wel invulden: Een voorbeeld van een vraag die we verbeterd hebben is deze. De leerlingen moesten bij deze vraag aflezen tot welke leeftijd er geen verschil is tussen jongen en meisje qua lengte. Het goede antwoord was 8,5 jarige leeftijd. Geen enkele leerling had deze vraag goed. Wat ging er mis? Aan de antwoorden van de leerlingen konden we zien dat meer dan de helft het antwoord 9 jaar gaf. En een ander deel gaf 8 aan. Het lijkt erop alsof de leerlingen hun antwoord hebben afgerond. De meeste hebben het afgerond naar boven. Door in de vraag op te nemen dat de leerlingen moeten afronden op jaren is deze vraag verbeterd. Het goede antwoord is dan 9. Let wel op! Het verbeteren van dit soort vragen kan in de meeste gevallen alleen door een content expert worden gedaan om het didactische doel van de vraag te behouden.

! < 10% had deze vraag goed Wat de leerlingen invulden: Expertise Betere features ! Expertise < 10% had deze vraag goed Veld 1 Veld 2 Percentage  28:40 70 4%  28/40 28 2800 15% 12% 280 10% 26 2600 Wat de leerlingen invulden: Een ander voorbeeld is deze. Je ziet hier dat veel leerlingen moeite hadden met de vraag. Als we de antwoorden van de leerlingen bekijken zien we dat ze moeite hebben met het invullen van het eerste veld. De meeste leerlingen denken dat je maar 1 getal mag invullen. En dan gaat het fout. Deze vraag is verbeterd door het eerste veld op te splitsen.

Bij het verbeteren van functionaliteiten kun je nog verder denken Bij het verbeteren van functionaliteiten kun je nog verder denken. Zo kan je ook bekijken welke vragen of features ervoor zorgen dat een leerling betere resultaten haalt. Leerrendement

Voor nu… ! ! Betere content Directe feedback Betere features Privacy Take home message: Wat levert data analyse Malmberg nu op? Op dit moment gebruikt Malmberg data dus vooral om de content te verbeteren. De meerwaarde van analytics is daarin dat er een efficiënter proces is met daarin inzicht in het gedrag van de gebruiker. Daarmee kunnen we betere content maken en betere features leveren. Dit alles binnen de regels van de privacy en door het centraal stellen van expertise van de auteurs. Efficiënter proces Betere features ! Expertise

Content is basis van leerproces Voor de toekomst… geavanceerd inzicht en overzicht voor de docent Content is basis van leerproces In de toekomst verwachten we de data analyse ook in te kunnen zetten om de docent te kunnen ondersteunen in het leerproces. Zo maken we nu al dashboards om docenten inzicht en overzicht te geven over de resultaten. De dashboards kunnen nog veel beter en we zijn bezig om de data in te zetten om de docent te helpen conclusies te trekken uit de data zodat ze leerlingen kunnen helpen om het beste uit zichzelf te halen.