Effectiviteit van serious gaming in het onderwijs Esther Oprins TNO Training & Performance Innovations (Soesterberg)

Titel van de presentatie 8-4-2017 9:41 Inhoud Game-based learning Evaluation Model (GEM): generiek raamwerk voor validatie van serious games Twee studies: LINGO Online (i.s.m. Hogeschool Windesheim) Wisselkoersen (BeInvolved) Algemene conclusies

Titel van de presentatie 8-4-2017 9:41 Inhoud Game-based learning Evaluation Model (GEM): generiek raamwerk voor validatie van serious games Twee studies: LINGO Online (i.s.m. Hogeschool Windesheim) Wisselkoersen (BeInvolved) Conclusies

Game-based learning Evaluation Model (GEM) Waarom? Validatie = “functioneert de game zoals bedoeld?” (transfer of gaming) Literatuur: problemen met goed validatieonderzoek van serious games (e.g., Ack et al, 2010; Bekebrede et al., 2011; Bedwell et al., 2012; Connolly et al., 2012; Hays, 2005; Sitzmann, 2011) Input voor generieke, ‘evidence-based’ ontwerprichtlijnen voor serious gaming Wat is GEM? Methodologie, set van indicatoren, (gevalideerde) meetinstrumenten Breed toepasbaar op allerlei soorten serious games Wanneer? Ontwerpfase: evaluatie van game concepten Validatie van bestaande serious games Serious gaming Validatie Ontwerp ROI

Process Output Input Learning environment (big game) Serious gaming (small game) Learner Learning indicators Emotional-motivational: Self-efficacy Motivation Engagement Process Learning outcome / transfer of training: Knowledge, skills, attitudes Competences Performance Personal features: Personality Cognitive capacity Education Experience Bio/demo-graphical features Cognitive: Self-directedness Learning activity Mental effort Output Input Environmental influences Personal circumstances Organisational environment Design indicators: Game world - Rules & goals Action language - Control* Challenge* - Feedback* Social interaction*

Evaluatie & validatie methoden Evidence Expert judgment: Gestructureerde checklists Serious gaming experts Gebruikersevaluatie: Quick scan (pilot) Kwalitatieve data (lage N) Validatieonderzoek: Experimenteel onderzoek Kwantitatieve data (hoge N) Game ontwerp Game ervaring Leeruitkomsten

Interventie (beleving lerende / experts) Experimentele groep Leerkenmerken ‘Leeruitkomst’ Persoonskenmerken Serious gaming Voormeting Nameting Interventie (beleving lerende / experts) Leeruitkomst Controle groep Leerkenmerken ‘Leeruitkomst’ Persoonskenmerken Klassikale les Voormeting Nameting Leeruitkomst

Titel van de presentatie 8-4-2017 9:41 Inhoud Game-based learning Evaluation Model (GEM): generiek raamwerk voor validatie van serious games Twee studies: LINGO Online (i.s.m. Hogeschool Windesheim) Wisselkoersen (BeInvolved) Algemene conclusies

Studie 1: LINGO Magma Studios - Singapore Kenmerk Game Inhoud Engelse uitspraak Doelgroep Groep 7 – 8, 2e klas VO Type game Virtuele omgeving Sessie 8 weken; 1 – 3 uur p/w Controlegroep Klassikale Engelse les Leeruitkomst Gevalideerde taaltoetsen Conditie N Experimenteel 66 Controle 65 http://vimeo.com/55256348

Resultaten: taaltoets One Minute Test Paired samples t-test: verschil voormeting vs. nameting (per groep): alles significant (alle groepen hebben geleerd). Independent t-test: verschil controle vs. exp groepen (delta nameting minus voormeting): alleen voor basisschool

Resultaten: taaltoets Tommy Text Paired samples t-test: verschil voormeting vs. nameting (per groep): alles significant (alle groepen hebben geleerd). Independent t-test: verschil controle vs. exp groepen (delta nameting minus voormeting): geen resultaten

Resultaten: leerkenmerken Paired samples t-test: verschil voormeting vs. nameting (per groep)

Conclusies LINGO Metingen Conclusies Leeruitkomsten Self-assessment: geen (sign) resultaten Taaltesten: sign resultaten, vooral basisschool Leerkenmerken Motivatie: sign groei alleen bij gaming groep; sign invloed op taaltesten net als engagement Self-efficacy: geen effecten gevonden Ontwerpkenmerken Geen sign verschillen tussen exp en controle groep vanwege moeilijkheid vragenlijst

Studie 2: Wisselkoersen (economie) Beinvolved Kenmerk Game Inhoud Omgaan met wisselkoersen Doelgroep Bovenbouw HAVO/VWO Type game Bordspel Afname Een blokuur Controlegroep Parallelklas 5 HAVO/VWO Toetsing Open vragen

Resultaten: self-assessment Paired samples t-test (blauw): verschil voor- vs. nameting (per groep) Independent t-test (groen): verschil experimentele vs. controlegroep (delta: nameting minus voormeting)

Resultaten: kennistoets Independent t-test (groen): verschil experimentele vs. controlegroep (delta: nameting minus voormeting)

Resultaten: leerkenmerken Independent t-test (groen): verschil experimentele vs. controlegroep (delta: nameting minus voormeting)

Conclusies Wisselkoersen (economie) Metingen Conclusies Leeruitkomsten Self-assessment: sign voor beide groepen; dit wijst op toename self-efficacy Kennistoets: nameting moeilijker, waardoor lager gescoord dan de voormeting! Leerkenmerken Self-directedness en engagement: sign verschil tussen controle en exp groep Ontwerpkenmerken Feedback en collaboration: sign verschil tussen controle en exp groep

Titel van de presentatie 8-4-2017 9:41 Inhoud Game-based learning Evaluation Model (GEM): generiek raamwerk voor validatie van serious games Twee studies: LINGO Online (i.s.m. Hogeschool Windesheim) Wisselkoersen (BeInvolved) Algemene conclusies

Algemene conclusies LINGO Economics Ease-IT ABCDEsim Self-assessment - + Leer- uitkomsten Leer- kenmerken + (motivation, engagement) + (engagement, self-directedness) Ontwerp- kenmerken + (learning goals, feedback, collaboration) GEM maakt het mogelijk om conclusies te trekken over meerdere games, mits de methodologie op de juiste manier is toegepast. Meer onderzoek is nodig naar de keuze en psychometrische kwaliteit van de diverse indicatoren, met name ontwerpkenmerken.