Effectiviteit van serious gaming in het onderwijs Esther Oprins TNO Training & Performance Innovations (Soesterberg)

Presentatie over: "Effectiviteit van serious gaming in het onderwijs Esther Oprins TNO Training & Performance Innovations (Soesterberg)"— Transcript van de presentatie:

1 Effectiviteit van serious gaming in het onderwijs Esther Oprins TNO Training & Performance Innovations (Soesterberg)

2 Titel van de presentatie
:41 Inhoud Game-based learning Evaluation Model (GEM): generiek raamwerk voor validatie van serious games Twee studies: LINGO Online (i.s.m. Hogeschool Windesheim) Wisselkoersen (BeInvolved) Algemene conclusies

3 Titel van de presentatie
:41 Inhoud Game-based learning Evaluation Model (GEM): generiek raamwerk voor validatie van serious games Twee studies: LINGO Online (i.s.m. Hogeschool Windesheim) Wisselkoersen (BeInvolved) Conclusies

4 Game-based learning Evaluation Model (GEM)
Waarom? Validatie = “functioneert de game zoals bedoeld?” (transfer of gaming) Literatuur: problemen met goed validatieonderzoek van serious games (e.g., Ack et al, 2010; Bekebrede et al., 2011; Bedwell et al., 2012; Connolly et al., 2012; Hays, 2005; Sitzmann, 2011) Input voor generieke, ‘evidence-based’ ontwerprichtlijnen voor serious gaming Wat is GEM? Methodologie, set van indicatoren, (gevalideerde) meetinstrumenten Breed toepasbaar op allerlei soorten serious games Wanneer? Ontwerpfase: evaluatie van game concepten Validatie van bestaande serious games Serious gaming Validatie Ontwerp ROI

5 Process Output Input Learning environment (big game)
Serious gaming (small game) Learner Learning indicators Emotional-motivational: Self-efficacy Motivation Engagement Process Learning outcome / transfer of training: Knowledge, skills, attitudes Competences Performance Personal features: Personality Cognitive capacity Education Experience Bio/demo-graphical features Cognitive: Self-directedness Learning activity Mental effort Output Input Environmental influences Personal circumstances Organisational environment Design indicators: Game world - Rules & goals Action language - Control* Challenge* - Feedback* Social interaction*

6 Evaluatie & validatie methoden
Evidence Expert judgment: Gestructureerde checklists Serious gaming experts Gebruikersevaluatie: Quick scan (pilot) Kwalitatieve data (lage N) Validatieonderzoek: Experimenteel onderzoek Kwantitatieve data (hoge N) Game ontwerp Game ervaring Leeruitkomsten

7 Interventie (beleving lerende / experts)
Experimentele groep Leerkenmerken ‘Leeruitkomst’ Persoonskenmerken Serious gaming Voormeting Nameting Interventie (beleving lerende / experts) Leeruitkomst Controle groep Leerkenmerken ‘Leeruitkomst’ Persoonskenmerken Klassikale les Voormeting Nameting Leeruitkomst

8 Titel van de presentatie
:41 Inhoud Game-based learning Evaluation Model (GEM): generiek raamwerk voor validatie van serious games Twee studies: LINGO Online (i.s.m. Hogeschool Windesheim) Wisselkoersen (BeInvolved) Algemene conclusies

9 Studie 1: LINGO Magma Studios - Singapore
Kenmerk Game Inhoud Engelse uitspraak Doelgroep Groep 7 – 8, 2e klas VO Type game Virtuele omgeving Sessie 8 weken; 1 – 3 uur p/w Controlegroep Klassikale Engelse les Leeruitkomst Gevalideerde taaltoetsen Conditie N Experimenteel 66 Controle 65

10 Resultaten: taaltoets One Minute Test
Paired samples t-test: verschil voormeting vs. nameting (per groep): alles significant (alle groepen hebben geleerd). Independent t-test: verschil controle vs. exp groepen (delta nameting minus voormeting): alleen voor basisschool

11 Resultaten: taaltoets Tommy Text
Paired samples t-test: verschil voormeting vs. nameting (per groep): alles significant (alle groepen hebben geleerd). Independent t-test: verschil controle vs. exp groepen (delta nameting minus voormeting): geen resultaten

12 Resultaten: leerkenmerken
Paired samples t-test: verschil voormeting vs. nameting (per groep)

13 Conclusies LINGO Metingen Conclusies Leeruitkomsten
Self-assessment: geen (sign) resultaten Taaltesten: sign resultaten, vooral basisschool Leerkenmerken Motivatie: sign groei alleen bij gaming groep; sign invloed op taaltesten net als engagement Self-efficacy: geen effecten gevonden Ontwerpkenmerken Geen sign verschillen tussen exp en controle groep vanwege moeilijkheid vragenlijst

14 Studie 2: Wisselkoersen (economie) Beinvolved
Kenmerk Game Inhoud Omgaan met wisselkoersen Doelgroep Bovenbouw HAVO/VWO Type game Bordspel Afname Een blokuur Controlegroep Parallelklas 5 HAVO/VWO Toetsing Open vragen

15 Resultaten: self-assessment
Paired samples t-test (blauw): verschil voor- vs. nameting (per groep) Independent t-test (groen): verschil experimentele vs. controlegroep (delta: nameting minus voormeting)

16 Resultaten: kennistoets
Independent t-test (groen): verschil experimentele vs. controlegroep (delta: nameting minus voormeting)

17 Resultaten: leerkenmerken
Independent t-test (groen): verschil experimentele vs. controlegroep (delta: nameting minus voormeting)

18 Conclusies Wisselkoersen (economie)
Metingen Conclusies Leeruitkomsten Self-assessment: sign voor beide groepen; dit wijst op toename self-efficacy Kennistoets: nameting moeilijker, waardoor lager gescoord dan de voormeting! Leerkenmerken Self-directedness en engagement: sign verschil tussen controle en exp groep Ontwerpkenmerken Feedback en collaboration: sign verschil tussen controle en exp groep

19 Titel van de presentatie
:41 Inhoud Game-based learning Evaluation Model (GEM): generiek raamwerk voor validatie van serious games Twee studies: LINGO Online (i.s.m. Hogeschool Windesheim) Wisselkoersen (BeInvolved) Algemene conclusies

20 Algemene conclusies LINGO Economics Ease-IT ABCDEsim Self-assessment - + Leer- uitkomsten Leer- kenmerken + (motivation, engagement) + (engagement, self-directedness) Ontwerp- kenmerken + (learning goals, feedback, collaboration) GEM maakt het mogelijk om conclusies te trekken over meerdere games, mits de methodologie op de juiste manier is toegepast. Meer onderzoek is nodig naar de keuze en psychometrische kwaliteit van de diverse indicatoren, met name ontwerpkenmerken.