Waarom en hoe werkten de Cyberdam games (niet)? Harald Warmelink TU Delft Delft Centre for Serious Gaming Sectie Policy, Organisation, Law and Gaming

Kort 1 tot 3 weken Middellang 4 tot 6 weken Lang 7 weken of langer Organisatie van zorg - Dilemma's in de Outreachende Hulpverlening - Expertisemarkt Jeugdbeleid - Management Non Profit - Gezondheidsplein Rechtsvraag stukken - Vergunningen bij de Bouw - Legitimate File-Sharing Service - Legitimate Data-Retention Service - Maternity Leave - Broodje gezond / Privaatrecht - Wetgevingsproces - Cyborg Services Incorporated - Project wonen Overheids-, bedrijfs- en publieke organisaties - Safe Areas - Visie - Participatietoets - Langs het Rechte Spoor - Border Crossings Persoonlijke ontwikkeling - VMBO-docent gevraagd - Saving Asia / Information Literacy - Solliciteer ze!

Effectiviteitsvraag Wanneer kan je zeggen dat ‘het werkt’? Leereffect … en de context van dit leereffect! Systeem- cq organisatorisch perspectief Wat komt er zoal kijken bij het inzetten van een spelsimulatie in het onderwijs?

Methodologie ‘Theory-based evaluation’ (Kriz en Hense, 2006) Voortbordurend op project Kennisontwikkeling Over en Door Online Simulaties Voornamelijk kwantitatief en hypothesetestend onderzoek dmv pre-game en post-game enquêtes Perspectief van de student

Evaluatiemodel gebaseerd op Kriz en Hense, 2006 Input Student: Demografische gegevens Leerverwachtingen: kennis, sociale vaardigheden en praktijkervaring Spelervaringen Acceptatie van spelsimulaties Acceptatie van online leeromgevingen Docent: Ervaring in spelontwikkeling Ontwerp- en begeleidingsvoorbereiding Proces Kwaliteit ontworpen spel Uitdaging die het spel stelt Kwaliteit Cyberdam omgeving Inzet van studenten Inzet van docenten Uitkomsten Leereffecten: kennis, sociale vaardigheden en praktijkervaring Plezier Acceptatie Cyberdam

Methode Enquête pre-game onder studenten (38,2%) Rectificatie: één panel was niet meegerekend, wat leidde tot een nog lagere responspercentage van 24,7% Enquête post-game onder studenten (39,7%) Rectificatie: één panel was niet meegerekend, wat leidde tot een nog lagere responspercentage van 25,4% Spelevaluatierapporten tbv contextinformatie Statistische analyses: Descriptieve, factor- en correlatieanalyses LieVW: n = 353 Rectificatie: helaas een typefout… dit moet 333 zijn KODOS: n = 285 60,3% man; 39,7% vrouw Gemiddeld 21,5 jaar oud

.. leidt tot hoger leereffect .. leidt tot hoger leereffect Hypotheses Hoge mate van plezier.. Hoge waardering voor Cyberdam.. Veel ervaring met spellen.. Hoge waardering voor online leeromgevingen.. Hoge waardering voor gamerelevantie.. Hoge waardering voor gameontwerp.. Hoge waardering voor spelverloop.. .. leidt tot hoger leereffect Hoge mate van plezier.. Hoge waardering voor Cyberdam.. Veel ervaring met spellen.. Hoge waardering voor online leeromgevingen.. Hoge waardering voor gamerelevantie.. Hoge waardering voor gameontwerp.. Hoge waardering voor spelverloop.. .. leidt tot hoger leereffect

2 hoog scorende Cyberdam spelsimulatiesessies ‘Maternity Leave’: hoog op leereffect, Cyberdam kwaliteit, relevantie en spelverloop (n = 11) ‘Participatietoets’: hoog op leereffect, plezier, Cyberdam kwaliteit en spelverloop (n = 6)

2 laag scorende Cyberdam spelsimulatiesessies ‘Cyborg Services Incorporated - Project Wonen’ laag op leereffect, plezier, Cyberdam kwaliteit en spelontwerp (n = 3) ‘VMBO-docent gevraagd’ laag op leereffect, spelontwerp en spelverloop studenten (n = 4) If at first you don’t succeed, try, try again!

Implicaties van resultaten en methode Belang van tijd en middelen Belang van procesmatige blik Belang van doorontwikkeling Cyberdam Kwalitatieve en kwantitatieve evaluatiemethoden Kwaliteit meetinstrumenten Representativiteit

Learning in a Virtual World het projectboek Harald Warmelink Geertje Bekebrede Igor Mayer Paul Maharg Emma Nicol Kees van Haaster Kees de Vey Mestdagh Jullie krijgen allemaal eind oktober gratis een exemplaar thuis gestuurd! NB: twijfel je aan de adresgegevens die we hebben? Vul het formulier in!

Bedankt voor uw aandacht!

Meerdere metingen Voor leereffect: ‘Ik vond het leerzaam om aan deze spelsimulatie (dit rollenspel) te werken’ Factor geconstrueerd nav 12 stellingen over 3 type leereffecten: kennis, sociale vaardigheden en praktijkervaringen Voor Cyberdam kwaliteit: ‘Het gebruik van Cyberdam in het onderwijs is de moeite waard’ Twee factoren geconstrueerd nav 9 stellingen over de omgeving en haar functionaliteiten

Meerdere metingen (2) Voor spelontwerp: Factor geconstrueerd nav 5 stellingen over de opbouw van het spel: duidelijkheid van einddoel, roldefinities, opdrachten en regels. Voor spelverloop: Factor geconstrueerd nav 9 stellingen over de inzet van de respondent en van andere studenten 3 stellingen over de inzet van de docent bij de start, gedurende het verloop en bij het afronden van het spel

Referenties Kriz, W. C., & Hense, J. U. (2006). Theory-oriented evaluation for the design of and research in gaming and simulation. Simulation Gaming, 37(2), 268-283. Mayer, I., Stegers-Jager, K., & Bekebrede, G. (2007). Spelend Leren in Virtuele Werelden. Bouwstenen voor online gaming in het hoger onderwijs. Groningen: Wolters-Noordhoff.