Evidence-based kijken naar leren met ICT

Evidence-based kijken naar leren met ICT
Martin Valcke Universiteit Gent, Vakgroep Onderwijskunde Expertisecentrum Open – Afstandsonderwijs 20 april 2007

Gebaseerd op Valcke, M., & De Wever, B. (2006).
Information and communication technologies in higher education: evidence-based practices in medical education. Medical Teacher, 28,

Structuur Alternatieve analyse van ICT-onderzoek
ICT ondersteunt informatiepresentatie ICT ondersteunt informatieorganisatie ICT ondersteunt integratie van informatie ICT ondersteunt communicatie & actie ICT ondersteunt mesoniveau aspecten: flexibiliteit, curriculum, repositories

Conclusies Meest overtuigende impact:
ICT in het onderwijs dient zich te richten op wat we concreet nastreven, de context, de condities en de kenmerken van het doelpubliek Is ICT effectief? Verkeerde vraag! Jacobsen (2001): The major question is now: under what circumstances, in what particular learning environment, with what type of students and in view of what kind of learning tasks, does ICT have an impact? Impact van ICT is positief WANNEER … In combinatie met reële ervaringen Indien voldoende voorkennis Er rekening gehouden wordt met verschil novice-gevorderde student Stafontwikkeling Meest overtuigende impact: Microniveau: multipele representaties en samenwerkend leren Mesoniveau: flexibiliteit

Meta-analyse: ICT & onderwijs
Kulik (2003): impact van ICT niet duidelijk en tegenstrijdige resultaten van evaluatiestudies. Overzichtsstudies: geen eenduidige resultaten Burns & Ungerleider, 2003; Cox et al., 2004, Educational Testing Service, 2002; Liao, 2005: Murphy et al., 2001; Schachter, 1999; Shlechter, 1991; Siegel, 1994; Waxman et al., 2002; Waxman et al., 2003 Letterie (2003): “Weinig studies met een goed onderzoeksdesign leveren positieve resultaten op van ICT in vergelijking met traditioneel onderwijs. Toekomstige vergelijkende evaluatieonderzoeken moeten vooral beter aangeven wat de precieze verwachte rol is van ICT in het onderwijs: “better define their precise role” (ibid, p.849).

Meta-analysis Letterie (2003):
Discussie over de kwaliteit van het uitgevoerde onderzoek Is het überhaupt mogelijk om tot een ultiem antwoord te komen over de waarde van ICT in het onderwijs? De afhankelijke variabelen zijn te divers (scores, tijd tevredenheid, zelfvertrouwen, haalbaarheid, …) Onafhankelijke variabelen te divers Contexten/omstandigheden/doelpubliek te divers

Meta-analysis: alternative approach
Analysestructuur? Meta-analysis: alternative approach Alle « ICT en Onderwijs » studies Subset 1 Subset n Subset 2 Subset 4 Subset 3

Mesoniveau Microlevel Flexibiliteit Opbouw curriculum
Kenmerken doelpubliek Microlevel ICT in relatie tot het feitelijke leerproces

Mesoniveau Microniveau ICT Informatie component Communicatie component
Delivery issues in relation to flexibility Characteristics of target audience Microniveau ICT “Future studies of computer-assisted instruction that include comparisons and cost-assessments to gauge their effectiveness over traditional methods may better define their precise role (Letterie, 2003, p.849).” Informatie component Communicatie component

Microniveau: Informatiecomponent
Algemene hypothese: ICT ondersteunt de informatieverwerking van lerenden Leerproces centraal

Presentatie informatie Verwerken informatie Integreren informatie
MM presentatie Zintuiglijk Geheugen Werk- Geheugen Lange Termijn Geheugen Verbaal Model Voorkennis Woorden Gehoor Geluid Integratie Organisatie Beelden Gezicht Beeld Visueel Model Mayer (2001) and Paivio (1986)

ICT: informatiecomponent
Informatie wordt gepresenteerd, geselecteerd door de lerende en opgeslagen in zintuigelijk geheugen. Information wordt georganiseerd in werkgeheugen. Cognitieve structuren worden opgebouwd (schema’s, mentale modellen). Organisatie impliceert relateren, verbinden, vergelijken, ordenen van informatie en impliceert ophalen informatie uit lange termijn geheugen. Integratie van nieuwe schema’s en reeds aanwezige schema’s: verdere elaboratie en organisatie van informatie in geheugen.

Delivery issues in relation to flexibility Characteristics of target audience Microniveau ICT Informatie component Communicatie component

Informatie component Microlevel ICT Information component
Delivery issues in relation to flexibility Characteristics of target audience Microlevel ICT Informatie component Welk ‘empirical evidence’ is er voor de impact van ICT in het onderwijs voor wat betreft: - Presenteren van informatie - Organiseren van informatie - Integreren van informatie Information component Communication component

ICT ondersteunt informatie presentatie
Praktische relevantie: Meer complex en authentiek leermateriaal (imaging, virtuele realiteit, 3D, CAVE-technologie, relatie onderwijs-praktijk) Theoretische relevantie: - multipele representaties leiden tot rijkere schemaopbouw - impact op cognitieve belasting (beeld en geluid naast tekst)

Didiclass Casusbank, 2005, OUNL, RdMC

ICT fosters information presentation
Toevoegen multimedia in ICT verhoogt retentie en transfer van kennis (Mayer en co, 2000 … 2005) maar dit kan verschillen in andere kennisdomeinen (De Westelinck & Valcke, 2004, 2005). Visualisatie tools verhogen verwerving van begrippen (Barak & Dori, 2005). Durfee, Jain & Shaffer (2003) - analyse 48 ICT-gebaseerde radiologiecursussen: grafische representatie underused Roubidoux, Chapman, and Piontek (2002) - web-gebaseerd “breast imaging game”: werd verkozen door studenten; positieve appreciatie en hoog niveau van – zelfgerapporteerde - kennisverwerving. Biasutto, Caussa, & Criado del Rı´o (2005) – vergelijking tussen hands-on lijken dissectie versus een ICT-gebaseerde omgeving of een mengvorm: mengvorm is superieur. De hands-on ervaring is essentieel om voldoende visuele en tactiele ervaring op te doen wat o.a. het leren in ICT-gebaseerde presentatie kan ondersteunen.

Toepassing CAVE technologie; wandelen in een beenstructuur (Kral, 2004)

On-line mentoring bij vreemde talen onderwijs en enculturatie (Sims & Pike, 2005).

Kral (2004) - CAVE to teach pathologies, real life patient data. Cantoni et al. (2004) visual eLearning (bijv. streaming video) : grotere betrokkenheid, motivatie, beter inzicht en meer herinneren Brenton et al. (2005): multimedia en Web3D bij anatomieonderwijs: géén evaluatie Chittaro et al. (2005): overzicht Web3D onderzoek; veel positieve resultaten maar lage betrouwbaarheid. Hoge satisfactie. Transferwaarde vooral in beginfasen van training: ‘‘what sort of training shows transfer, in what conditions, to what extent and how robust the transferred training has proved to be’’

Gallagher et al. (1999): VR leidt tot superieure performance bij bepaalde chirurgische ingrepen (laparoscopie), maar niet bij andere. Bain & Biller (2004) – CD-ROM met casus neurologische afwijkingen (audiovisuele casusbeschrijvingen): significant positieve impact, efficiënt bij grote studentenaantallenen tekort aan staf. Als aanvulling naast bijv. ‘bedside teaching’. ICT positieve impact MAAR combinatie met hands-on realiteit blijft belangrijk om informatiepresentatie betekenisvol te maken. ICT impact kan verschillen in kennisdomeinen. Inbedden ICT-gebruik in ruimere instructiesetting

ICT en informatieorganisatie
Hoger onderwijs: grote nadruk op verwerking van grote hoeveelheden aan complexe informatie. Informatieorganisatie impliceert structureren, vergelijken, ordenen, relateren en analyseren van nieuwe informatie.

Lison, Günther, Ogurol, Pretschner, and Wischnesky (2004) - eBooks Informatie-organisatie

http://endeavor. med. nyu. edu/courses/anatomy/courseware/vranat/skull

New York University school of Education - 3D applicatie om 3D representaties van de schedel, buikholte en ruggenmerg te manipuleren. Positieve ervaringen MAAR studenten moeten over geschikte voorkennis beschikken over anatomische structuren. Masiello et al. (2005) On-line microbiologie cursus (ondersteunende online syllabus). Studenten geven uitdrukkelijk aan dat gebruik dient te gebeuren in een combinatie met contactonderwijs en evt. groepswerk.

Wagner et al. (2005) webgebaseerde radiologietraining
Wagner et al. (2005) webgebaseerde radiologietraining. Nadruk op grote repository beeldmateriaal: hoge appreciatie. Hoog gebruik voor zelfstudie en als ondersteuning bij onderwijs.

Pallikarakis (2005) Webgebaseerd afstandsonderwijs over medical image processing: drie niveaus van complexiteit in begrippen. Studenten rapporteren positieve ervaringen en minder tijdsgebruik. MAAR voldoende voorkennis noodzakelijk en ingebouwde evaluatie minder positief beoordeeld Onderzoek suggereert positieve attitudes en positieve leerwinst. Maar er moet aandacht zijn voor voorkennisniveau.

ICT en informatieintegratie
Integratie: gebruik en hergebruik van opgeslagen informatie: problemen oplossen, vragen beantwoorden, toepassen van kennis, enz. Typische ICT-toepassingen: (1) tutorials met ingebouwde evaluatie (2) computersimulaties (3) computer games

Informatieintegratie: tutorial/evaluatie
Clark, Watson, Cobb, Reeve, Swann, & Macfarlane (2000) -Tutorial met tests over cardiopulmonary herstel: betere beheersing basiskennis, maar geen betere testscores in praktijksituaties. Mehrabi, Glückstein, Benner, Hashemi, Herfarth , and Kallinowski (2000) – CAL + quizzes: significant hogere scores bij vergelijking met F2F lectures. Mullins, Will, Mehta, and Novelline (2001): ICT om te testen of medische studenten geschikt zijn voor een radiologiestage: ICT efficiënt (tijdswinst en lagere kosten).

Fritze et al (2002): positieve appreciatie van zelftestvragen Rawson & Quinlan (2002) – CAL met ingebouwde testvragen: novices begrijpen beter de kernaspecten van medical cases Hulksman et al. (in press) – videogebaseerde toetsing van communicatievaardigheden (N=200): reliable toetsbenadering Kim et al. (2002) – F2F versus tutorial in radiologieonderwijs met continue toetsing: geen significante verschillen, MAAR tutorial wel meer efficiënt (minder tijd en minder stafinzet)

ELERA-system (www.elera.de)

Grunewald et al. (2004) – ELERA een Internet-gebaseerde toetsomgeving voor radiologie (2200 cases). Essentieel is dat de database aangevuld wordt op lange termijn opbouw van vaardigheden te garanderen (open source) The available research evidence helps to confirm the efficiency/efficacy of ICT-supported assessment approaches.

Nelson et al., 2005: simulatie thuisverpleging

Informatie-integratie: simulatie
SURF onderwijsdagen: centraal thema Nelson et al. (2005): Simulatie van thuisverpleging: hoger zelfvertrouwen bij probleemaanpak en nemen van beslissingen, meer aandacht voor holistische benadering patiënt. Maar essentieel is inbedding in een probleemgestuurde aanpak! Zie idem Nackman et al. (2003) Brunner et al (2003) training met een computersimulatie voor laparascopie: opvallend is dat novices sterk verschillen in het aantal trials dat noodzakelijk is om een minimum-beheersingsniveau te bereiken. Aantal noodzakelijke pogingen hoger dan aanvankelijk gedacht (21 tot 30 pogingen; 7 uur training). Kim et al. (2002) - computersimulatie voor radiologieonderwijs. Initieel tekstgebaseerde conditie beter; ICT lange termijn impact. MAAR novices moeilijkheden met noodzakelijke voorkennis.

Di Giulio et al. (2004) - simulatie voor endoscopy (N = 420): simulaties leiden tot meer complete procedures, vragen minder ondersteuning en positieve houding. MAAR: novices staan centraal. Engum et al. (2003) – simulatie om te leren katheders plaatsen: geen significant verschil met klassieke aanpak. En lagere satisfactie in computerconditie

Meier et al. (2005) – simulatiegebaseerd curriculum van stand-by situaties gedurende een stage: de simulatie verhoogde significant het zelfvertrouwen. Conclusies: simulaties effectief en efficiënt, MAAR hou rekening met novices, noodzakelijke voorkennis/onderliggende vaardigheden, de context en grote individuele verschillen in leertijd.

Informatie-integratie: games
Het Gaming project van SURFnet en Kennisnet Howell (2005) – overzicht van ICT-games en evaluatieonderzoek: veel beschrijvend onderzoek Mann et al. (2002) – computerspel m.b.t. management van borstkanker bij patiënten. patiënt op onderzoek sturen, mammografie, ultrageluid, administratief beheer,, … : significante leerwinst m.b.t. procedures. Veel aandacht, maar weinig evaluatief onderzoek.

Communicatie component
Delivery issues in relation to flexibility Characteristics of target audience Microlevel ICT Communicatie component Communicatie met lesgever/expert Communicatie tussen studenten: samenwerkend leren Information component Communication component

ICT communication: teleteaching
Real-time teaching via het Internet teleteaching. Verrijking contactonderwijs; bijv. tijdens lezing krijgt men videotoegang tot een operatie.

ICT communication: teleteaching
Filler et al.(2000) - haalbaarheidsonderzoek: positief. Jenkins et al. (2001) – afstandsonderwijs: hoge tevredenheid. MAAR drop-out en lage participatie op termijn. ICT-vaardigheden van potentiële studenten (zij-instromers) Dugas et al. (2000) – Online cursus spoedgeneeskunde + online discussie van student input (N=138): hoge scores. Conclusie: Geprojecteerde voordelen van teleteaching zijn groot en benadrukken efficiëntie. Opvallend dat de literatuur veel projecten beschrijft maar er weinig harde evaluatiegegevens te vinden zijn.

Communicatie component
Delivery issues in relation to flexibility Characteristics of target audience Microlevel ICT Communicatie component Communicatie met lesgever/expert Communicatie tussen studenten: samenwerkend leren Information component Communication component

Communicatie: samenwerkend leren
Johnson & Johnson (1996) en Slavin (1996): overduidelijke evidence m.b.t. effectiviteit van samenwerkend leren (performance, motivatie, tevredenheid) Voorwaarden: Individuele verantwoordelijkheid Groepsverantwoordelijkheid Ontwikkel samenwerkingsvaardigheden Stel duidelijke leerdoelen voorop Combineer met F2F

Smeets, 2005

SCHELLENS, T*., VAN KEER, H., DE WEVER, B., VALCKE, M. (in press).
Tagging Thinking Types in Asynchronous Discussion Groups: Effects on Critical Thinking. Interactive Learning Environments

S. TIMMERS, M. VALCKE*, K. DE MIL & W.R.G. BAEYENS (in press).
The Impact of Computer Supported Collaborative Learning on Internship Outcomes of Pharmacy Students. Interactive Learning Environments

Innovatieve ICT toepassingen door samenwerking en afspraken (Surf OD 2005) Beers (2005), Schellens et al. (2004, 2005), Strijbos (2004), Kirschner (2005): overtuigende impact van samenwerkend leren via CSCL

Ortega et al. (2003) ontwikkelen van medisch redeneren en probleemoplossingsvaardigheden via CSCL. Lou et al. (2001) - meta-analyse 122 studies: samenwerken met ICT is effectief; maar wel grote individuele en groepsverschillen Zeer veel aandacht voor condities, affordances zie Vb.

ICT communication: collaboration
Rogers et al. (2000): vaardigheden ontwikkelen zich beter in een individuele setting dan in een groepssetting. Let op: studie met novices. Conclusie: onderzoek schuift een zeer positief beeld naar voren. Aandacht nodig voor aard van de verwachte leerresultaten, type student (novice?), ondersteuning, taakstructuur, groepssamenstelling, …

Mesoniveau ICT op mesoniveau
Delivery issues in relation to flexibility Characteristics of target audience ICT op mesoniveau Perspectieven: ICT en flexibiliteit ICT impact op curriculum Repositories

ICT en flexibiliteit van onderwijs
Tijd Plaats Pacing Doelpubliek

Scanlon et al. (2004): effectiviteit en efficiëntie van real-world experiments at a distance. Leerproces duurt wel langer dan in real-life lab (samenwerking!) Grunewald et al. (2003) - radiologie website: evidence die flexibiliteit in tijd, plaats en leertempo onderbouwt. Idem bij Durfee et al. (2003) remote access is het grootste voordeel bij gevorderde studenten (96% of 4de jaar medisch onderwijs).

Mukundan, Vydareny, Vassallo, Irving, and Ogaoga (2003) - telemedicine systeem Solomon Eilanden - evaluatieonderzoek: flexibiliteit en efficiëntie van model. Low-cost en opschaalbaar. Stain et al., (2005) – videoconferentiegebaseerde lezingen: even effectief als traditionele aanpak. Efficiënter door tijdswinst en reductie in reiskosten (medische context!). De Wever et al. (2005) - asynchronous discussies tijdens stages: efficiëntie wordt onderstreept door studenten.

Salomonson et al (2004) combinatie van F2F en webgebaseerde verpleegsteropleiding. Studenten met hogere eindscores verkozen F2F. Onderzoek benadrukt meer ondersteuning bij overgang naar webgebaseerd leren. Johnson et al. (2004) - web-based courseware system to foster just-in-time education : system was considered as efficient and effective. End-users raise some concerns about the quality of technical instructions and feedback. Masiello et al. (2005) - focus op mate waarin studenten klaar zijn voor een online cursus: voorwaardelijke IT competenties OK. Maar negatieve attitude t.o.v. vele lezen vanaf scherm en het volledig vervangen van F2F door online cursus.

Conclusie: flexibiliteit wordt bereikt maar er is voldoende aandacht nodig voor context en doelpubliek (verwachtingen!).

ICT in het curriculum ICT als onderdeel van curriculum:
Element van professionele competenties Nodig om kennistoename bij te houden ICT vaardigheden om bijv. te vermijden dat men wordt als een “a clinician who is unable to access or handle new electronic technology (is) left with the significant risk of being unable to provide optimal evidence-based care” (Nattestad et al., 2002).

ICT in het curriculum Evidence die nood aan een aangepast curriculum onderstreept? Logan & Price (2004) valideerden bijv. een aangepast curriculum voor medische informatici. Murphy et al. (2004) - nationaal onderzoek UK: IT-skills van medische studenten onvoldoende ontwikkeld + consensus over een national IT curriculum. Niveau IT training van staf is kritisch.

ICT in curriculum ICT noodzakelijk in huidige kennismaatschappij

Learning repositories
Gedurfde onderwijsrepositories: LOREnet (Open Archives Initiative) Zeer grote aandacht voor opbouw van bestanden aan herbruikbare leermaterialen. Geueke & Stausberg (2003) voorbeeld van grote repository herbruikbare leerobjecten

Wagner et al. (2005): webgebaseerde radiologietraining
Wagner et al. (2005): webgebaseerde radiologietraining. Nadruk op grote repository beeldmateriaal: hoge appreciatie. Hoog gebruik voor zelfstudie en als ondersteuning bij onderwijs. Docherty et al. (2005): elearning omgeving gebaseerd op grote verzameling « high quality objects ». Positieve attitude en significant leereffect. Maar duidelijke link met PBL aanpak in opleiding.

Learning repositories
Op dit moment weinig evaluatief onderzoek over impact gebruik repositories. Wel grote verwachtingen.

Conclusies Meest overtuigende impact:
ICT in het onderwijs dient zich te richten op wat we concreet nastreven, de context, de condities en de kenmerken van het doelpubliek Is ICT effectief? Verkeerde vraag! Jacobsen (2001): The major question is now: under what circumstances, in what particular learning environment, with what type of students and in view of what kind of learning tasks, does ICT have an impact? Impact van ICT is positief WANNEER … In combinatie met reële ervaringen Indien voldoende voorkennis Er rekening gehouden wordt met verschil novice-gevorderde student Stafontwikkeling Meest overtuigende impact: Microniveau: samenwerkend leren Mesoniveau: flexibiliteit

Evidence-based kijken naar leren met ICT
Martin Valcke Universiteit Gent, Vakgroep Onderwijskunde Expertisecentrum Open – Afstandsonderwijs 20 april 2007

Evidence-based kijken naar leren met ICT

Verwante presentaties

Presentatie over: "Evidence-based kijken naar leren met ICT"— Transcript van de presentatie:

Verwante presentaties

Over het project

Feedback

Inloggen

Inloggen via een sociaal netwerk:

Evidence-based kijken naar leren met ICT

Verwante presentaties

Presentatie over: "Evidence-based kijken naar leren met ICT"— Transcript van de presentatie:

Verwante presentaties

Over het project

Feedback