1 Evidence-based ICT gebruik in het HO Wat werkt en waarom? Martin Valcke Universiteit Gent, Vakgroep Onderwijskunde UM Maastricht, 04 april

2 Structuur Alternatieve analyse van ICT-onderzoek ICT ondersteunt informatiepresentatie ICT ondersteunt informatieorganisatie ICT ondersteunt integratie van informatie ICT ondersteunt communicatie & actie ICT ondersteunt mesoniveau aspecten: flexibiliteit, curriculum, repositories

3 Conclusies ICT in het onderwijs dient zich te richten op wat we concreet nastreven, de context, de condities en de kenmerken van het doelpubliek Is ICT effectief? Verkeerde vraag! –Jacobsen (2001): The major question is now: under what circumstances, in what particular learning environment, with what type of students and in view of what kind of learning tasks, does ICT have an impact? Impact van ICT is positief WANNEER … –In combinatie met reële ervaringen –Indien voldoende voorkennis –Er rekening gehouden wordt met verschil novice-gevorderde student –Stafontwikkeling Meest overtuigende impact: –Microniveau: multipele representaties en samenwerkend leren –Mesoniveau: flexibiliteit

4

5

6 Meta-analyse: ICT & onderwijs Kulik (2003): impact van ICT niet duidelijk en tegenstrijdige resultaten van evaluatiestudies. Overzichtsstudies: geen eenduidige resultaten Burns & Ungerleider, 2003; Cox et al., 2004, Educational Testing Service, 2002; Liao, 2005: Murphy et al., 2001; Schachter, 1999; Shlechter, 1991; Siegel, 1994; Waxman et al., 2002; Waxman et al., 2003 Letterie (2003): “Weinig studies met een goed onderzoeksdesign leveren positieve resultaten op van ICT in vergelijking met traditioneel onderwijs. Toekomstige vergelijkende evaluatieonderzoeken moeten vooral beter aangeven wat de precieze verwachte rol is van ICT in het onderwijs: “better define their precise role” (ibid, p.849).

7 Meta-analysis Letterie (2003): –Discussie over de kwaliteit van het uitgevoerde onderzoek Is het überhaupt mogelijk om tot een ultiem antwoord te komen over de waarde van ICT in het onderwijs? –De afhankelijke variabelen zijn te divers (scores, tijd tevredenheid, zelfvertrouwen, haalbaarheid, …) –Onafhankelijke variabelen te divers –Contexten/omstandigheden/doelpubliek te divers

8 Fritze et al., 2002: overzicht evaluatieonderzoek m.b.t. ICT aan University of Melbourne

9 Meta-analysis: alternative approach Analysestructuur? Alle « ICT en Onderwijs » studies Subset 2 Subset 1 Subset 3 Subset 4 Subset n

10 Mesoniveau Flexibiliteit Opbouw curriculum Kenmerken doelpubliek Microlevel ICT in relatie tot het feitelijke leerproces

11 Mesoniveau Delivery issues in relation to flexibility Characteristics of target audience Microniveau ICT Informatie component Communicatie component “Future studies of computer-assisted instruction that include comparisons and cost-assessments to gauge their effectiveness over traditional methods may better define their precise role (Letterie, 2003, p.849).”

12 Microniveau: Informatiecomponent Algemene hypothese: ICT ondersteunt de informatieverwerking van lerenden Leerproces centraal

13 Presentatie informatieVerwerken informatieIntegreren informatie MM presentatie Zintuiglijk Geheugen Werk- Geheugen Lange Termijn Geheugen Woorden Beelden Gehoor Gezicht Geluid Beeld Verbaal Model Visueel Model Voorkennis Integratie Organisatie Mayer (2001) and Paivio (1986)

14 ICT: informatiecomponent 1.Informatie wordt gepresenteerd, geselecteerd door de lerende en opgeslagen in zintuigelijk geheugen. 2.Information wordt georganiseerd in werkgeheugen. Cognitieve structuren worden opgebouwd (schema’s, mentale modellen). Organisatie impliceert relateren, verbinden, vergelijken, ordenen van informatie en impliceert ophalen informatie uit lange termijn geheugen. 3.Integratie van nieuwe schema’s en reeds aanwezige schema’s: verdere elaboratie en organisatie van informatie in geheugen.

15 ICT: Informatiecomponent Welke ‘empirical evidence’ is er voor de impact van ICT in het onderwijs voor wat betreft: –Presenteren van informatie –Organiseren van informatie –Integratie van informatie?

16 ICT ondersteunt informatie presentatie Praktische relevantie: imaging, virtuele realiteit, 3D, CAVE- technologie, relatie onderwijs-praktijk Theoretische relevantie: impact op cognitieve belasting, rijkere schemaopbouw, multipele representaties, authentieke leermaterialen

17 Didiclass Casusbank, 2005, OUNL, RdMC

18 ICT fosters information presentation Toevoegen multimedia in ICT verhoogt retentie en transfer van kennis (Mayer en co, 2000 … 2005) maar dit kan verschillen in andere kennisdomeinen (De Westelinck & Valcke, 2004, 2005). Visualisatie tools verhogen verwerving van begrippen (Barak & Dori, 2005). Durfee, Jain & Shaffer (2003) - analyse 48 ICT-gebaseerde radiologiecursussen: grafische representatie underused Roubidoux, Chapman, and Piontek (2002) - web-gebaseerd “breast imaging game”: werd verkozen door studenten; positieve appreciatie en hoog niveau van – zelfgerapporteerde - kennisverwerving. Biasutto, Caussa, & Criado del Rı´o (2005) – vergelijking tussen hands-on lijken dissectie versus een ICT-gebaseerde omgeving of een mengvorm: mengvorm is superieur. De hands-on ervaring is essentieel om voldoende visuele en tactiele ervaring op te doen wat o.a. het leren in ICT-gebaseerde presentatie kan ondersteunen.

19 Toepassing CAVE technologie; wandelen in een beenstructuur (Kral, 2004)

20

21 On-line mentoring bij vreemde talen onderwijs en enculturatie (Sims & Pike, 2005).

22 ICT fosters information presentation Kral (2004) - CAVE to teach pathologies, real life patient data. Cantoni et al. (2004) visual eLearning (bijv. streaming video) : grotere betrokkenheid, motivatie, beter inzicht en meer herinneren Brenton et al. (2005): multimedia en Web3D bij anatomieonderwijs: géén evaluatie Chittaro et al. (2005): overzicht Web3D onderzoek; veel positieve resultaten maar lage betrouwbaarheid. Hoge satisfactie. Transferwaarde vooral in beginfasen van training: ‘‘what sort of training shows transfer, in what conditions, to what extent and how robust the transferred training has proved to be’’

23 ICT fosters information presentation Gallagher et al. (1999): VR leidt tot superieure performance bij bepaalde chirurgische ingrepen (laparoscopie), maar niet bij andere. Bain & Biller (2004) – CD-ROM met casus neurologische afwijkingen (audiovisuele casusbeschrijvingen): significant positieve impact, efficiënt bij grote studentenaantallenen tekort aan staf. Als aanvulling naast bijv. ‘bedside teaching’. ICT positieve impact MAAR combinatie met hands-on realiteit blijft belangrijk om informatiepresentatie betekenisvol te maken. ICT impact kan verschillen in kennisdomeinen. Inbedden ICT-gebruik in ruimere instructiesetting

24 ICT en informatieorganisatie Hoger onderwijs: grote nadruk op verwerking van grote hoeveelheden aan complexe informatie. Informatieorganisatie impliceert structureren, vergelijken ordenen, relateren en analyseren van nieuwe informatie.

25 ICT en informatieorganisatie Lison, Günther, Ogurol, Pretschner, and Wischnesky (2004) - eBooks Informatie- organisatie

26

27

28 ICT en informatieorganisatie New York University school of Education - 3D applicatie om 3D representaties van de schedel, buikholte en ruggenmerg te manipuleren. Positieve ervaringen MAAR studenten moeten over geschikte voorkennis beschikken over anatomische structuren. Masiello et al. (2005) On-line microbiologie cursus (ondersteunende online syllabus). Studenten geven uitdrukkelijk aan dat gebruik dient te gebeuren in een combinatie met contactonderwijs en evt. groepswerk.

29

30 Wagner et al. (2005) webgebaseerde radiologietraining. Nadruk op grote repository beeldmateriaal: hoge appreciatie. Hoog gebruik voor zelfstudie en als ondersteuning bij onderwijs.

31

32 ICT en informatieorganisatie Pallikarakis (2005) Webgebaseerd afstandsonderwijs over medical image processing: drie niveaus van complexiteit in begrippen. Studenten rapporteren postieve ervaringen en minder tijdsgebruik. MAAR voldoende voorkennis noodzakelijk en ingebouwde evaluatie minder positief beoordeeld Onderzoek suggereert positieve attitudes en positieve leerwinst. Maar er moet aandacht zijn voor voorkennisniveau.

33 ICT en informatieintegratie Integratie: gebruik en hergebruik van opgeslagen informatie: problemen oplossen, vragen beantwoorden, toepassen van kennis, enz. Typische ICT-toepassingen: –(1) tutorials met ingebouwde evaluatie –(2) computersimulaties –(3) computer games

34 Informatieintegratie: tutorial/evaluatie Clark, Watson, Cobb, Reeve, Swann, & Macfarlane (2000) -Tutorial met tests over cardiopulmonary herstel: betere beheersing basiskennis, maar geen betere testscores in praktijksituaties. Mehrabi, Glückstein, Benner, Hashemi, Herfarth, and Kallinowski (2000) – CAL + quizzes: significant hogere scores bij vergelijking met F2F lectures. Mullins, Will, Mehta, and Novelline (2001): ICT om te testen of medische studenten geschikt zijn voor een radiologiestage: ICT efficiënt (tijdswinst en lagere kosten) en effectiever (betere score).

35 Informatieintegratie: tutorial/evaluatie Fritze et al (2002): positieve appreciatie van zelftestvragen Rawson & Quinlan (2002) – CAL met ingebouwde testvragen: novices begrijpen beter de kernaspecten van medical cases Hulksman et al. (in press) – videogebaseerde toetsing van communicatievaardigheden (N=200): reliable toetsbenadering Kim et al. (2002) – F2F versus tutorial in radiologieonderwijs met continue toetsing: geen significante verschillen, MAAR tutoriol wel meer efficiënt (minder tijd en minder stafinzet)

36 ELERA-system (

37 Informatieintegratie: tutorial/evaluatie Grunewald et al. (2004) – ELERA een Internet-gebaseerde toetsomgeving voor radiologie (2200 cases). Essentieel is dat de database aangevuld wordt op lange termijn opbouw van vaardigheden te garanderen (open source) The available research evidence helps to confirm the efficiency/efficacy of ICT- supported assessment approaches.

38 Nelson et al., 2005: simulatie thuisverpleging

39 Informatie-integratie: simulatie SURF onderwijsdagen: centraal thema Nelson et al. (2005): Simulatie van thuisverpleging: hoger zelfvertrouwen bij probleemaanpak en nemen van beslissingen, meer aandacht voor holistische benadering patiënt. Maar essentieel is inbedding in een probleemgestuurde aanpak! Zie idem Nackman et al. (2003) Brunner et al (2003) training met een computersimulatie voor laparascopie: opvallend is dat novices sterk verschillen in het aantal trials dat noodzakelijk is om een minimum- beheersingsniveau te bereiken. Aantal noodzakelijke pogingen hoger dan aanvankelijk gedacht (21 tot 30 pogingen; 7 uur training). Kim et al. (2002) - computersimulatie voor radiologieonderwijs. Initieel tekstgebaseerde conditie beter; ICT lange termijn impact. MAAR novices moeilijkheden met noodzakelijke voorkennis.

40 Informatie-integratie: simulatie Di Giulio et al. (2004) - simulatie voor endoscopy (N = 420): simulaties leiden tot meer complete procedures, vragen minder ondersteuning en positieve houding. MAAR: novices staan centraal. Engum et al. (2003) – simulatie om te leren katheders plaatsen: geen significant verschil met klassieke aanpak. En lagere satisfactie in computerconditie

41 Informatie-integratie: simulatie Meier et al. (2005) – simulatiegebaseerd curriculum van stand-by situaties gedurende een stage: de simulatie verhoogde significant het zelfvertrouwen. Conclusies: simulaties effectief en efficiënt, MAAR hou rekening met novices, noodzakelijke voorkennis/onderliggende vaardigheden, de context en grote individuele verschillen in leertijd.

42 Informatie-integratie: games Het Gaming project van SURFnet en Kennisnet Howell (2005) – overzicht van ICT-games en evaluatieonderzoek: veel beschrijvend onderzoek Mann et al. (2002) – computerspel m.b.t. management van borstkanker bij patiënten. patiënt op onderzoek sturen, mammografie, ultrageluid, administratief beheer,, … : significante leerwinst m.b.t. procedures. Veel aandacht, maar weinig evaluatief onderzoek.

43 ICT: communicatiecomponent Communicatie met lesgever/expert Communicatie tussen studenten: samenwerkend leren

44 ICT communication: teleteaching Real-time teaching via het Internet teleteaching. Verrijking contactonderwijs; bijv. tijdens lezing krijgt men videotoegang tot een operatie.

45 ICT communication: teleteaching Filler et al.(2000) - haalbaarheidsonderzoek: positief. Jenkins et al. (2001) – afstandsonderwijs: hoge tevredenheid. MAAR drop-out en lage participatie op termijn. ICT-vaardigheden van potentiële studenten (zij- instromers) Dugas et al. (2000) – Online cursus spoedgeneeskunde + online discussie van student input (N=138): hoge scores. Conclusie: Geprojecteerde voordelen van teleteaching zijn groot en benadrukken efficiëntie. Opvallend dat de literatuur veel projecten beschrijft maar er weinig harde evaluatiegegevens te vinden zijn.

46 Communicatie: samenwerkend leren Johnson & Johnson (1996) en Slavin (1996): overduidelijke evidence m.b.t. effectiviteit van samenwerkend leren (performance, motivatie, tevredenheid) Voorwaarden: –Individuele verantwoordelijkheid –Groepsverantwoordelijkheid –Ontwikkel samenwerkingsvaardigheden –Stel duidelijke leerdoelen voorop –Combineer met F2F

47 Communicatie: samenwerkend leren Smeets, 2005

48 SCHELLENS, T*., VAN KEER, H., DE WEVER, B., VALCKE, M. (in press). Tagging Thinking Types in Asynchronous Discussion Groups: Effects on Critical Thinking. Interactive Learning Environments

49 SCHELLENS, T*., VAN KEER, H., DE WEVER, B., VALCKE, M. (in press). Tagging Thinking Types in Asynchronous Discussion Groups: Effects on Critical Thinking. Interactive Learning Environments

50

51

52 S. TIMMERS, M. VALCKE*, K. DE MIL & W.R.G. BAEYENS (in press). The Impact of Computer Supported Collaborative Learning on Internship Outcomes of Pharmacy Students. Interactive Learning Environments

53 S. TIMMERS, M. VALCKE*, K. DE MIL & W.R.G. BAEYENS (in press). The Impact of Computer Supported Collaborative Learning on Internship Outcomes of Pharmacy Students. Interactive Learning Environments

54 Communicatie: samenwerkend leren Innovatieve ICT toepassingen door samenwerking en afspraken (Surf OD 2005) Beers (2005), Schellens et al. (2004, 2005), Strijbos (2004), Kirschner (2005): overtuigende impact van samenwerkend leren via CSCL

55 Communicatie: samenwerkend leren Ortega et al. (2003) ontwikkelen van medisch redeneren en probleemoplossingsvaardigheden via CSCL. Lou et al. (2001) - meta-analyse 122 studies: samenwerken met ICT is effectief; maar wel grote individuele en groepsverschillen Zeer veel aandacht voor condities, affordances zie Vb.

56

57

58

59 ICT communication: collaboration Rogers et al. (2000): vaardigheden ontwikkelen zich beter in een individuele setting dan in een groepssetting. Let op: studie met novices. Conclusie: onderzoek schuift een zeer positief beeld naar voren. Aandacht nodig voor aard van de verwachte leerresultaten, type student (novice?), ondersteuning, taakstructuur, groepssamenstelling, …

60 Mesolevel Delivery issues in relation to flexibility Characteristics of target audience Microlevel ICT Information component Communication component

61 ICT op mesoniveau Perspectieven: –ICT en flexibiliteit –ICT impact op curriculum –Repositories

62 ICT en flexibiliteit van onderwijs ICT –Tijd –Plaats –Pacing –Doelpubliek

63 real-world experiments at a distance: Scanlon et al. (2005)

64 ICT en flexibiliteit van onderwijs Scanlon et al. (2004): effectiviteit en efficiëntie van real-world experiments at a distance. Leerproces duurt wel langer dan in real-life lab (samenwerking!) Grunewald et al. (2003) - radiologie website: evidence die flexibiliteit in tijd, plaats en leertempo onderbouwt. Idem bij Durfee et al. (2003) remote access is het grootste voordeel bij gevorderde studenten (96% of 4de jaar medisch onderwijs).

65 ICT en flexibiliteit van onderwijs Mukundan, Vydareny, Vassallo, Irving, and Ogaoga (2003) - telemedicine systeem Solomon Eilanden - evaluatieonderzoek: flexibiliteit en efficiëntie van model. Low-cost en opschaalbaar. Stain et al., (2005) – videoconferentiegebaseerde lezingen: even effectief als traditionele aanpak. Efficiënter door tijdswinst en reductie in reiskosten (medische context!). De Wever et al. (2005) - asynchronous discussies tijdens stages: efficiëntie wordt onderstreept door studenten.

66 ICT en flexibiliteit van onderwijs Salomonson et al (2004) combinatie van F2F en webgebaseerde verpleegsteropleiding. Studenten met hogere eindscores verkozen F2F. Onderzoek benadrukt meer ondersteuning bij overgang naar webgebaseerd leren. Johnson et al. (2004) - web-based courseware system to foster just-in-time education : system was considered as efficient and effective. End-users raise some concerns about the quality of technical instructions and feedback. Masiello et al. (2005) - focus op mate waarin studenten klaar zijn voor een online cursus: voorwaardelijke IT competenties OK. Maar negatieve attitude t.o.v. vele lezen vanaf scherm en het volledig vervangen van F2F door online cursus.

67 ICT en flexibiliteit van onderwijs Conclusie: flexibiliteit wordt bereikt maar er is voldoende aandacht nodig voor context en doelpubliek (verwachtingen!).

68 ICT in het curriculum ICT als onderdeel van curriculum: –Element van professionele competenties –Nodig om kennistoename bij te houden –ICT vaardigheden om bijv. te vermijden dat men wordt als een “a clinician who is unable to access or handle new electronic technology (is) left with the significant risk of being unable to provide optimal evidence-based care” (Nattestad et al., 2002).

69 ICT in het curriculum Evidence die nood aan een aangepast curriculum onderstreept? Logan & Price (2004) valideerden bijv. een aangepast curriculum voor medische informatici. Murphy et al. (2004) - nationaal onderzoek UK: IT-skills van medische studenten onvoldoende ontwikkeld + consensus over een national IT curriculum. Niveau IT training van staf is kritisch.

70 Learning repositories Gedurfde onderwijsrepositories: LOREnet (Open Archives Initiative) Zeer grote aandacht voor opbouw van bestanden aan herbruikbare leermaterialen. Geueke & Stausberg (2003) voorbeeld van grote repository herbruikbare leerobjecten (zie afdruk).

71

72

73 Wagner et al. (2005): webgebaseerde radiologietraining. Nadruk op grote repository beeldmateriaal: hoge appreciatie. Hoog gebruik voor zelfstudie en als ondersteuning bij onderwijs. Docherty et al. (2005): elearning omgeving gebaseerd op grote verzameling « high quality objects ». Positieve attitude en significant leereffect. Maar duidelijke link met PBL aanpak in opleiding.

74 Learning repositories Op dit moment weinig evaluatief onderzoek over impact gebruik repositories. Wel grote verwachtingen.

75 Conclusies ICT in het onderwijs dient zich te richten op wat we concreet nastreven, de context, de condities en de kenmerken van het doelpubliek Is ICT effectief? Verkeerde vraag! –Jacobsen (2001): The major question is now: under what circumstances, in what particular learning environment, with what type of students and in view of what kind of learning tasks, does ICT have an impact? Impact van ICT is positief WANNEER … –In combinatie met reële ervaringen –Indien voldoende voorkennis –Er rekening gehouden wordt met verschil novice-gevorderde student –Stafontwikkeling Meest overtuigende impact: –Microniveau: samenwerkend leren –Mesoniveau: flexibiliteit

76 Evidence-based ICT gebruik in het HO Wat werkt en waarom? Martin Valcke Universiteit Gent, Vakgroep Onderwijskunde UM Maastricht, 04 april