De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

1 Evidence-based kijken naar leren met ICT Martin Valcke Universiteit Gent, Vakgroep Onderwijskunde Expertisecentrum Open – Afstandsonderwijs 20 april.

Verwante presentaties


Presentatie over: "1 Evidence-based kijken naar leren met ICT Martin Valcke Universiteit Gent, Vakgroep Onderwijskunde Expertisecentrum Open – Afstandsonderwijs 20 april."— Transcript van de presentatie:

1 1 Evidence-based kijken naar leren met ICT Martin Valcke Universiteit Gent, Vakgroep Onderwijskunde Expertisecentrum Open – Afstandsonderwijs 20 april 2007

2 2 Gebaseerd op Valcke, M., & De Wever, B. (2006). Information and communication technologies in higher education: evidence-based practices in medical education. Medical Teacher, 28,

3 3 Structuur Alternatieve analyse van ICT-onderzoek ICT ondersteunt informatiepresentatie ICT ondersteunt informatieorganisatie ICT ondersteunt integratie van informatie ICT ondersteunt communicatie & actie ICT ondersteunt mesoniveau aspecten: flexibiliteit, curriculum, repositories

4 4 Conclusies ICT in het onderwijs dient zich te richten op wat we concreet nastreven, de context, de condities en de kenmerken van het doelpubliek Is ICT effectief? Verkeerde vraag! –Jacobsen (2001): The major question is now: under what circumstances, in what particular learning environment, with what type of students and in view of what kind of learning tasks, does ICT have an impact? Impact van ICT is positief WANNEER … –In combinatie met reële ervaringen –Indien voldoende voorkennis –Er rekening gehouden wordt met verschil novice-gevorderde student –Stafontwikkeling Meest overtuigende impact: –Microniveau: multipele representaties en samenwerkend leren –Mesoniveau: flexibiliteit

5 5 Meta-analyse: ICT & onderwijs Kulik (2003): impact van ICT niet duidelijk en tegenstrijdige resultaten van evaluatiestudies. Overzichtsstudies: geen eenduidige resultaten Burns & Ungerleider, 2003; Cox et al., 2004, Educational Testing Service, 2002; Liao, 2005: Murphy et al., 2001; Schachter, 1999; Shlechter, 1991; Siegel, 1994; Waxman et al., 2002; Waxman et al., 2003 Letterie (2003): “Weinig studies met een goed onderzoeksdesign leveren positieve resultaten op van ICT in vergelijking met traditioneel onderwijs. Toekomstige vergelijkende evaluatieonderzoeken moeten vooral beter aangeven wat de precieze verwachte rol is van ICT in het onderwijs: “better define their precise role” (ibid, p.849).

6 6 Meta-analysis Letterie (2003): –Discussie over de kwaliteit van het uitgevoerde onderzoek Is het überhaupt mogelijk om tot een ultiem antwoord te komen over de waarde van ICT in het onderwijs? –De afhankelijke variabelen zijn te divers (scores, tijd tevredenheid, zelfvertrouwen, haalbaarheid, …) –Onafhankelijke variabelen te divers –Contexten/omstandigheden/doelpubliek te divers

7 7 Meta-analysis: alternative approach Analysestructuur? Alle « ICT en Onderwijs » studies Subset 2 Subset 1 Subset 3 Subset 4 Subset n

8 8 Mesoniveau Flexibiliteit Opbouw curriculum Kenmerken doelpubliek Microlevel ICT in relatie tot het feitelijke leerproces

9 9 Mesoniveau Delivery issues in relation to flexibility Characteristics of target audience Microniveau ICT Informatie component Communicatie component “Future studies of computer-assisted instruction that include comparisons and cost-assessments to gauge their effectiveness over traditional methods may better define their precise role (Letterie, 2003, p.849).”

10 10 Microniveau: Informatiecomponent Algemene hypothese: ICT ondersteunt de informatieverwerking van lerenden Leerproces centraal

11 11 Presentatie informatieVerwerken informatieIntegreren informatie MM presentatie Zintuiglijk Geheugen Werk- Geheugen Lange Termijn Geheugen Woorden Beelden Gehoor Gezicht Geluid Beeld Verbaal Model Visueel Model Voorkennis Integratie Organisatie Mayer (2001) and Paivio (1986)

12 12 ICT: informatiecomponent 1.Informatie wordt gepresenteerd, geselecteerd door de lerende en opgeslagen in zintuigelijk geheugen. 2.Information wordt georganiseerd in werkgeheugen. Cognitieve structuren worden opgebouwd (schema’s, mentale modellen). Organisatie impliceert relateren, verbinden, vergelijken, ordenen van informatie en impliceert ophalen informatie uit lange termijn geheugen. 3.Integratie van nieuwe schema’s en reeds aanwezige schema’s: verdere elaboratie en organisatie van informatie in geheugen.

13 13 Mesoniveau Delivery issues in relation to flexibility Characteristics of target audience Microniveau ICT Informatie component Communicatie component

14 14 Delivery issues in relation to flexibility Characteristics of target audience Microlevel ICT Information component Communication component Informatie component Welk ‘empirical evidence’ is er voor de impact van ICT in het onderwijs voor wat betreft: - Presenteren van informatie - Organiseren van informatie - Integreren van informatie

15 15 ICT ondersteunt informatie presentatie Praktische relevantie: Meer complex en authentiek leermateriaal (imaging, virtuele realiteit, 3D, CAVE- technologie, relatie onderwijs-praktijk) Theoretische relevantie: - multipele representaties leiden tot rijkere schemaopbouw - impact op cognitieve belasting (beeld en geluid naast tekst)

16 16 Didiclass Casusbank, 2005, OUNL, RdMC

17 17 ICT fosters information presentation Toevoegen multimedia in ICT verhoogt retentie en transfer van kennis (Mayer en co, 2000 … 2005) maar dit kan verschillen in andere kennisdomeinen (De Westelinck & Valcke, 2004, 2005). Visualisatie tools verhogen verwerving van begrippen (Barak & Dori, 2005). Durfee, Jain & Shaffer (2003) - analyse 48 ICT-gebaseerde radiologiecursussen: grafische representatie underused Roubidoux, Chapman, and Piontek (2002) - web-gebaseerd “breast imaging game”: werd verkozen door studenten; positieve appreciatie en hoog niveau van – zelfgerapporteerde - kennisverwerving. Biasutto, Caussa, & Criado del Rı´o (2005) – vergelijking tussen hands-on lijken dissectie versus een ICT-gebaseerde omgeving of een mengvorm: mengvorm is superieur. De hands-on ervaring is essentieel om voldoende visuele en tactiele ervaring op te doen wat o.a. het leren in ICT-gebaseerde presentatie kan ondersteunen.

18 18 Toepassing CAVE technologie; wandelen in een beenstructuur (Kral, 2004)

19 19

20 20 On-line mentoring bij vreemde talen onderwijs en enculturatie (Sims & Pike, 2005).

21 21 ICT fosters information presentation Kral (2004) - CAVE to teach pathologies, real life patient data. Cantoni et al. (2004) visual eLearning (bijv. streaming video) : grotere betrokkenheid, motivatie, beter inzicht en meer herinneren Brenton et al. (2005): multimedia en Web3D bij anatomieonderwijs: géén evaluatie Chittaro et al. (2005): overzicht Web3D onderzoek; veel positieve resultaten maar lage betrouwbaarheid. Hoge satisfactie. Transferwaarde vooral in beginfasen van training: ‘‘what sort of training shows transfer, in what conditions, to what extent and how robust the transferred training has proved to be’’

22 22 ICT fosters information presentation Gallagher et al. (1999): VR leidt tot superieure performance bij bepaalde chirurgische ingrepen (laparoscopie), maar niet bij andere. Bain & Biller (2004) – CD-ROM met casus neurologische afwijkingen (audiovisuele casusbeschrijvingen): significant positieve impact, efficiënt bij grote studentenaantallenen tekort aan staf. Als aanvulling naast bijv. ‘bedside teaching’. ICT positieve impact MAAR combinatie met hands-on realiteit blijft belangrijk om informatiepresentatie betekenisvol te maken. ICT impact kan verschillen in kennisdomeinen. Inbedden ICT-gebruik in ruimere instructiesetting

23 23 Delivery issues in relation to flexibility Characteristics of target audience Microlevel ICT Information component Communication component Informatie component Welk ‘empirical evidence’ is er voor de impact van ICT in het onderwijs voor wat betreft: - Presenteren van informatie - Organiseren van informatie - Integreren van informatie

24 24 ICT en informatieorganisatie Hoger onderwijs: grote nadruk op verwerking van grote hoeveelheden aan complexe informatie. Informatieorganisatie impliceert structureren, vergelijken, ordenen, relateren en analyseren van nieuwe informatie.

25 25 ICT en informatieorganisatie Lison, Günther, Ogurol, Pretschner, and Wischnesky (2004) - eBooks Informatie- organisatie

26 26

27 27 ICT en informatieorganisatie New York University school of Education - 3D applicatie om 3D representaties van de schedel, buikholte en ruggenmerg te manipuleren. Positieve ervaringen MAAR studenten moeten over geschikte voorkennis beschikken over anatomische structuren. Masiello et al. (2005) On-line microbiologie cursus (ondersteunende online syllabus). Studenten geven uitdrukkelijk aan dat gebruik dient te gebeuren in een combinatie met contactonderwijs en evt. groepswerk.

28 28

29 29

30 30

31 31

32 32

33 33 Wagner et al. (2005) webgebaseerde radiologietraining. Nadruk op grote repository beeldmateriaal: hoge appreciatie. Hoog gebruik voor zelfstudie en als ondersteuning bij onderwijs.

34 34

35 35 ICT en informatieorganisatie Pallikarakis (2005) Webgebaseerd afstandsonderwijs over medical image processing: drie niveaus van complexiteit in begrippen. Studenten rapporteren positieve ervaringen en minder tijdsgebruik. MAAR voldoende voorkennis noodzakelijk en ingebouwde evaluatie minder positief beoordeeld Onderzoek suggereert positieve attitudes en positieve leerwinst. Maar er moet aandacht zijn voor voorkennisniveau.

36 36 Delivery issues in relation to flexibility Characteristics of target audience Microlevel ICT Information component Communication component Informatie component Welk ‘empirical evidence’ is er voor de impact van ICT in het onderwijs voor wat betreft: - Presenteren van informatie - Organiseren van informatie - Integreren van informatie

37 37 ICT en informatieintegratie Integratie: gebruik en hergebruik van opgeslagen informatie: problemen oplossen, vragen beantwoorden, toepassen van kennis, enz. Typische ICT-toepassingen: –(1) tutorials met ingebouwde evaluatie –(2) computersimulaties –(3) computer games

38 38 Informatieintegratie: tutorial/evaluatie Clark, Watson, Cobb, Reeve, Swann, & Macfarlane (2000) -Tutorial met tests over cardiopulmonary herstel: betere beheersing basiskennis, maar geen betere testscores in praktijksituaties. Mehrabi, Glückstein, Benner, Hashemi, Herfarth, and Kallinowski (2000) – CAL + quizzes: significant hogere scores bij vergelijking met F2F lectures. Mullins, Will, Mehta, and Novelline (2001): ICT om te testen of medische studenten geschikt zijn voor een radiologiestage: ICT efficiënt (tijdswinst en lagere kosten).

39 39 Informatieintegratie: tutorial/evaluatie Fritze et al (2002): positieve appreciatie van zelftestvragen Rawson & Quinlan (2002) – CAL met ingebouwde testvragen: novices begrijpen beter de kernaspecten van medical cases Hulksman et al. (in press) – videogebaseerde toetsing van communicatievaardigheden (N=200): reliable toetsbenadering Kim et al. (2002) – F2F versus tutorial in radiologieonderwijs met continue toetsing: geen significante verschillen, MAAR tutorial wel meer efficiënt (minder tijd en minder stafinzet)

40 40 ELERA-system (www.elera.de)

41 41 Informatieintegratie: tutorial/evaluatie Grunewald et al. (2004) – ELERA een Internet-gebaseerde toetsomgeving voor radiologie (2200 cases). Essentieel is dat de database aangevuld wordt op lange termijn opbouw van vaardigheden te garanderen (open source) The available research evidence helps to confirm the efficiency/efficacy of ICT- supported assessment approaches.

42 42 Nelson et al., 2005: simulatie thuisverpleging

43 43 Informatie-integratie: simulatie SURF onderwijsdagen: centraal thema Nelson et al. (2005): Simulatie van thuisverpleging: hoger zelfvertrouwen bij probleemaanpak en nemen van beslissingen, meer aandacht voor holistische benadering patiënt. Maar essentieel is inbedding in een probleemgestuurde aanpak! Zie idem Nackman et al. (2003) Brunner et al (2003) training met een computersimulatie voor laparascopie: opvallend is dat novices sterk verschillen in het aantal trials dat noodzakelijk is om een minimum- beheersingsniveau te bereiken. Aantal noodzakelijke pogingen hoger dan aanvankelijk gedacht (21 tot 30 pogingen; 7 uur training). Kim et al. (2002) - computersimulatie voor radiologieonderwijs. Initieel tekstgebaseerde conditie beter; ICT lange termijn impact. MAAR novices moeilijkheden met noodzakelijke voorkennis.

44 44 Informatie-integratie: simulatie Di Giulio et al. (2004) - simulatie voor endoscopy (N = 420): simulaties leiden tot meer complete procedures, vragen minder ondersteuning en positieve houding. MAAR: novices staan centraal. Engum et al. (2003) – simulatie om te leren katheders plaatsen: geen significant verschil met klassieke aanpak. En lagere satisfactie in computerconditie

45 45 Informatie-integratie: simulatie Meier et al. (2005) – simulatiegebaseerd curriculum van stand-by situaties gedurende een stage: de simulatie verhoogde significant het zelfvertrouwen. Conclusies: simulaties effectief en efficiënt, MAAR hou rekening met novices, noodzakelijke voorkennis/onderliggende vaardigheden, de context en grote individuele verschillen in leertijd.

46 46 Informatie-integratie: games Het Gaming project van SURFnet en Kennisnet Howell (2005) – overzicht van ICT-games en evaluatieonderzoek: veel beschrijvend onderzoek Mann et al. (2002) – computerspel m.b.t. management van borstkanker bij patiënten. patiënt op onderzoek sturen, mammografie, ultrageluid, administratief beheer,, … : significante leerwinst m.b.t. procedures. Veel aandacht, maar weinig evaluatief onderzoek.

47 47 Mesoniveau Delivery issues in relation to flexibility Characteristics of target audience Microniveau ICT Informatie component Communicatie component

48 48 Delivery issues in relation to flexibility Characteristics of target audience Microlevel ICT Information component Communication component Communicatie component Communicatie met lesgever/expert Communicatie tussen studenten: samenwerkend leren

49 49 ICT communication: teleteaching Real-time teaching via het Internet teleteaching. Verrijking contactonderwijs; bijv. tijdens lezing krijgt men videotoegang tot een operatie.

50 50 ICT communication: teleteaching Filler et al.(2000) - haalbaarheidsonderzoek: positief. Jenkins et al. (2001) – afstandsonderwijs: hoge tevredenheid. MAAR drop-out en lage participatie op termijn. ICT-vaardigheden van potentiële studenten (zij- instromers) Dugas et al. (2000) – Online cursus spoedgeneeskunde + online discussie van student input (N=138): hoge scores. Conclusie: Geprojecteerde voordelen van teleteaching zijn groot en benadrukken efficiëntie. Opvallend dat de literatuur veel projecten beschrijft maar er weinig harde evaluatiegegevens te vinden zijn.

51 51 Delivery issues in relation to flexibility Characteristics of target audience Microlevel ICT Information component Communication component Communicatie component Communicatie met lesgever/expert Communicatie tussen studenten: samenwerkend leren

52 52 Communicatie: samenwerkend leren Johnson & Johnson (1996) en Slavin (1996): overduidelijke evidence m.b.t. effectiviteit van samenwerkend leren (performance, motivatie, tevredenheid) Voorwaarden: –Individuele verantwoordelijkheid –Groepsverantwoordelijkheid –Ontwikkel samenwerkingsvaardigheden –Stel duidelijke leerdoelen voorop –Combineer met F2F

53 53 Communicatie: samenwerkend leren Smeets, 2005

54 54 SCHELLENS, T*., VAN KEER, H., DE WEVER, B., VALCKE, M. (in press). Tagging Thinking Types in Asynchronous Discussion Groups: Effects on Critical Thinking. Interactive Learning Environments

55 55

56 56 SCHELLENS, T*., VAN KEER, H., DE WEVER, B., VALCKE, M. (in press). Tagging Thinking Types in Asynchronous Discussion Groups: Effects on Critical Thinking. Interactive Learning Environments

57 57

58 58

59 59 S. TIMMERS, M. VALCKE*, K. DE MIL & W.R.G. BAEYENS (in press). The Impact of Computer Supported Collaborative Learning on Internship Outcomes of Pharmacy Students. Interactive Learning Environments

60 60 S. TIMMERS, M. VALCKE*, K. DE MIL & W.R.G. BAEYENS (in press). The Impact of Computer Supported Collaborative Learning on Internship Outcomes of Pharmacy Students. Interactive Learning Environments

61 61 Communicatie: samenwerkend leren Innovatieve ICT toepassingen door samenwerking en afspraken (Surf OD 2005) Beers (2005), Schellens et al. (2004, 2005), Strijbos (2004), Kirschner (2005): overtuigende impact van samenwerkend leren via CSCL

62 62 Communicatie: samenwerkend leren Ortega et al. (2003) ontwikkelen van medisch redeneren en probleemoplossingsvaardigheden via CSCL. Lou et al. (2001) - meta-analyse 122 studies: samenwerken met ICT is effectief; maar wel grote individuele en groepsverschillen Zeer veel aandacht voor condities, affordances zie Vb.

63 63

64 64

65 65

66 66 ICT communication: collaboration Rogers et al. (2000): vaardigheden ontwikkelen zich beter in een individuele setting dan in een groepssetting. Let op: studie met novices. Conclusie: onderzoek schuift een zeer positief beeld naar voren. Aandacht nodig voor aard van de verwachte leerresultaten, type student (novice?), ondersteuning, taakstructuur, groepssamenstelling, …

67 67 Mesoniveau Delivery issues in relation to flexibility Characteristics of target audience Microniveau ICT Informatie component Communicatie component

68 68 Mesoniveau Delivery issues in relation to flexibility Characteristics of target audience ICT op mesoniveau Perspectieven: ICT en flexibiliteit ICT impact op curriculum Repositories

69 69 ICT en flexibiliteit van onderwijs ICT –Tijd –Plaats –Pacing –Doelpubliek

70 70 ICT en flexibiliteit van onderwijs Scanlon et al. (2004): effectiviteit en efficiëntie van real-world experiments at a distance. Leerproces duurt wel langer dan in real-life lab (samenwerking!) Grunewald et al. (2003) - radiologie website: evidence die flexibiliteit in tijd, plaats en leertempo onderbouwt. Idem bij Durfee et al. (2003) remote access is het grootste voordeel bij gevorderde studenten (96% of 4de jaar medisch onderwijs).

71 71 ICT en flexibiliteit van onderwijs Mukundan, Vydareny, Vassallo, Irving, and Ogaoga (2003) - telemedicine systeem Solomon Eilanden - evaluatieonderzoek: flexibiliteit en efficiëntie van model. Low-cost en opschaalbaar. Stain et al., (2005) – videoconferentiegebaseerde lezingen: even effectief als traditionele aanpak. Efficiënter door tijdswinst en reductie in reiskosten (medische context!). De Wever et al. (2005) - asynchronous discussies tijdens stages: efficiëntie wordt onderstreept door studenten.

72 72 ICT en flexibiliteit van onderwijs Salomonson et al (2004) combinatie van F2F en webgebaseerde verpleegsteropleiding. Studenten met hogere eindscores verkozen F2F. Onderzoek benadrukt meer ondersteuning bij overgang naar webgebaseerd leren. Johnson et al. (2004) - web-based courseware system to foster just-in-time education : system was considered as efficient and effective. End-users raise some concerns about the quality of technical instructions and feedback. Masiello et al. (2005) - focus op mate waarin studenten klaar zijn voor een online cursus: voorwaardelijke IT competenties OK. Maar negatieve attitude t.o.v. vele lezen vanaf scherm en het volledig vervangen van F2F door online cursus.

73 73 ICT en flexibiliteit van onderwijs Conclusie: flexibiliteit wordt bereikt maar er is voldoende aandacht nodig voor context en doelpubliek (verwachtingen!).

74 74 Mesoniveau Delivery issues in relation to flexibility Characteristics of target audience ICT op mesoniveau Perspectieven: ICT en flexibiliteit ICT impact op curriculum Repositories

75 75 ICT in het curriculum ICT als onderdeel van curriculum: –Element van professionele competenties –Nodig om kennistoename bij te houden –ICT vaardigheden om bijv. te vermijden dat men wordt als een “a clinician who is unable to access or handle new electronic technology (is) left with the significant risk of being unable to provide optimal evidence-based care” (Nattestad et al., 2002).

76 76 ICT in het curriculum Evidence die nood aan een aangepast curriculum onderstreept? Logan & Price (2004) valideerden bijv. een aangepast curriculum voor medische informatici. Murphy et al. (2004) - nationaal onderzoek UK: IT-skills van medische studenten onvoldoende ontwikkeld + consensus over een national IT curriculum. Niveau IT training van staf is kritisch.

77 77 ICT in curriculum ICT noodzakelijk in huidige kennismaatschappij

78 78 Mesoniveau Delivery issues in relation to flexibility Characteristics of target audience ICT op mesoniveau Perspectieven: ICT en flexibiliteit ICT impact op curriculum Repositories

79 79 Learning repositories Gedurfde onderwijsrepositories: LOREnet (Open Archives Initiative) Zeer grote aandacht voor opbouw van bestanden aan herbruikbare leermaterialen. Geueke & Stausberg (2003) voorbeeld van grote repository herbruikbare leerobjecten

80 80 Wagner et al. (2005): webgebaseerde radiologietraining. Nadruk op grote repository beeldmateriaal: hoge appreciatie. Hoog gebruik voor zelfstudie en als ondersteuning bij onderwijs. Docherty et al. (2005): elearning omgeving gebaseerd op grote verzameling « high quality objects ». Positieve attitude en significant leereffect. Maar duidelijke link met PBL aanpak in opleiding.

81 81 Learning repositories Op dit moment weinig evaluatief onderzoek over impact gebruik repositories. Wel grote verwachtingen.

82 82 Conclusies ICT in het onderwijs dient zich te richten op wat we concreet nastreven, de context, de condities en de kenmerken van het doelpubliek Is ICT effectief? Verkeerde vraag! –Jacobsen (2001): The major question is now: under what circumstances, in what particular learning environment, with what type of students and in view of what kind of learning tasks, does ICT have an impact? Impact van ICT is positief WANNEER … –In combinatie met reële ervaringen –Indien voldoende voorkennis –Er rekening gehouden wordt met verschil novice-gevorderde student –Stafontwikkeling Meest overtuigende impact: –Microniveau: samenwerkend leren –Mesoniveau: flexibiliteit

83 83 Evidence-based kijken naar leren met ICT Martin Valcke Universiteit Gent, Vakgroep Onderwijskunde Expertisecentrum Open – Afstandsonderwijs 20 april 2007


Download ppt "1 Evidence-based kijken naar leren met ICT Martin Valcke Universiteit Gent, Vakgroep Onderwijskunde Expertisecentrum Open – Afstandsonderwijs 20 april."

Verwante presentaties


Ads door Google