Verschilmetingen Geraldine Clarebout CIP&T / itec K.U.Leuven Studiedag OOF project: Didactische scenario’s voor een goed gebruik van webcolleges09/02/2010.

Presentatie over: "Verschilmetingen Geraldine Clarebout CIP&T / itec K.U.Leuven Studiedag OOF project: Didactische scenario’s voor een goed gebruik van webcolleges09/02/2010."— Transcript van de presentatie:

1 Verschilmetingen Geraldine Clarebout CIP&T / itec K.U.Leuven Studiedag OOF project: Didactische scenario’s voor een goed gebruik van webcolleges09/02/2010

2 Pre-test Interventie Controle groep Experimentele groep Post-test

3 Basismeting van aantal lerende kenmerken: –Voorkennis –Motivatie (bv. Doeloriëntatie) Belang van betrouwbaar meetinstrument Doel: - zicht krijgen op wat basiskennis /motivatie is van lerenden en of een interventie hier iets aan verandert. - vergelijkingspunt hebben Pre-test

4 Random toewijzing aan groepen of matching Alle variabelen gelijk (zowel lerende kenmerken, als omgevingskenmerken) in de twee groepen behalve voor interventievariabele Duidelijk omschrijven wat in controle groep en experimentele groep moet gebeuren Om statistische vergelijking zinvol te kunnen doen 20 lerende per conditie Procesvariabelen meten => bv. Log files Intervention Controle groep Experimentele groep

5 Na meting op zelfde variabelen als pre-test Indien kennistest: parallelvragen Indien groepen gelijk enkel post-test gegevens om effect na te gaan Significantie test + effectgroottes Post-test

6 Maar… Vaak bestaande groepen Niet altijd mogelijk om twee groepen te vergelijken “ecologische setting” ~ meer verschillen dan enkel de te onderzoeken interventie Korte interventie => mogelijks novelty effect

7 Toch? in kaart brengen van verschillen tussen groepen Observaties, procesmaten ter controle Indien geen controlegroep, vergelijking met gegevens van vorige jaren, mogelijks vertekening door andere groep

8 Toegepast op OOF-project Selectie van aantal vragen –Bereikt een instructiefilmpje (stappenplan) beter het behalen van de doelen van de voorbereiding dan een geschreven handleiding ? Indicatoren: Perceptie van studenten mbt effect van de huidige aanpak versus nieuwe aanpak op de voorbereiding. Bedenking: percepties zeggen niets over effect. Idealiter: groep met handleiding, groep met stappenplan Indien niet mogelijk: bevraging docent: zijn studenten beter voorbereid in vergelijking met andere jaren? Aantal projecten die percepties van studenten als indicator willen nemen - kan inzicht geven in gepercipieerde nuttigheid van filmpje - zegt nog niets over gebruik => log files - zegt niets over effectiviteit

9 –Effectiviteitsvraag van monitoraten: verhogen door FAQ in webcolleges; of efficientievraag: efficienter gebruik van monitoraat Moeilijk groep studenten in te delen in twee groepen Vergelijking met voorgaande jaar Indicatoren van effectiviteit en efficientie? –Meer gebruik van weblectures? Vergelijken groep met interventies, versus controle Indien geen twee groepen, vergelijken met vorig jaar Bevraging docenten

10 Algemeen Belangrijk om indicatoren zeer duidelijk te definiëren –Hoe ga je ze meten? Geen effect van webcollege op zich, maar meer tijd, visualisering, structuur

11 Vragen? Contact: Geraldine.Clarebout@kuleuven-kortrijk.be