Verschilmetingen Geraldine Clarebout CIP&T / itec K.U.Leuven Studiedag OOF project: Didactische scenario’s voor een goed gebruik van webcolleges09/02/2010
Pre-test Interventie Controle groep Experimentele groep Post-test
Basismeting van aantal lerende kenmerken: –Voorkennis –Motivatie (bv. Doeloriëntatie) Belang van betrouwbaar meetinstrument Doel: - zicht krijgen op wat basiskennis /motivatie is van lerenden en of een interventie hier iets aan verandert. - vergelijkingspunt hebben Pre-test
Random toewijzing aan groepen of matching Alle variabelen gelijk (zowel lerende kenmerken, als omgevingskenmerken) in de twee groepen behalve voor interventievariabele Duidelijk omschrijven wat in controle groep en experimentele groep moet gebeuren Om statistische vergelijking zinvol te kunnen doen 20 lerende per conditie Procesvariabelen meten => bv. Log files Intervention Controle groep Experimentele groep
Na meting op zelfde variabelen als pre-test Indien kennistest: parallelvragen Indien groepen gelijk enkel post-test gegevens om effect na te gaan Significantie test + effectgroottes Post-test
Maar… Vaak bestaande groepen Niet altijd mogelijk om twee groepen te vergelijken “ecologische setting” ~ meer verschillen dan enkel de te onderzoeken interventie Korte interventie => mogelijks novelty effect
Toch? in kaart brengen van verschillen tussen groepen Observaties, procesmaten ter controle Indien geen controlegroep, vergelijking met gegevens van vorige jaren, mogelijks vertekening door andere groep
Toegepast op OOF-project Selectie van aantal vragen –Bereikt een instructiefilmpje (stappenplan) beter het behalen van de doelen van de voorbereiding dan een geschreven handleiding ? Indicatoren: Perceptie van studenten mbt effect van de huidige aanpak versus nieuwe aanpak op de voorbereiding. Bedenking: percepties zeggen niets over effect. Idealiter: groep met handleiding, groep met stappenplan Indien niet mogelijk: bevraging docent: zijn studenten beter voorbereid in vergelijking met andere jaren? Aantal projecten die percepties van studenten als indicator willen nemen - kan inzicht geven in gepercipieerde nuttigheid van filmpje - zegt nog niets over gebruik => log files - zegt niets over effectiviteit
–Effectiviteitsvraag van monitoraten: verhogen door FAQ in webcolleges; of efficientievraag: efficienter gebruik van monitoraat Moeilijk groep studenten in te delen in twee groepen Vergelijking met voorgaande jaar Indicatoren van effectiviteit en efficientie? –Meer gebruik van weblectures? Vergelijken groep met interventies, versus controle Indien geen twee groepen, vergelijken met vorig jaar Bevraging docenten
Algemeen Belangrijk om indicatoren zeer duidelijk te definiëren –Hoe ga je ze meten? Geen effect van webcollege op zich, maar meer tijd, visualisering, structuur
Vragen? Contact: