Studietijdmetingen: een doel of een middel? Steven Huyghe K.U.Leuven

Presentatie over: "Studietijdmetingen: een doel of een middel? Steven Huyghe K.U.Leuven"— Transcript van de presentatie:

1 Studietijdmetingen: een doel of een middel? Steven Huyghe K.U.Leuven
Plenaire sessie 1.2 Studietijdmetingen: een doel of een middel? Steven Huyghe K.U.Leuven

2 Studietijdmetingen: een doel of een middel?
“Opstarten ?” “Opzetten ?” “Opvolgen ?”

3 Is een studietijdmeting wel een goed idee?
Opstarten: Is een studietijdmeting wel een goed idee? Vragen te beantwoorden vooraleer we starten: 1) Wat is de aanleiding? I.k.v. visitatievoorbereiding: decretale verplichting I.k.v. interne kwaliteitszorg: cyclisch of ad hoc meten Opvolging visitatie N.a.v. klachten van studenten Bezorgde docenten Ter controle van een programmawijziging … Combinatie van …

4 Is een studietijdmeting wel een goed idee?
Opstarten: Is een studietijdmeting wel een goed idee? Vragen te beantwoorden vooraleer we starten: 1) Wat is de aanleiding? 2) Wat willen we te weten komen? Reëel bestede studietijd versus begrote op opo-niveau en/of op opl-niveau Spreiding van de studietijd doorheen het semester Studentenkenmerken en studietijd Studiebevorderende en –belemmerende factoren Inleverdata opdrachten Beschikbaarheid studiemateriaal …

5 Is een studietijdmeting wel een goed idee?
Opstarten: Is een studietijdmeting wel een goed idee? Vragen te beantwoorden vooraleer we starten: Wat is de aanleiding? 2) Wat willen we te weten komen? 3) Wat wil de opleiding ermee doen? Enkele mooie rapportjes hebben … Bewijsmateriaal t.o.v. bepaalde docenten/opo’s … Of als MIDDEL in kwaliteitsverbetering/onderwijsontwikkeling: Kwaliteit van opo’s verbeteren Kwaliteit van de opleiding verbeteren

6 Is een studietijdmeting wel een goed idee?
Opstarten: Is een studietijdmeting wel een goed idee? Vragen te beantwoorden vooraleer we starten: Wat is de aanleiding? Wat willen we te weten komen? Wat wil de opleiding ermee doen? Werken aan kwaliteitsverbetering/onderwijsontwikkeling Moet er wel gemeten worden? Een meting zonder (ondersteuning voor) opvolging is het werk niet waard… (PDCA!)

7 Opzetten: Wat is nu de beste methode?
De methodes: Tijdschrijven (TS): wekelijks tijd schatten Absoluut schatten achteraf (SA): einde semester schatten (Relatief schatten) Focusgroep: hearing/groepsinterview Vragenlijst studeerbaarheid

8 Hoe zetten we een studietijdmeting op?
Opzetten: Wat is nu de beste methode? Wat wil de opleiding te weten komen? Reëel bestede studietijd versus begrote op opo-niveau en/of op opl-niveau Spreiding van de studietijd doorheen het semester Studentenkenmerken en studietijd Studiebevorderende en –belemmerende factoren Legende: - Studietijd betekent hier uitgedrukt in cijfers - TS: tijdschrijven, SA: Schatten achteraf, VL: vragenlijsten, FG: focusgroep/hearing - 1: 1° keuze methode voor deze vraag, 2: te overwegen methode met nadelen, 0: geeft geen antwoord op de vraag TS SA VL FG 2 1

9 Wat is nu de beste methode?
Opzetten: Wat is nu de beste methode? Methode kiezen op basis van de volgende 2 vragen: Wat wil de opleiding te weten komen? Hoe ziet de context er uit waarin we willen meten? Aantal studenten in de opleiding? Plichtvakken versus keuzevakken/minoren/specialisaties? (Aantal studenten per opo) Studentenkenmerken (subpopulaties)? Slaagkansen (normstudent)? Verwachte responsgraad online, papier, klassikaal? Streefcijfers: - Minstens 25 respondenten om statistisch zinvolle interpretaties te maken (TS, SA, VL-Likert scores) - Bij responsgraad van minder dan 50% is representativiteit niet gegarandeerd (SA, VL-Likert scores)

10 Opvolgen? Interpreteren, remediëren maar ook reflecteren
Studietijdschatting i.p.v. meting Meten = schatten 1 week (TS) tot enkele maanden na de feiten (SA) “Gemiddelde student” en “gemiddelde studietijd” ??? Hou rekening met de spreiding en het betrouwbaarheidsinterval rond het gemiddelde.

11 Opvolgen? Interpreteren, remediëren maar ook reflecteren
Studietijdschatting i.p.v. meting Wanneer te hoog of te laag? Minimum respons gehaald? Responsgraad/representativiteit OK? Homogene populatie of grote diversiteit (spreiding)? Decreet: uur/studiepunt. Interpreteer ook met intervallen: 95% betrouwbaarheidsinterval rond het gemiddelde Overlap = aanvaardbaar, geen overlap = problematisch (SA)

12 Opvolgen? Interpreteren, remediëren maar ook reflecteren
Twee Drie Vier Vijf

13 Opvolgen? Interpreteren, remediëren maar ook reflecteren
Studietijdschatting i.p.v. meting Wanneer te hoog of te laag? Minimum respons gehaald? Responsgraad/representativiteit OK? Homogene populatie of grote diversiteit (spreiding)? Decreet: uur/studiepunt. Interpreteer ook met intervallen: Betrouwbaarheidsinterval rond het gemiddelde Overlap = aanvaardbaar, geen overlap = problematisch (SA) 20-25 en = waarschuwing minder dan 20 of meer dan 30 = problematisch (TS + SA)

14 Opvolgen? Interpreteren, remediëren maar ook reflecteren
Twee Drie Vier Vijf Zes problematisch problematisch waarschuwing binnen de norm waarschuwing

15 Opvolgen? Interpreteren, remediëren maar ook reflecteren
Studietijdschatting i.p.v. meting Wanneer te hoog of te laag? Contextualisering van de gegevens Het rapport is altijd eerst een “draft” die besproken wordt met de opleiding/docent en dan pas verspreid: Foutjes er uit laten halen Een afwijking heeft soms andere oorzaken Interpretatie zonder de context te kennen heeft weinig zin

16 Opvolgen? Interpreteren, remediëren maar ook reflecteren
Studietijdschatting i.p.v. meting Wanneer te hoog of te laag? Contextualisering van de gegevens Afwijkingen zijn niet noodzakelijk slecht en vice versa Een perfect opgezet opo kan een afwijkende studietijd hebben Een opo met een studietijd binnen de grenzen is niet altijd een goed uitgewerkt opo

17 Opvolgen? Interpreteren, remediëren maar ook reflecteren
Studietijdschatting i.p.v. meting Wanneer te hoog of te laag? Contextualisering van de gegevens Afwijkingen zijn niet noodzakelijk slecht en vice versa Het opl- en opo perspectief in de opvolging OPL: Discussie op gang brengen met docenten, studenten,… Studiepunten aanpassen Opleidingsdoelstellingen bijsturen Inhoud tussen opo’s wijzigingen (vertikaal en horizontaal) … OPO:

18 Opvolgen? Interpreteren, remediëren maar ook reflecteren
Studietijdschatting i.p.v. meting Wanneer te hoog of te laag? Contextualisering van de gegevens Afwijkingen zijn niet noodzakelijk slecht en vice versa Het opl- en opo perspectief in de opvolging OPL: Discussie op gang brengen met docenten, studenten,… OPO: De leeromgeving in kaart brengen en bijsturen Doelstellingen bereikt? Rekening gehouden met de studentenkenmerken? Werkvormen adequaat gebruikt? Werden de studenten voldoende geactiveerd? Voldoende of teveel begeleiding? Evaluatie voldoende of te veeleisend?

19 Studietijdmetingen: een doel of een middel?
Opvolgen? Interpreteren, remediëren maar ook reflecteren Bv.: Tijdschrijven: Spreiding van de studietijd doorheen het semester (opo en opleiding) Gemiddelde studietijd per week zonder betrouwbaarheidsinterval Verdeling van de studietijd volgens activiteit (contacttijd, opdrachten, verwerking, blok,…) En wat kan de opleiding er mee doen? Werken aan de studiespreiding in de lesweken: activerende werkvormen en/of tussentijdse evaluaties introduceren Relatieve zwaarte van opo’s bijsturen: qua doelstellingen, inhoud, evaluatie, leeractiviteiten, aantal studiepunten Relatieve zwaarte van leeractiviteiten binnen één opo bijsturen: extra opdrachten, andere werkvormen,… Leeractiviteiten binnen een opleiding op elkaar afstemmen: piekbelasting vermijden of induceren …

20 Studietijdmetingen: een doel of een middel?
Een middel natuurlijk… Welke factoren zijn hiervoor verantwoordelijk? 1) Opstarten 2) Opzetten 3) Opvolgen … Op onderzoek! Succesfactoren in kwaliteitsverbetering