Professionalisering Medewerkers
D o e l s t e l l i n g Professionalisering van alle bij examinering betrokken medewerkers. a. Het kunnen ontwerpen, uitvoeren en evalueren van toetsen en toetsprogramma’s op basis van kwaliteitscriteria. b. Het kunnen verantwoorden van keuzes voor toetsen en toetsprogramma’s op basis van kwaliteitscriteria. c. Het kunnen toepassen van procedures voor kwaliteitszorg.
Alle medewerkers betrokken bij toetsing zijn gecertificeerd als toetsdeskundige, tenminste op het niveau van hun betrokkenheid. a. docent b. onderwijseenheid-coördinator of studiefase-coördinator c. lid examencommissie Iedere OWE heeft een eigen specificatietabel voor het toetsprogramma Iedere toets heeft een specificatietabel inclusief beoordelingscriteria R e s u l t a a t
Landelijke voortgangstoets fysiotherapie
Ontwikkeltraject tot nu Aftrapbijeenkomst SROF 2012 Eerste bijeenkomst projectorganisatie Tweede bijeenkomst kerngroep CITO plan van aanpak. Derde bijeenkomst CITO bepalen keuze voor inhoud op basis van BOK (national transcript) Vierde bijeenkomst bepalen van keuze voor vraagvorm.
E i g e n I n t i t a t i e f Script Concordance Test
De Script Concordance Test is een schriftelijke test die het klinisch redeneren van studenten fysiotherapie beoogt te meten. De test is gebaseerd op korte klinische scenario's (scripts) gericht en heeft een antwoordsleutel die verschillen in opvatting tussen experts toelaat. De sleutel is dus niet gebaseerd op consensus tussen experts.
Aanleiding Drie studenten van Saxion Hogeschool opleiding fysiotherapie hebben het initiatief genomen om de geschiktheid van de Script Concordance Test (SCT) te onderzoeken als voortgangstoets in het kader van hun afstudeeropdracht. De HAN opleiding Fysiotherapie heeft de SCT ter beschikking gesteld voor dit experiment. De HAN heeft deze gelegenheid aangegrepen om de te toets extern te valideren door experts van Saxion en de mogelijkheid van benchmarking te verkennen.
Doelstelling Onderzoek naar de geschiktheid van de Script Concordance Test als voortgangstoets. Onderzoek naar de geschiktheid van de Script Concordance Test als Benchmark
Deelnemers Expert panel (docenten / werkveld) 14 experts Saxion 14 experts HAN 2e jaars studenten en 4e jaars studenten HAN opleiding fysiotherapie. Deelname was vrijwillig. Alle studenten hebben een ‘informed consent’ getekend.
Resultaten De interne consistentie (item-betrouwbaarheid) is redelijk voor deze vorm van toetsing, maar in de literatuur worden ook hogere waarden gerapporteerd. Hier is nog verbetering mogelijk. Cronbach’s Alpha = 0,68 bij 54 items en 152 deelnemers.
Geschiktheid als voortgangstoets De verschillen tussen 2e jaars-scores en 4e jaars-scores zijn significant , maar de verschillen zijn klein. Verschil in scores tussen 2e leerjaar en 4e leerjaar Leerjaar N Gem. Score SD Sig (2-tailed) Gem. verschil Sax en HAN 2 121 327,1 42,7 P=0.000* 31,4 4 51 358,4 44,8 *significant verschil
Geschiktheid als benchmark In het 2e jaar scoort HAN significant beter dan Saxion. In het 4e jaar scoort Saxion beter dan HAN, maar het verschil is niet significant. Ook hier is verbetering wenselijk. Verschil in scores tussen Saxion en HAN: functie als benchmark Leerjaar N Gem. Score SD Sig (2-tailed) Gem. verschil Saxion 2 27 305,9 45,3 P=0,003* 27,2 HAN 94 333,1 40,2 4 26 364,2 45,1 P=0,360 11,61 27 351,4 44,5 *significant verschil
Dataverzameling en analyse In September hebben de studenten van Saxion de toets ontvangen en de casussen geselecteerd die zowel 2e als 4e jaars studenten zouden kunnen maken naar hun verwachting. In november 2013 is de SCT afgenomen bij experts uit het werkveld van Saxion en HAN. In december 2013 is de SCT afgenomen bij studenten van Saxion en HAN. In januari is de antwoordsleutel berekend op basis van de expertscores. Op basis daarvan zijn de antwoorden van studenten getransformeerd naar scores. Somscores en gemiddelde scores zijn berekend. Door middel van onafhankelijke t-toetsen en lineaire regressieanalyse zijn de verschillen in scores tussen leerjaren en tussen Hogescholen berekend.