De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Enkele beschouwingen vanuit ‘Educational measurement’ Rianne Janssen Kwantitatieve psychologie en individuele verschillen Onderwijseffectiviteit & -Evaluatie.

Verwante presentaties


Presentatie over: "Enkele beschouwingen vanuit ‘Educational measurement’ Rianne Janssen Kwantitatieve psychologie en individuele verschillen Onderwijseffectiviteit & -Evaluatie."— Transcript van de presentatie:

1 Enkele beschouwingen vanuit ‘Educational measurement’ Rianne Janssen Kwantitatieve psychologie en individuele verschillen Onderwijseffectiviteit & -Evaluatie Workshop 'Het bepalen van de cesuur en het geven van cijfers‘ Faculteit Psychologie en Pedagogische Wetenschappen 14 maart 2012

2 Vooraf Standard setting Grading Equating Holistic scoring Analytical procedures Normconstantie Grade inflation Cesuurbepaling Continuum view of mastery Item- centered methods High-stakes person- centered methods licensure Certification State view mastery Criterion- referenced measurement Domain score Borderline method Angoff

3 Overzicht Onderzoek naar cesuurbepaling Basiskader Enkele aanbevelingen?

4 Onderzoek naar cesuurbepaling Wie? Wat? Besluit?

5 Wie? “High-stakes pupil testing” “Licensure and certification” – Bv. National Board of Medical Examiners (inter)nationale peilingen – Bv. behalen eindtermen? – Bv. ESLC: taalbeheersing in verschillende talen

6 Wat? Ontwikkeling en vergelijking van verschillende methodes van cesuurbepaling Empirisch en conceptueel Formeel en niet-formeel Experimenteel en praktijkgericht

7 Besluit? Voor 1980: optimisme – 1970: mandated pupil proficiency testing (deels als antwoord op ‘grade inflation’) daarna: pessimisme – Glass (1978): “setting performance standards on tests and exercises by known methods is a waste of time or worse” (reden: leidt tot arbitraire beslissingen) – Shepard (1979): “avoid setting standards whenever possible’ (reden: cognitief te complex voor beoordelaars) – Jaeger (1989): “Different procedures lead to different results”

8 Besluit? Momenteel: realisme? – Cizek (2001): ‘You can’t live with it. You can’t live without it.’ – Kane (1994): “There is no gold standard. There is not even a silver standard.” Onderscheid: ‘performance standard’ (conceptueel criterium) en ‘cut score’ (operationeel criterium) “coherence of standard-setting process” – Referentiewerken Cizek, G. J. (Ed.). Setting performance standards: Concepts, methods, and perspectives. Mahwah, NJ: Lawrence Erlbaum. Cizet, G.J. & Bunch, M.B. (2007). Standard setting: A guide to establishing and evaluating performance standards on tests. Thousand Oaks, CA: Sage.

9 Onderzoek naar cesuurbepaling Veel procedures Veel kritiek Attitude: ‘er toch het beste van maken’

10 Overzicht Onderzoek naar cesuurbepaling Basiskader Enkele aanbevelingen?

11 basiskader Drie basisprincipes de idee van meetschaal Verschillende methodes

12 12 Meskauskas (1976): mastery state view – all or none – qualitative distinction – applicability specific domains (e.g., sums till 10) or very general domains (e.g. pilot, doctor) continuum view – different degrees – cut score needed – generally applied in educational measurement

13 13 The continuum view of mastery ability masterynonmastery cutoff Opmerking: kritek Glass (1978) onvermijdelijk voor mensen rond de cesuur

14 Criteriumgericht Criteriumgericht (“criterion-referenced”) en niet normgericht (“norm-referenced”): – Wel: Behalen studenten doelstellingen? – Niet: Hoeveel studenten slagen in andere opo’s? Vertaling van criterium in minimumscore

15 Aanpak domeinscore volstaat niet Universum van vragen steekproef Proportie juiste antwoorden als schatting van domeinscore Probleem: verschillen tussen toetsopgaven!

16 Drie basisprincipes Categorisatie van continue (latente) variabele O.b.v. vertaling criterium in minimumscroe Rekening houdend met verschillen tussen items

17 basiskader Drie basisprincipes de idee van meetschaal Verschillende methodes

18 18 MEETSCHAAL OPGAVEN moeilijkheidsgraad LEERLINGEN vaardigheid beheersing in termen van kansen

19 19 TOETSNORM Deze opgaven moeten de leerlingen nog niet beheersen Deze opgaven moeten de leerlingen beheersen Behalen eindterm Behalen eindterm nog niet

20 basiskader Drie basisprincipes de idee van meetschaal Verschillende methodes

21 21 standard setting category or state view continuum view examinee-centered item-centered Angoff (1971) contrasting-groups (idem) Borderline (Livingston & Zieky, 1982) Bookmark ( Mitzel et al., 2001 ) … Nedelsky (1954) Ebel (1972) Cito ( van der Schoot, 1994 )

22 22 examinee-centered methods ability cutoff a. borderline method

23 23 examinee-centered methods b. contrasting-groups method masters nonmasters cutoff

24 24 standard setting category or state view continuum view examinee-centered item-centered Angoff (1971) contrasting-groups (idem) Borderline (Livingston & Zieky, 1982) Bookmark ( Mitzel et al., 2001 ) … Nedelsky (1954) Ebel (1972) Cito ( van der Schoot, 1994 )

25 25 ability low probability of success high probability of success Minimally competent student items item-centered methods Angoff method.50 Procedure 1.Estimate P(success|MCS) 2.Cut score = sum of probabilities Opmerking: kritiek Shepard (1979) Cognitief complexe taak!

26 26 ability low probability of success high probability of success 1. How many distractors can a MCS eliminate? 2. Determine the probability of success by guessing on the remaining response alternatives. 3. Cut score = sum of probabilities difficulty item-centered methods Nedelsky method: probabilistic method for multiple-choice questions MCS

27 27 do not have to be mastered have to be mastered cutoff difficulty item-centered methods IRT-based methods Bookmark method

28 28 cutoff item-centered methods IRT-based methods Cito method (p50 and p80 points on scale)

29 Different procedures, lead to different results… 29 Van Nijlen, D., & Janssen, R. (2008). Modeling judgments in the Angoff and contrasting-groups method of standard setting. Journal of Educational Measurement, 45, 45-63

30 Gemeenschappelijke kenmerken Groep beoordelaars Verschillende rondes –Individuele oordelen –Discussie in kleine groepjes –Impact scores Overbrenging cesuur op verschillende toetsen via gemeenschappelijke meetschaalgemeenschappelijke meetschaal 30

31 Verschillende methodes Persoons- of itemgericht IRT-gebaseerd of niet Inschatting prestatie ‘grensgeval’ Verschillende beoordelaars 31

32 Overzicht Onderzoek naar cesuurbepaling Basiskader Enkele aanbevelingen?

33 Aanbevelingen? The union of the mathematician with the poet, fervor with measure, passion with correctness, this surely is the ideal. William James

34 Aanbevelingen? Procedure van verantwoording – Formulering doelstellingen (‘performance standards’) – Expliciete toetsmatrijstoetsmatrijs – Kwaliteitsvolle items en scoringscoring – Ideaal: meetschaal – Bepaling cesuur

35 Aanbevelingen? Verantwoordelijkheid – Individuele docent – Docententeam! Cf. formulering ‘performance standard’ Cf. cesuurbepaling o.b.v. panel van experten

36 Aanbevelingen? Voor verbetering vatbaar…

37 37 IRT oplossing voor equivaleren de gemeenschappelijke opgaven bieden de mogelijkheid om een gemeenschappelijke meetschaal te construeren

38 38 Toetsmatrijs Definitieve versie later op het jaar Verwerkingsniveau 40% kennisvragen 60% inzicht- en toepassingsvragen Een oppervlakkige verwerking van de leerstof is niet voldoende!

39 39 Anecdote Vraag: Geef de gaswet van Boyle. Antwoord: P.V = constant Score –‘middelbaar’: 9.5/10 –‘universiteit’: 0/10 Immers: P.V = constant bij constante temperatuur


Download ppt "Enkele beschouwingen vanuit ‘Educational measurement’ Rianne Janssen Kwantitatieve psychologie en individuele verschillen Onderwijseffectiviteit & -Evaluatie."

Verwante presentaties


Ads door Google