Enkele beschouwingen vanuit ‘Educational measurement’

Presentatie over: "Enkele beschouwingen vanuit ‘Educational measurement’"— Transcript van de presentatie:

1 Enkele beschouwingen vanuit ‘Educational measurement’
Workshop 'Het bepalen van de cesuur en het geven van cijfers‘ Faculteit Psychologie en Pedagogische Wetenschappen 14 maart 2012 Enkele beschouwingen vanuit ‘Educational measurement’ Rianne Janssen Kwantitatieve psychologie en individuele verschillen Onderwijseffectiviteit & -Evaluatie

2 Standard setting Vooraf Grading High-stakes mastery Equating
Grade inflation High-stakes Item-centered methods mastery Criterion-referenced measurement State view Angoff Borderline method Cesuurbepaling Standard setting Analytical procedures Normconstantie Certification Domain score Grading Equating licensure Holistic scoring person-centered methods Continuum view of mastery

3 Overzicht Onderzoek naar cesuurbepaling Basiskader
Enkele aanbevelingen?

4 Onderzoek naar cesuurbepaling
Wie? Wat? Besluit?

5 Wie? “High-stakes pupil testing” “Licensure and certification”
Bv. National Board of Medical Examiners (inter)nationale peilingen Bv. behalen eindtermen? Bv. ESLC: taalbeheersing in verschillende talen

6 Wat? Ontwikkeling en vergelijking van verschillende methodes van cesuurbepaling Empirisch en conceptueel Formeel en niet-formeel Experimenteel en praktijkgericht

7 Besluit? Voor 1980: optimisme daarna: pessimisme
1970: mandated pupil proficiency testing (deels als antwoord op ‘grade inflation’) daarna: pessimisme Glass (1978): “setting performance standards on tests and exercises by known methods is a waste of time or worse” (reden: leidt tot arbitraire beslissingen) Shepard (1979): “avoid setting standards whenever possible’ (reden: cognitief te complex voor beoordelaars) Jaeger (1989): “Different procedures lead to different results”

8 Besluit? Momenteel: realisme?
Cizek (2001): ‘You can’t live with it. You can’t live without it.’ Kane (1994): “There is no gold standard. There is not even a silver standard.” Onderscheid: ‘performance standard’ (conceptueel criterium) en ‘cut score’ (operationeel criterium) “coherence of standard-setting process” Referentiewerken Cizek, G. J. (Ed.). Setting performance standards: Concepts, methods, and perspectives. Mahwah, NJ: Lawrence Erlbaum. Cizet, G.J. & Bunch, M.B. (2007). Standard setting: A guide to establishing and evaluating performance standards on tests. Thousand Oaks, CA: Sage.

9 Onderzoek naar cesuurbepaling
Veel procedures Veel kritiek Attitude: ‘er toch het beste van maken’

10 Overzicht Onderzoek naar cesuurbepaling Basiskader
Enkele aanbevelingen?

11 basiskader Drie basisprincipes de idee van meetschaal
Verschillende methodes

12 Meskauskas (1976): mastery
state view all or none qualitative distinction applicability specific domains (e.g., sums till 10) or very general domains (e.g. pilot, doctor) continuum view different degrees cut score needed generally applied in educational measurement

13 The continuum view of mastery
nonmastery ability cutoff Opmerking: kritek Glass (1978) onvermijdelijk voor mensen rond de cesuur

14 Criteriumgericht Criteriumgericht (“criterion-referenced”) en niet normgericht (“norm-referenced”): Wel: Behalen studenten doelstellingen? Niet: Hoeveel studenten slagen in andere opo’s? Vertaling van criterium in minimumscore

15 Aanpak domeinscore volstaat niet
Universum van vragen steekproef Proportie juiste antwoorden als schatting van domeinscore Probleem: verschillen tussen toetsopgaven!

16 Drie basisprincipes Categorisatie van continue (latente) variabele
O.b.v. vertaling criterium in minimumscroe Rekening houdend met verschillen tussen items

17 basiskader Drie basisprincipes de idee van meetschaal
Verschillende methodes

18 MEETSCHAAL LEERLINGEN OPGAVEN vaardigheid moeilijkheidsgraad
beheersing in termen van kansen

19 TOETSNORM Behalen eindterm Behalen eindterm nog niet
Deze opgaven moeten de leerlingen nog niet beheersen Behalen eindterm Behalen eindterm nog niet Deze opgaven moeten de leerlingen beheersen

20 basiskader Drie basisprincipes de idee van meetschaal
Verschillende methodes

21 category or state view Borderline (Livingston & Zieky, 1982) standard setting examinee-centered contrasting-groups (idem) continuum view Angoff (1971) Nedelsky (1954) item-centered Ebel (1972) Bookmark (Mitzel et al., 2001) Cito (van der Schoot, 1994) …

22 examinee-centered methods
a. borderline method cutoff ability

23 examinee-centered methods
b. contrasting-groups method masters nonmasters cutoff

24 category or state view Borderline (Livingston & Zieky, 1982) standard setting examinee-centered contrasting-groups (idem) continuum view Angoff (1971) Nedelsky (1954) item-centered Ebel (1972) Bookmark (Mitzel et al., 2001) Cito (van der Schoot, 1994) …

25 item-centered methods
Angoff method Procedure Estimate P(success|MCS) Cut score = sum of probabilities high probability of success .50 low probability of success items ability Minimally competent student Opmerking: kritiek Shepard (1979) Cognitief complexe taak!

26 probabilistic method for multiple-choice questions
item-centered methods Nedelsky method: probabilistic method for multiple-choice questions high probability of success MCS low probability of success difficulty ability 1. How many distractors can a MCS eliminate? 2. Determine the probability of success by guessing on the remaining response alternatives. 3. Cut score = sum of probabilities

27 item-centered methods
IRT-based methods Bookmark method do not have to be mastered have to be mastered difficulty cutoff

28 Cito method (p50 and p80 points on scale)
item-centered methods IRT-based methods Cito method (p50 and p80 points on scale) cutoff

29 Different procedures, lead to different results…
Van Nijlen, D., & Janssen, R. (2008). Modeling judgments in the Angoff and contrasting-groups method of standard setting. Journal of Educational Measurement, 45, 45-63

30 Gemeenschappelijke kenmerken
Groep beoordelaars Verschillende rondes Individuele oordelen Discussie in kleine groepjes Impact scores Overbrenging cesuur op verschillende toetsen via gemeenschappelijke meetschaal

31 Verschillende methodes
Persoons- of itemgericht IRT-gebaseerd of niet Inschatting prestatie ‘grensgeval’ Verschillende beoordelaars

32 Overzicht Onderzoek naar cesuurbepaling Basiskader
Enkele aanbevelingen?

33 Aanbevelingen? The union of the mathematician with the poet, fervor with measure, passion with correctness, this surely is the ideal. William James

34 Aanbevelingen? Procedure van verantwoording
Formulering doelstellingen (‘performance standards’) Expliciete toetsmatrijs Kwaliteitsvolle items en scoring Ideaal: meetschaal Bepaling cesuur

35 Aanbevelingen? Verantwoordelijkheid Individuele docent Docententeam!
Cf. formulering ‘performance standard’ Cf. cesuurbepaling o.b.v. panel van experten

36 Aanbevelingen? Voor verbetering vatbaar…

37 IRT oplossing voor equivaleren
de gemeenschappelijke opgaven bieden de mogelijkheid om een gemeenschappelijke meetschaal te construeren

38 Toetsmatrijs Definitieve versie later op het jaar
Verwerkingsniveau 40% kennisvragen 60% inzicht- en toepassingsvragen Een oppervlakkige verwerking van de leerstof is niet voldoende!

39 Anecdote Vraag: Geef de gaswet van Boyle. Antwoord: P.V = constant
Score ‘middelbaar’: 9.5/10 ‘universiteit’: 0/10 Immers: P.V = constant bij constante temperatuur