Leerstof versus leerling: het verschil tussen ideaal en realiteit bij cesuurbepaling? Daniël Van Nijlen, Bartel Volckaert & Rianne Janssen K.U.Leuven

Overzicht Verloop peilingsonderzoek Taak- en leerlinggerichte methoden van cesuurbepaling Methode Resultaten Bespreking en vragen

1. Verloop peilingsonderzoek "Eindtermen zijn minimumdoelen die de overheid noodzakelijk en bereikbaar acht voor een bepaalde leerlingengroep."

toetsdesign cesuurbepaling eindtermen toetsen meetschaal toetsnorm kalibratie

2. Cesuurbepaling: vastleggen toetsnorm PPON: standaardenonderzoek Waarom?  expliciteren minimumnorm eindterm  mogelijkheid te bepalen welke leerlingen het minimumniveau halen Verschillende methoden: taak- en leerlinggericht

Taakgerichte methoden: gebaseerd op een oordeel over de opgaven bijv. - verschillende varianten Angoff-methode - bookmarkmethode

Leerlinggerichte methoden: gebaseerd op een oordeel over het prestatieniveau van de leerlingen al dan niet op basis van toetsproducten bijv. borderlinemethode en methode van de contrasterende groepen

Doel vergelijking resultaten taakgerichte en leerlinggerichte methode wereldoriëntatie: domein natuur gebruik IRT-schaal

3. Methode Toets n=1652 uit 87 klassen en 51 scholen

Resultaten kalibratie IRT-analyse met OPLM criteria voor aanvaarding IRT-model • p-waarde R1c > .01 • waarde R1c < 1.5 vg resulterende meetschaal Model R1c vg ratio p-waarde items OPLM gg=3 2151.68 1734 1.24 .000 159

deelnemende leerkrachten twee taken: Cesuurbepaling deelnemende leerkrachten twee taken: A. vereenvoudigde Angoff B. Contrasterende groepen

A. vereenvoudigde Angoff-methode 69 leerkrachten voor elke opgave aangeven of de minimaal competente leerling ze moet kunnen oplossen dichotoom oordeel (Angoff, 1971; Impara & Plake, 1996) vastleggen cesuur: omzetting van de oordelen naar een lokatie van grensleerling op de IRT-schaal (Van der Linden, 1982)

B. Contrasterende groepen gegevens voor 1132 leerlingen uit 61 klassen leerlingen van hun klas indelen in beheersers en niet-beheersers niet op basis van de toetsgegevens vastleggen cesuur: score die de beste discriminatie tussen de groep van beheersers en niet-beheersers toelaat  logistische regressie (Livingston & Zieky, 1989; Longford, 1996)

4. Resultaten cesuurbepaling vereenvoudigde Angoff Percentage opgaven Percentage beheersers min 56 88 p25 74 52 med 83 22 p75 90 4 max 99

B. Contrasterende groepen Percentage beheersers per klas min 20 p25 69 med 79 p75 87 max 100

Logistische regressie volledig vast waarbij α de strengheid van de beoordelaars δ de sterkte van het verband met de vaardigheidsschatting

 – α/ δ p(x=1) .50 vaardigheid leerling cesuur

AIC=903.7 parameter schatting SF vg t-waarde p-waarde α -0.4201 0.1402 1132 -3.00 0.0028 δ 5.9595 0.4529 13.16 <.0001

Logistische regressie gemengd model waarbij ag ~N(0,σ²a) Elke leerkracht krijgt ander intercept  verschillen in strengheid worden gemodelleerd

p(x=1) lk A lk B .50 vaardigheid leerling cesuur A cesuur B

AIC=876.8 parameter schatting SF vg t-waarde p-waarde α -0.5873 0.1990 60 -2.95 0.0045 δ 6.9055 0.5664 12.19 <.0001 σ² a 0.6730 0.2384 2.82 0.0064

Logistische regressie Volledig random waarbij ag ~N(0,σ²a) en dg ~N(0,σ²d) Verschillen in strengheid en associatiesterkte met de vaardigheid worden gemodelleerd

p(x=1) lk A lk B .50 vaardigheid leerling cesuur A cesuur B

AIC=879.6 parameter schatting SF vg t-waarde p-waarde α -0.6739 0.2318 59 -2.91 0.0051 δ 7.2250 0.7320 9.87 <.0001 σ²a 0.9280 0.4978 1.86 0.0673 σ²ad -1.1098 1.3303 -0.83 0.4075 σ²d 3.8586 4.2920 0.90 0.3723

Resultaten logistische regressie – gemengd model Percentage beheersers min 97 p25 91 med 88 p75 84 max 57

Vergelijking Angoff en contrasterende groepen min 88 97 p25 52 91 med 22 p75 4 84 max 57

Angoff: grotere spreiding en veel hogere cesuur beperkte samenhang tussen oordeel dmv Angoff en CG (zie figuur)

5. Bespreking leerstof vs. leerling ideaal vs. realiteit? toepassing dichotome Angoff-methode?