Leerstof versus leerling: het verschil tussen

Presentatie over: "Leerstof versus leerling: het verschil tussen"— Transcript van de presentatie:

1 Leerstof versus leerling: het verschil tussen
ideaal en realiteit bij cesuurbepaling? Daniël Van Nijlen, Bartel Volckaert & Rianne Janssen K.U.Leuven

2 Overzicht Verloop peilingsonderzoek
Taak- en leerlinggerichte methoden van cesuurbepaling Methode Resultaten Bespreking en vragen

3 1. Verloop peilingsonderzoek
"Eindtermen zijn minimumdoelen die de overheid noodzakelijk en bereikbaar acht voor een bepaalde leerlingengroep."

4 toetsdesign cesuurbepaling eindtermen toetsen meetschaal toetsnorm kalibratie

5 2. Cesuurbepaling: vastleggen toetsnorm
PPON: standaardenonderzoek Waarom?  expliciteren minimumnorm eindterm  mogelijkheid te bepalen welke leerlingen het minimumniveau halen Verschillende methoden: taak- en leerlinggericht

6 Taakgerichte methoden:
gebaseerd op een oordeel over de opgaven bijv. - verschillende varianten Angoff-methode - bookmarkmethode

7 Leerlinggerichte methoden:
gebaseerd op een oordeel over het prestatieniveau van de leerlingen al dan niet op basis van toetsproducten bijv. borderlinemethode en methode van de contrasterende groepen

8 Doel vergelijking resultaten taakgerichte en leerlinggerichte methode
wereldoriëntatie: domein natuur gebruik IRT-schaal

9 3. Methode Toets n=1652 uit 87 klassen en 51 scholen

10 Resultaten kalibratie
IRT-analyse met OPLM criteria voor aanvaarding IRT-model • p-waarde R1c > .01 • waarde R1c < 1.5 vg resulterende meetschaal Model R1c vg ratio p-waarde items OPLM gg=3 1734 1.24 .000 159

11 deelnemende leerkrachten twee taken:
Cesuurbepaling deelnemende leerkrachten twee taken: A. vereenvoudigde Angoff B. Contrasterende groepen

12 A. vereenvoudigde Angoff-methode
69 leerkrachten voor elke opgave aangeven of de minimaal competente leerling ze moet kunnen oplossen dichotoom oordeel (Angoff, 1971; Impara & Plake, 1996) vastleggen cesuur: omzetting van de oordelen naar een lokatie van grensleerling op de IRT-schaal (Van der Linden, 1982)

13 B. Contrasterende groepen
gegevens voor 1132 leerlingen uit 61 klassen leerlingen van hun klas indelen in beheersers en niet-beheersers niet op basis van de toetsgegevens vastleggen cesuur: score die de beste discriminatie tussen de groep van beheersers en niet-beheersers toelaat  logistische regressie (Livingston & Zieky, 1989; Longford, 1996)

14 4. Resultaten cesuurbepaling
vereenvoudigde Angoff Percentage opgaven Percentage beheersers min 56 88 p25 74 52 med 83 22 p75 90 4 max 99

15 B. Contrasterende groepen
Percentage beheersers per klas min 20 p25 69 med 79 p75 87 max 100

16

17 Logistische regressie
volledig vast waarbij α de strengheid van de beoordelaars δ de sterkte van het verband met de vaardigheidsschatting

18  – α/ δ p(x=1) .50 vaardigheid leerling cesuur

19 AIC=903.7 parameter schatting SF vg t-waarde p-waarde α 0.1402 1132 -3.00 0.0028 δ 5.9595 0.4529 13.16 <.0001

20 Logistische regressie
gemengd model waarbij ag ~N(0,σ²a) Elke leerkracht krijgt ander intercept  verschillen in strengheid worden gemodelleerd

21 p(x=1) lk A lk B .50 vaardigheid leerling cesuur A cesuur B

22 AIC=876.8 parameter schatting SF vg t-waarde p-waarde α 0.1990 60 -2.95 0.0045 δ 6.9055 0.5664 12.19 <.0001 σ² a 0.6730 0.2384 2.82 0.0064

23 Logistische regressie
Volledig random waarbij ag ~N(0,σ²a) en dg ~N(0,σ²d) Verschillen in strengheid en associatiesterkte met de vaardigheid worden gemodelleerd

24 p(x=1) lk A lk B .50 vaardigheid leerling cesuur A cesuur B

25 AIC=879.6 parameter schatting SF vg t-waarde p-waarde α 0.2318 59 -2.91 0.0051 δ 7.2250 0.7320 9.87 <.0001 σ²a 0.9280 0.4978 1.86 0.0673 σ²ad 1.3303 -0.83 0.4075 σ²d 3.8586 4.2920 0.90 0.3723

26 Resultaten logistische regressie – gemengd model
Percentage beheersers min 97 p25 91 med 88 p75 84 max 57

27 Vergelijking Angoff en contrasterende groepen
min 88 97 p25 52 91 med 22 p75 4 84 max 57

28

29 Angoff: grotere spreiding en veel hogere cesuur
beperkte samenhang tussen oordeel dmv Angoff en CG (zie figuur)

30

31 5. Bespreking leerstof vs. leerling ideaal vs. realiteit?
toepassing dichotome Angoff-methode?