Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen

Presentatie over: "Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen"— Transcript van de presentatie:

1 Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen
School of Education Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve Psychologie

2 Procedure toetsontwikkeling
doelstellingen opgaven meetschaal toetsnorm (onderwijskundige) context

3 Procedure toetsontwikkeling
doelstellingen opgaven meetschaal toetsnorm (onderwijskundige) context

4 doelstellingen opgaven
Vraag naar doelstelling is vraag naar beoogde validiteit

5 Samenvatting validiteit

6 Inhoudsvaliditeit Bepaling inhoudelijk ‘universum’
Eventueel consensusgroep experten Stel toetsmatrijs op = ‘blauwdruk’ van de toets = ‘een expliciete formulering van verlangens’ In principe ‘random’ steekproef items uit elke cel Argumentatieve validiteit

7 ONDERZOEKS-VAARDIG-HEDEN
COGNITIEF ONDERZOEKS-VAARDIG-HEDEN KENNEN BEGRIJPEN TOEPASSEN BASIS VAN HET LEVEN 3b 1 2a/b 3a/b 2b 20 13 21 22 MENSELIJK LICHAAM Bouw/werking 8 9a/b/c 12a 23 Voortplanting en seksualiteit 4 5c/d 6a/b 7 5a/b/c/d 5d Gezondheidszorg 10a/b/c 11 12b NATUUR RONDOM ONS Organismen 14a 15a/b Ecosysteem 16 14b 17 18 Milieuzorg 19 Welke verwerkingsniveaus? In welke verhouding? Welke deeldomeinen?

8 Construeer items Open versus gesloten vraagvorm
Pilootafname voor eerste kwaliteitscheck Beoordeling door experten

9 Categorisatie antwoorden
Open vraagvorm Gesloten vraagvorm Categorisatie antwoorden Categorisatiesysteem Interbeoordelaarsbetrouw-baarheid Productieve (taal)vaardigheid Hogere cognitieve vaardigheden (begrip, inzicht, evaluatie, creativiteit)? “Face validity” of ook empirisch onderbouwd? Snelle en objectieve verwerking (QMP!) Meer vragen mogelijk Hogere betrouwbaarheid en (inhouds)validiteit (cf eerste en tweede set vragen Nederlands) Probleem van raden Eenvoudige cognitieve vaardigheden (kennis, herkenning)? Empirisch onderzoek bewijst tegendeel, mits goede itemconstructie MKV vaak betere predictoren dan open vragen.

10 Detailopmerking: toeschrijving
Maak de juiste vijf combinaties: Bloedcirculatie Erfelijkheid Evolutie Hondsdolheid Psychiatrie Pasteur Freud Mendel Darwin Harvey Engels: ‘matching’ Keuzes zijn niet onafhankelijk : Hoe meer zekere combinaties, hoe groter kans op correct antwoord bij raden Eventueel een rij langer dan andere rij

11 Procedure toetsontwikkeling
doelstellingen opgaven meetschaal toetsnorm (onderwijskundige) context

12 Achterliggend model (Meskauskas, 1997)?
opgaven meetschaal Achterliggend model (Meskauskas, 1997)? State-view: ‘alles of niets’ beheersing (bv. basisspelling) Items uitwisselbaar (cf. Ned. : random keuze vragen) Domeinproportie (cf. Ned: FB student) Trait-view: gradaties van beheersing (vb. Frans: ERK) Items verschillen in moeilijkheidsgraad (vb. WISTIL) Meetschaal!

13 State-view: ‘alles of niets’ beheersing Items domeinproportie
opgaven meetschaal State-view: ‘alles of niets’ beheersing Items Afkomstig uit domein In principe uitwisselbaar domeinproportie

14 Trait-view: gradaties van beheersing
opgaven meetschaal Trait-view: gradaties van beheersing Items verschillen in moeilijkheidsgraad Meetschaal!

15 MEETSCHAAL LEERLINGEN OPGAVEN vaardigheid moeilijkheidsgraad
Eventueel rekening houdend met raadkans beheersing in termen van kansen

16 Voordelen meetschaal Interpretatie:
Vergelijking positie student met positie opgaven Onderzoek naar band met itemkenmerken Bv. wiskunde: ingeschat beheersingsniveau (eenvoudig, gemiddeld, moeilijk) stERK Band met ERK-niveau Verschillende toetsen en vergelijkbaar resultaat Gegeven een meetschaal (geen verschil “item based” en standaard toets) Bij opmaken van een meetschaal

17 Afnamedesign peiling biologie
1 2 3 4 5 6 7 Basis van het leven X 2600 Bouw en werking Seksualiteit en voortplanting Gezondheidszorg Organismen Ecosysteem Milieuzorg N 650 4550

18 IRT alternative to equating
given common items: possibility of constructing a common measurement scale instaptoets uitstaptoets

19 Achterliggend model Kalibratieonderzoek
opgaven meetschaal Achterliggend model Kalibratieonderzoek Afname bij grote steekproef studenten Vooraf, maar ook tijdens implementatie Prijs voor IRT-model Vuistregel: 500 studenten per item

20 Procedure toetsontwikkeling
doelstellingen opgaven meetschaal toetsnorm (onderwijskundige) context

21 cesuurbepaling Terecht: Wel:
geen normgerichte cesuur Wel: criteriumgerichte cesuur Oordeel experten afhankelijk van meetmodel ‘alles-of-niets’ model Oordeel van toelaatbare foutenmarge (bv. Ned: 25%) Gradueel model Plaatsing cesuur op meetschaal

22 TOETSNORM Behalen eindterm Behalen eindterm nog niet
Deze opgaven moeten de leerlingen nog niet beheersen Behalen eindterm Behalen eindterm nog niet Deze opgaven moeten de leerlingen beheersen

23 Besluit doelstellingen opgaven meetschaal toetsnorm
(onderwijskundige) context