Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen School of Education Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve Psychologie

Procedure toetsontwikkeling doelstellingen opgaven meetschaal toetsnorm (onderwijskundige) context

Procedure toetsontwikkeling doelstellingen opgaven meetschaal toetsnorm (onderwijskundige) context

doelstellingen opgaven Vraag naar doelstelling is vraag naar beoogde validiteit

Samenvatting validiteit

Inhoudsvaliditeit Bepaling inhoudelijk ‘universum’ Eventueel consensusgroep experten Stel toetsmatrijs op = ‘blauwdruk’ van de toets = ‘een expliciete formulering van verlangens’ In principe ‘random’ steekproef items uit elke cel Argumentatieve validiteit

ONDERZOEKS-VAARDIG-HEDEN COGNITIEF ONDERZOEKS-VAARDIG-HEDEN KENNEN BEGRIJPEN TOEPASSEN BASIS VAN HET LEVEN 3b 1 2a/b 3a/b 2b 20 13 21 22 MENSELIJK LICHAAM Bouw/werking 8 9a/b/c 12a 23 Voortplanting en seksualiteit 4 5c/d 6a/b 7 5a/b/c/d 5d Gezondheidszorg 10a/b/c 11 12b NATUUR RONDOM ONS Organismen 14a 15a/b Ecosysteem 16 14b 17 18 Milieuzorg 19 Welke verwerkingsniveaus? In welke verhouding? Welke deeldomeinen?

Construeer items Open versus gesloten vraagvorm Pilootafname voor eerste kwaliteitscheck Beoordeling door experten

Categorisatie antwoorden Open vraagvorm Gesloten vraagvorm Categorisatie antwoorden Categorisatiesysteem Interbeoordelaarsbetrouw-baarheid Productieve (taal)vaardigheid Hogere cognitieve vaardigheden (begrip, inzicht, evaluatie, creativiteit)? “Face validity” of ook empirisch onderbouwd? Snelle en objectieve verwerking (QMP!) Meer vragen mogelijk Hogere betrouwbaarheid en (inhouds)validiteit (cf eerste en tweede set vragen Nederlands) Probleem van raden Eenvoudige cognitieve vaardigheden (kennis, herkenning)? Empirisch onderzoek bewijst tegendeel, mits goede itemconstructie MKV vaak betere predictoren dan open vragen.

Detailopmerking: toeschrijving Maak de juiste vijf combinaties: Bloedcirculatie Erfelijkheid Evolutie Hondsdolheid Psychiatrie Pasteur Freud Mendel Darwin Harvey Engels: ‘matching’ Keuzes zijn niet onafhankelijk : Hoe meer zekere combinaties, hoe groter kans op correct antwoord bij raden Eventueel een rij langer dan andere rij

Procedure toetsontwikkeling doelstellingen opgaven meetschaal toetsnorm (onderwijskundige) context

Achterliggend model (Meskauskas, 1997)? opgaven meetschaal Achterliggend model (Meskauskas, 1997)? State-view: ‘alles of niets’ beheersing (bv. basisspelling) Items uitwisselbaar (cf. Ned. : random keuze vragen) Domeinproportie (cf. Ned: FB student) Trait-view: gradaties van beheersing (vb. Frans: ERK) Items verschillen in moeilijkheidsgraad (vb. WISTIL) Meetschaal!

State-view: ‘alles of niets’ beheersing Items domeinproportie opgaven meetschaal State-view: ‘alles of niets’ beheersing Items Afkomstig uit domein In principe uitwisselbaar domeinproportie

Trait-view: gradaties van beheersing opgaven meetschaal Trait-view: gradaties van beheersing Items verschillen in moeilijkheidsgraad Meetschaal!

MEETSCHAAL LEERLINGEN OPGAVEN vaardigheid moeilijkheidsgraad Eventueel rekening houdend met raadkans beheersing in termen van kansen

Voordelen meetschaal Interpretatie: Vergelijking positie student met positie opgaven Onderzoek naar band met itemkenmerken Bv. wiskunde: ingeschat beheersingsniveau (eenvoudig, gemiddeld, moeilijk) stERK Band met ERK-niveau Verschillende toetsen en vergelijkbaar resultaat Gegeven een meetschaal (geen verschil “item based” en standaard toets) Bij opmaken van een meetschaal

Afnamedesign peiling biologie 1 2 3 4 5 6 7 Basis van het leven X 2600 Bouw en werking Seksualiteit en voortplanting Gezondheidszorg Organismen Ecosysteem Milieuzorg N 650 4550

IRT alternative to equating given common items: possibility of constructing a common measurement scale instaptoets uitstaptoets

Achterliggend model Kalibratieonderzoek opgaven meetschaal Achterliggend model Kalibratieonderzoek Afname bij grote steekproef studenten Vooraf, maar ook tijdens implementatie Prijs voor IRT-model Vuistregel: 500 studenten per item

Procedure toetsontwikkeling doelstellingen opgaven meetschaal toetsnorm (onderwijskundige) context

cesuurbepaling Terecht: Wel: geen normgerichte cesuur Wel: criteriumgerichte cesuur Oordeel experten afhankelijk van meetmodel ‘alles-of-niets’ model Oordeel van toelaatbare foutenmarge (bv. Ned: 25%) Gradueel model Plaatsing cesuur op meetschaal

TOETSNORM Behalen eindterm Behalen eindterm nog niet Deze opgaven moeten de leerlingen nog niet beheersen Behalen eindterm Behalen eindterm nog niet Deze opgaven moeten de leerlingen beheersen

Besluit doelstellingen opgaven meetschaal toetsnorm (onderwijskundige) context