De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve.

Verwante presentaties


Presentatie over: "Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve."— Transcript van de presentatie:

1 Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve Psychologie School of Education 1

2 Procedure toetsontwikkeling doelstellingenopgavenmeetschaaltoetsnorm 2 (onderwijskundige) context

3 Procedure toetsontwikkeling doelstellingenopgavenmeetschaaltoetsnorm 3 (onderwijskundige) context

4 4 doelstellingenopgaven • Vraag naar doelstelling is vraag naar beoogde validiteit

5 5 Samenvatting validiteit

6 Inhoudsvaliditeit •Bepaling inhoudelijk ‘universum’ –Eventueel consensusgroep experten •Stel toetsmatrijs optoetsmatrijs = ‘blauwdruk’ van de toets = ‘een expliciete formulering van verlangens’ • In principe ‘random’ steekproef items uit elke cel •Argumentatieve validiteit 6

7 COGNITIEFONDERZOEKS- VAARDIG- HEDEN KENNENBEGRIJPENTOEPASSEN BASIS VAN HET LEVEN3b1 2a/b 3a/b 2b 3b MENSELIJK LICHAAMBouw/werking8 9a/b/c 12a 8 9a/b/c 12a 2023 Voortplanting en seksualiteit 4 5c/d 6a/b 7 5a/b/c/d 6a/b d 20 Gezondheidszorg10a/b/c 11 12b 10a/b/c 11 12b NATUUR RONDOM ONSOrganismen14a 15a/b 13 14a 15a/b Ecosysteem1614b b Milieuzorg Welke deeldomeinen? Welke verwerkingsniveaus? In welke verhouding?

8 Construeer items •Open versus gesloten vraagvormvraagvorm •Pilootafname voor eerste kwaliteitscheck •Beoordeling door experten 8

9 Open vraagvorm •Categorisatie antwoorden –Categorisatiesysteem –Interbeoordelaarsbetrouw- baarheid •Productieve (taal)vaardigheid •Hogere cognitieve vaardigheden (begrip, inzicht, evaluatie, creativiteit)? –“Face validity” of ook empirisch onderbouwd? Gesloten vraagvorm •Snelle en objectieve verwerking (QMP!) •Meer vragen mogelijk –Hogere betrouwbaarheid en (inhouds)validiteit (cf eerste en tweede set vragen Nederlands) •Probleem van radenraden •Eenvoudige cognitieve vaardigheden (kennis, herkenning)? 1.Empirisch onderzoek bewijst tegendeel, mits goede itemconstructie 2.MKV vaak betere predictoren dan open vragen. 9

10 Detailopmerking: toeschrijving •Engels: ‘matching’ •Keuzes zijn niet onafhankelijk : –Hoe meer zekere combinaties, hoe groter kans op correct antwoord bij raden –Eventueel een rij langer dan andere rij 10 Maak de juiste vijf combinaties: Bloedcirculatie Erfelijkheid Evolutie Hondsdolheid Psychiatrie Pasteur Freud Mendel Darwin Harvey

11 Procedure toetsontwikkeling doelstellingenopgavenmeetschaaltoetsnorm 11 (onderwijskundige) context

12 •Achterliggend model (Meskauskas, 1997 ) ? –State-view: •‘alles of niets’ beheersing (bv. basisspelling) •Items uitwisselbaar (cf. Ned. : random keuze vragen) •Domeinproportie (cf. Ned: FB student) –Trait-view: •gradaties van beheersing (vb. Frans: ERK) •Items verschillen in moeilijkheidsgraad (vb. WISTIL) •Meetschaal! 12 meetschaal opgaven

13 •State-view: –‘alles of niets’ beheersing –Items •Afkomstig uit domein •In principe uitwisselbaar –domeinproportie 13 meetschaal opgaven

14 •Trait-view: –gradaties van beheersing –Items verschillen in moeilijkheidsgraad –Meetschaal! 14 meetschaal opgaven

15 MEETSCHAAL OPGAVEN moeilijkheidsgraad LEERLINGEN vaardigheid beheersing in termen van kansen 15 Eventueel rekening houdend met raadkans

16 Voordelen meetschaal • Interpretatie: – Vergelijking positie student met positie opgaven • Onderzoek naar band met itemkenmerken – Bv. wiskunde: • ingeschat beheersingsniveau (eenvoudig, gemiddeld, moeilijk) – stERK • Band met ERK-niveau • Verschillende toetsen en vergelijkbaar resultaat – Gegeven een meetschaal (geen verschil “item based” en standaard toets) – Bij opmaken van een meetschaal 16

17 Basis van het levenXXXX2600 Bouw en werkingXXXX2600 Seksualiteit en voortplantingXXXX2600 GezondheidszorgXXXX2600 OrganismenXXXX2600 EcosysteemXXXX2600 MilieuzorgXXXX2600 N Afnamedesign peiling biologie

18 IRT alternative to equating •given common items: possibility of constructing a common measurement scale instaptoets uitstaptoets

19 •Achterliggend model •Kalibratieonderzoek –Afname bij grote steekproef studenten •Vooraf, maar ook tijdens implementatie –Prijs voor IRT-model •Vuistregel: 500 studenten per item 19 meetschaal opgaven

20 Procedure toetsontwikkeling doelstellingenopgavenmeetschaaltoetsnorm 20 (onderwijskundige) context

21 cesuurbepaling 21 • Terecht: – geen normgerichte cesuur • Wel: – criteriumgerichte cesuur • Oordeel experten afhankelijk van meetmodel – ‘alles-of-niets’ model • Oordeel van toelaatbare foutenmarge (bv. Ned: 25%) – Gradueel model • Plaatsing cesuur op meetschaal

22 TOETSNORM Deze opgaven moeten de leerlingen nog niet beheersen Deze opgaven moeten de leerlingen beheersen Behalen eindterm Behalen eindterm nog niet

23 Besluit doelstellingenopgavenmeetschaaltoetsnorm 23 (onderwijskundige) context


Download ppt "Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve."

Verwante presentaties


Ads door Google