EXAMENVRAGEN MAKEN programma Kwaliteitseisen CSPE 2010 Tips geen antwoord op de hoofdvraag wel: Waarop let Cito?

kwaliteitseisen 1. validiteit 2. betrouwbaarheid 3. transparantie 4. specificiteit 5. bruikbaarheid/hanteerbaarheid - mogelijk bekende termen, deels intuitief te begrijpen - te stellen aan toets/examen, maar ook aan praktijk- & theorieopgaven

1. validiteit Meet de toets/opgave wat we willen meten? relevantie (niet meer/minder meten dan bedoeld) evenwichtigheid (geen stokpaardjes) conform exameneisen / eisen leerplan Voorbeeld 1: Je wilt formulegebruik in Excel toetsen. Maakt Excel-opgave, maar kijkt alleen of (alleen punten voor) eindresultaat berekeningen (zonder formules) correct is. Voorbeeld 2: Je wilt Excel-gebruik toetsen. Maakt Excel-opgave (tabel, sorteren, invoegen/verwijderen) en geeft 10 van 20 punten punten voor ‘gedrag tijdens de toets’ (bijv. rustig en zelfstandig werken).

5. bruikbaarheid/hanteerbaarheid moeilijkheidsgraad en inhoud passend bij doelgroep (niveau/opleiding) organisatorisch en logistiek in verhouding tot het te toetsen onderdeel (haalbaar) niveaus vmbo: van heel makkelijk voor BB tot heel moeilijk voor KB samenhang tussen alle theoretische kwaliteitseisen (ook tussen validiteit & moeilijkheidsgraad): taalgebruik in opgave (EN beoordelingsmodel) => KORT

praktijk duidelijk taalgebruik: logische opbouw juiste taalniveau * volledig efficiënt * correct heel veel over te zeggen, en vooral ook doen om het onder de knie te krijgen; belangrijk onderdeel van Cito-cursus Toetsen en beoordelen (intern: Richtlijnendocument eenvoudig taalgebruik vmbo-beroepsgericht) CSPE 2010 als ‘casus’ voor illustratie van kwaliteit examenopgaven SDV relatief nieuw vak, goede kwaliteitsniveau wordt al doende ontwikkeld, nog niet helemaal op juiste niveau, voorbeeld opgave 5: twee vragen

CSPE 2010 opgave 5 1a Waarin is het beoordelingsvoorschrift niet helemaal valide uitgaande van de opdracht? 1b Hoe te verbeteren? 2a Moeilijkheidsgraad: BB- of KB-niveau? 2b Waarom? Bespreek in groepjes van 2 of 3: 1. Vergelijk opdracht en beoordelingsvoorschrift en bedenk concreet voorstel voor verbetering. 2. In beide CSPE’s, maar wat is je eigen oordeel? Geef zo concreet mogelijk aan waaraan het ligt dat het zo is. UITDELEN: 10-15 MINUTEN (volgende dia pas NA input deelnemers!) Eventueel vraag: Welke eindterm wordt hiermee getoetst? (eindtermendocument uitdelen)

CSPE 2010 opgave 5 omissies validiteit beoordelingsvoorschrift: overzicht op één A-4 duidelijk overzicht Alternatieve oplossing: in opdracht deze eisen/aanwijzingen weglaten

CSPE 2010 opgave 5 moeilijkheidsgraad: gemiddeld BB 73% van het maximum aantal te verdienen punten (= 2,93) gemiddeld KB 77% (= 3,07) Cito-norm CSPE’s: 25% - 75% resultaten opgave 5 2010 obv rir-waarden: beide positieve samenhang met totaalresultaat toets, maar bij BB sterker dan KB (Samenvatting TIA’s UITDELEN?) AR-waarde: beide opgaven droegen bij aan kwaliteit toets (betrouwbaarheid), maar bij BB meer dan bij KB (gering) Cito-maatstaf: achteraf Welk indicaties vooraf?

moeilijkheidsgraad: inhoud hoeveelheid benodigde kennis, inzichten en vaardigheden complexiteit: aantal stappen/acties, samenhang daartussen en met andere zaken - relatie met input deelnemers

moeilijkheidsgraad: vertaling BB KB uitvoeren onder begeleiding, ‘aan de hand’ o.b.v. enig eigen inzicht, initiatief en verantwoordelijkheid assisteren organiseren, plannen, reflecteren, … KB: niet leidinggeven! VRAGEN over validiteit & moeilijkheidsgraad? Twee aspecten kort verkend. Uitgebreider in Cito-cursussen.

Tips Cito-cursussen: Toetsen en beoordelen op maat en op locatie Zie www.cito.nl / VO / Training en advies (meer) vragen: annetta.kurvink@cito.nl Cursusonderwerpen: examenvragen maken: taalgebruik, beoordelingsmodel, samen maken, … constructieproces examen: toetsmatrijs, … Extra info in mapjes: The making of … (voor leerlingen).