Expertiseteam Toetsenbank Digitaal toetsen Alex van Essen Prinsentuin College 15 november 2011.

Slides:



Advertisements
Verwante presentaties
Hoe beleef je toetsen? HANovatie Themadag 6 november 2009 Saskia Weijzen.
Advertisements

Basisboek Interviewen 3e druk 2012
Gebruik van enquête voor teamleiders binnen Scouting Academy
Op weg naar de landelijke toetsenbank lerarenopleidingen
Screening van toetsen: Psychometrische analyse
Omgang met kwaliteitscriteria en beoordelen
Uitwerken van een Wiskundige In- en UitStapToets en een Individuele Leerlijn bij toekomstige leerkrachten lager onderwijs uniform voor al de lerarenopleidingen.
Autisme en Mindmap Thuis en op School
Aandachtspunten voor een jeugdtraining
Vervolgbijeenkomst 2 Procesfasering bij Leren Leren.
Aandachtspunten Voldoende en duidelijke informatie
Aanpassing Selectie beleid. Waarom aanpassingen in het huidige selectie beleid?
‘Ik moet meer lezen met mijn ogen en minder met mijn hart.’
Hoe ga je te werk bij aardrijkskunde?
Hoofdstuk 3 – Gegevens verzamelen
Workshop Onderzoeksvaardigheden
Toetsen en leerlijnen in nieuwe scheikunde
10 juni 2014 Wim Mulder en Lobke Spruijt
Bijeenkomst 8 Summatieve toetsing
LAATSTE SCRIPTIESEMINARIE
Portfolio
Werkbijeenkomst Leerdoelen & Toetsing Bijeenkomst in het kader van de accreditatie / zelfevaluatie IO en IDE 23 mei 2013.
Meten bij marktonderzoek
Voorspellende analyse
Meten bij marktonderzoek
Kwaliteit door een zelf regulerend proces, ondersteunend en motiverend
Vooraf Voorkom het moeilijke door het gemakkelijke te doen’. Lao Tse
Interpretatie van statistiek bij toetsen en toetsvragen
MET DANK AAN COLLEGA’S IN DEN LANDE ! vee 2012
Workshop “Beoordelen”
De kubus van CSPE succesfactoren!
Programma ‘Gebruik ICT in de les’ 1. Eigen ervaring met gebruik ICT in de les 2. Inzet ELO voor tekstbespreking 3. Inzet ELO voor grammatica-oefening 4.
Visie & Strategie.
OFC28 mediawijsheid les 7 leren door te maken
Visie & Strategie.
Samenvatting Havo 5.
Workshop evalueren Dcp
Paramaribo, september 2015 Ten behoeve van leerkrachten van de EBGS Mr.dr.E. Marshall & M. Day.
Gespreksvaardig-heden
Het betrekken van studenten bij de toetscyclus
Pemprl.
Slc kwartaal 3. programma Hoe is het gegaan Verwachtingen Tips and tricks Opdrachten slc.
De repetitie is nagekeken… Hoe analyseer je de resultaten en zet je die om in actie? Utrecht,16 februari 2016 J.C. van der Net.
Begin- situatie Werk- vormen Leer- processen Leer- middelen Leerstof Evaluatie Leerdoelen.
Expertiseteam Toetsenbank 1. Doel van vragen stellen 2. Welke soorten vragen zijn er 3. Veel voorkomende fouten 4. Zelf een vraag maken 5. Zelf een vraag.
Meten is weten? Do’s en don’ts van mondeling examineren Lisa De Jonghe Dienst Onderwijs Geneeskunde.
Expertiseteam ToetsenbankThemadag Digitale Toetsing 1 december 2011 Alex van Essen.
Bijeenkomst 5. Terugblik  Wat hebben we vorige bijeenkomst besproken?  Alles gelukt met het persoonlijk profiel?  Liepen jullie nog tegen dingen aan?
1 Toetsontwikkeling en kwaliteit AOC-raad presentatie Silvester Draaijer (Onderwijscentrum VU)
Centraal Examen Nederlands
Hoe zet je leerlingen aan het werk?
Toetsing en toetsontwikkeling
STAPPENPLAN VOOR HET MAKEN VAN EEN LEESTOETS LEESRONDE 1 - ORIENTEREND: -Lees titel, tussenkopjes etc. -Lees eerste en laatste alinea -Formuleer hoofdgedachte.
Uitleg bij de vragenlijst Veiligheidsbeleving
De vraag is je beste vriend
Meest voorkomende vragen bij examenteksten.
Meest voorkomende vragen bij examenteksten.
Het 7-stappenplan Er bestaan verschillende modellen en stappenplannen om morele dilemma’s te analyseren en tot een beslissing te komen. Wij gebruiken “het.
Opbrengstgericht werken op het Bredero Lyceum
Informatie voor de scholingsgroepen Hogeschool Inholland
Schrijven 4.3 Formuleren en stijl 1.1
Les 2: gegevens samenvatten
Toelichting bij ''Backward designing'' uit de kennisbank
Toetsing Vakdidactiek 2.
Flitsbijeenkomsten November 2016 Ernie Schouten Harco Weemink
Toetsen van verschillen tussen twee of meer groepen
Evalueren om te leren vs. evalueren van het leren
Vakdidactiek EP 2 bijeenkomst 2
Onderwijskunde en vakdidactiek
Digitale toetsen Quayn.
Transcript van de presentatie:

Expertiseteam Toetsenbank Digitaal toetsen Alex van Essen Prinsentuin College 15 november 2011

Expertiseteam Toetsenbank Toets is een steekproef, een momentopname. Er kan van alles misgaan, hoeft niet aan de toets te liggen. Toetsen

Expertiseteam Toetsenbank Toetsen

Expertiseteam Toetsenbank Een goede toets is: Betrouwbaar Valide Bruikbaar Toetsen - criteria

Expertiseteam Toetsenbank Kwaliteit van toets zelf Vragen eenduidig geformuleerd Toets en toetsvragen moeten discrimineren (onderscheid tussen goede en zwakke leerlingen) Voldoende aantal vragen Omstandigheden Ruimte en rust Beschikbaarheid hulpmiddelen Beschikbare tijd Beoordeling resultaat (voorkomen van invloed door de beoordelaar) Gesloten vragen met eenduidig antwoord Open vragen met antwoordmodel Toetsen – criteria: betrouwbaarheid Betrouwbaar = bij herhaalde afname onder dezelfde omstandigheden geeft een zelfde resultaat Betrouwbaar = bij herhaalde afname onder dezelfde omstandigheden geeft een zelfde resultaat

Expertiseteam Toetsenbank Begripsvaliditeit Is de toets representatief voor de leerdoelen? Inhoudsvaliditeit Is de toets representatief voor de leerstof? Criteriumvaliditeit Heeft de toets een voorspellende waard? (met name van belang bij centrale examens, toelatingsexamens) Toetsen – criteria: validiteit Valide = meet wat je wilde weten

Expertiseteam Toetsenbank Is de toets doelmatig (efficient)? De inspanningen (voorbereidingen, afname en beoordeling door docenten en leerlingen) moeten opwegen tegen de winst aan validiteit en betrouwbaarheid van de resultaten. Is de toets transparant? Is direct duidelijk wat gevraagd wordt? Goede instructie? Nette lay-out? Afname, waardering, correctie, bekendmakingen helder? Toetsen – criteria: bruikbaarheid Bruikbaarheid = mate van efficiency en doorzichtigheid van de toets Bruikbaarheid = mate van efficiency en doorzichtigheid van de toets

Expertiseteam Toetsenbank Maak een analyse van de leerstof Maak een toetsmatrijs Bepaal welke wijze van toetsen het meest geschikt is Bepaal het soort vragen die het meest geschikt zijn (op onderdelen) Stel de vragen samen Stel de toets samen Bepaal de cesuur Toetsafname, analyseer, evalueer en stel bij Toetsvragen ontwikkelen

Expertiseteam Toetsenbank Creatief proces Eerst grof, dan verfijnen Bijschaven Overleg en feedback zijn zeer belangrijk (laat collega’s, vakgenoten de toetsvragen afnemen) Toetsvragen ontwikkelen

Expertiseteam Toetsenbank Wat is een goede vraag? Goede vragen ontlokken een ‘gericht’ denkproces Goede vragen maken onderscheid tussen leerlingen die de stof wel en die de stof niet begrijpen Goede vragen zijn in principe niet te moeilijk en niet te makkelijk Goede vragen stimuleren de leerling om zijn of haar best te doen Toetsvragen ontwikkelen

Expertiseteam Toetsenbank Is het de leerling duidelijk wat gevraagd wordt? (algemene basisregel) Houd het taalgebruik eenvoudig. Richt de vraag op de leerling. Bevat de vraag een duidelijk probleem? Staan alle gegevens vermeld die nodig zijn om de vraag te kunnen beantwoorden? Is de vraag kort en zakelijk geformuleerd? Vraag niet naar een mening of vermeld in ieder geval wiens mening weergegeven wordt (men vindt iets is niet voldoende). Leer de leerling niet iets nieuws in de vraag. Het gaat om het testen van reeds verworven kennis. Wees je constant bewust van het niveau waarop je de leerlingen wilt bevragen (feitenkennis, toepassen van kennis, kritisch denken, probleem oplossen). Wees nauwkeurig in grammatica, spelling en interpunctie. Voorkom het weggeven van het antwoord door grammaticale fouten of aanduidingen (zoals bijv. het weggeven van het type lidwoord voor een gevraagd begrip: schrijf de/het..). Stel geen strikvragen (maar neem wel misconcepties op in de alternatieven). Toetsvragen ontwikkelen - basisregels

Expertiseteam Toetsenbank Toetsvragen ontwikkelen - basisregels Gebruik de checklijst ! Specifieke (digitale) vraagtypen

Expertiseteam Toetsenbank Meervoudig antwoord vragen Aandachtspunten Dezelfde regels als bij meerkeuzevragen. Kunnen op verschillende manieren gescoord worden: Bij alle correcte antwoorden geselecteerd een score (= dichotome scoring) Toepassen als echt alle antwoorden nodig zijn om de vraag correct te beantwoorden. Per correct antwoord een (deel-) score (=polytome scoring) Toepassen als elk antwoord een toegevoegde waarde van kennis van de leerling weergeeft. Het kan een keuze zijn om aan te geven hoeveel correcte antwoorden er zijn. Afhankelijk van het doel en vereiste mate van inzicht van de leerling.

Expertiseteam Toetsenbank Matching/Combineren Aandachtspunten Gebruik alleen gelijksoortige feiten, concepten, principes of theorieën in één vraag. Geef duidelijke aanwijzingen op basis van welke gegevens de matching/combinatie plaats moet vinden. Geef duidelijke aanwijzingen of een antwoorditem wel of niet voor meerdere stimuli gebruikt mag worden of vice versa. Elke stimulus moet plausibel zijn voor elk antwoorditem. Biedt meer alternatieven aan dan stimuli. Hou de lijst met stimuli onder de 10 stuks. Geef geen antwoorden weg door grammaticale fouten.

Expertiseteam Toetsenbank Ordening Aandachtspunten Zorg ervoor dat geheel duidelijk is wat de sorteervolgorde moet zijn (van laag naar hoog, van vroeger naar later, van stap 1 naar stap 4 etc.) Vul zo nodig stap 1 en de laatste al in. Geef duidelijk aan hoe de vraag gescoord wordt (dicotoom of polytoom).

Expertiseteam Toetsenbank Invulvragen Aandachtspunten Laat alleen betekenisvolle woorden weg en niet zoveel dat er onduidelijkheid kan ontstaan over de wijze van beantwoording. Zorg dat het duidelijk is dat er maar naar één antwoord gevraagd wordt. Zorg dat de gaten in de tekst allemaal optisch ‘even lang zijn’ zodat de grootte van het gat geen informatie bevat over het mogelijke antwoord. Zorg dat het lidwoord voorafgaand aan het gat zo gegeven wordt dat dit geen informatie geeft over mogelijk goede antwoorden. Neem dus in de tekst op de/het (i.p.v. alleen de of het). Zorg er bij voorkeur voor dat het in te vullen woord als laatste wordt aangegeven in de stam.

Expertiseteam Toetsenbank Drag-and-drop/Hotspot Aandachtspunten Zorg ervoor dat eventuele plaatsingboxen op de afbeelding (waar de markers op moeten worden geplaatst) allemaal even groot zijn (zodat de omvang ervan niet een indicatie geeft van de eventueel correct te plaatsen marker). Geef expliciet aan hoeveel markers gebruikt moeten worden voor volledige beantwoording. Geef dus ook aan dat er bijvoorbeeld afleiders tussen zitten (markers die helemaal niet nodig zijn om de vraag te beantwoorden). Geef expliciet aan of er meerdere markers op één plek geplaatst mogen worden of dat er op elke plek maar één marker geplaatst mag worden. Geef expliciet aan hoe wijzigingen in de plaatsing van de markers mogelijk is (of laat leerlingen hier in ieder geval een keer mee oefenen).

Expertiseteam Toetsenbank

Cesuur - kenmerken Cesuur = die score die de grens vormt tussen een voldoende (= slagen) en een onvoldoende (= zakken) Cesuur = die score die de grens vormt tussen een voldoende (= slagen) en een onvoldoende (= zakken) Er zijn vele methoden, geen van allen is perfect. De cesuurmethode bestaat niet. Ze hebben allemaal voor- en nadelen. De methoden zijn vaak moeilijk met complexe berekeningen. Of ze vragen om grote steekproeven of grote aantallen resultaten. Ze zijn niet allemaal of (bijna) allemaal niet objectief. Combinaties van methoden kunnen de nadelen minimaliseren. Er zijn wel consequenties aan verbonden. Genomen beslissingen zijn in zekere mate altijd arbitrair en subjectief. Overleg (met collega’s en/of andere ervaringsdeskundigen) kan een deel van deze subjectiviteit wegnemen. Wat is realistisch? Wat is in de praktijk haalbaar?

Expertiseteam Toetsenbank Cesuur - methoden A. Absolute bepaling (vooraf) Angoff methode Nedelsky methode Ebel methode Kernitem methode Bookmark methode Intuïtieve methode (Jan Boerenfluitjes methode) B. Relatieve bepaling (achteraf) Grens-groep methode Contrast-groep methode Grading on the curve C. Compromis methoden (combinatie van beide) Methode van Beuk Methode van Hofstee

Expertiseteam Toetsenbank Cesuur – methoden: Jan Boerenfluitje Intuïtieve methode (Jan Boerenfluitjesmethode) De docent bepaalt waar de grens getrokken moet worden tussen voldoende en onvoldoende. Waar de grens ligt bepaalt de docent zelf op basis van intuïtie en ervaring. Vaak wordt 60% gehanteerd, of 55% of 56%. Deze methode houdt geen rekening met de haalbaarheid van extreme toetsscores. De veronderstelling is: goede leerling  10 slechte leerling  1 Deze extremen worden echter vaak niet behaald. Deze methode houdt geen rekening met verschil tussen makkelijke en moeilijke toets. Bij moeilijke toets zal dit vaak leiden tot aanpassingen achteraf.

Expertiseteam Toetsenbank Cesuur – methoden: Angoff Angoff methode De meest onderzochte en gebruikte methode. Beoordelaars nemen een zesjesleerling in gedachte en bepalen voor ieder item de kans dat deze leerling het item correct zal beantwoorden. (oftewel: “Wat denkt u wat de gemiddelde score op dit item zal zijn als 100 zesjesleerlingen dit item beantwoorden?) De cesuur = som van die kansen (of som van gemiddelde kansen) BeoordelaarGemiddelde ItemMaximale score Cesuur

Expertiseteam Toetsenbank Cesuur – methoden: Grens-groep Grens-groep methode Van een groep leerlingen het niveau inschatten (op basis van voorgaande ervaringen) Groep leerlingen die, volgens beoordelaars, juist op de grens van voldoende/onvoldoende zitten (zesjesleerlingen).

Expertiseteam Toetsenbank Cesuur – methoden: Contrast-groep Contrast-groep methode Twee groepen inschatten op niveau (op basis van voorgaande ervaringen): A Groep leerlingen die de stof niet beheersen B Groep leerlingen die de stof wel beheersen

Expertiseteam Toetsenbank Betrouwbaarheid en cesuur raadscore cijfer 1 10 maximale scorecesuurscore Proportie leerlingen die slaagt. 0,0 (of 1,0) 5,5 (of 6,0) score

Expertiseteam Toetsenbank ….