Toetsvormen en toetsbeleid HAN 6 november 2009 Toetsvormen en toetsbeleid Jan Adema trainer / adviseur Beroepseducatie & Bedrijven

kern van deze workshop Toetsing wordt op het niveau van de opleiding geïntegreerd ontworpen Het aantal toetsvormen is zeer groot, er zijn een aantal ‘knoppen’ om aan te draaien De ideale toets bestaat niet

toetsconstructie rollen in het examenproces opdrachtgever toetsontwerper/ ontwikkelaar kwaliteitscontroleur Inhoudelijk en toetstechnisch Beoordelaars/assessoren Examencommissie (bepalen definitieve uitslag / klachten behandelen)

toetsconstructie ontwerp toetsbeleidsplan ontwerp toetsmatrijzen toetstechnische controle afname definitieve cesuur evaluatie

toetsconstructie overeenstemming over de werkwijze

Toetsmatrijs Constructieopdracht: scriptie met presentatie voor de groep Toetsmatrijs competentie opdracht % criteria analyseren scriptie 50 -heldere probleemstelling overtuigen presentatie -geeft argumenten -weerlegt tegenargumenten Wat ontbreekt in deze matrijs/ opdracht/bouwplan

ontwerp A je mag de toets(matrijs) zelf samenstellen Welke invloed heb je als ontwerper op de inhoud van de toets(matrijs)? A je mag de toets(matrijs) zelf samenstellen B je hebt geen invloed C je beslist mee over de inhoud in een eerder stadium

toetsmodel of kwalificatie vakken toetsen kwalificatie toetsbeleidsplan toetsen

toetsmodel Vakinhoud en curriculum leidend voor de toetsinhoud en vorm

Toetsing volgens toetsbeleidsplan toetsmodel Toets-beleidsplan Curriculum Toetsing volgens toetsbeleidsplan Zowel curriculum als toetsen worden aan de hand van toetsbeleidsplan ontwikkeld

portfolio-assessment toetsmodel portfolio-assessment met gesprek portfolio-assessment gesprek

toetsmodel proeve van bekwaamheid proeve van bekwaamheid

toetsmodel potfolio plus proeve proeve van bekwaamheid portfolio-assessment proeve van bekwaamheid

Wat toetsen we? Does Knows how Knows vakbekwaam handelen synthese Shows how vakbekwaam handelen synthese Vaardigheden toepassen Begrip feitenkennis

inhoud en toetsvorm Does Shows how Knows how Knows hogere validiteit/ lagere betrouwbaarheid Knows Shows how Knows how Does -Échte opdrachtgever -participatie in het bedrijf -praktijksimulatie -Verslag van praktijk -Casustoetsen -overall toets -open vragen -gesloten vragen lagere validiteit/ hogere betrouwbaarheid

methodenmix Doel van methodenmix geheel van toetsing is representatief voor beroep/ kwalificatie naar inhoud en beheersingsniveau mix van valide en betrouwbare toetsen Meerdere niveaus van beheersing worden getoetst neutraliseren van ongewenste effecten van één type toets

toetsmodel conclusie validiteit van het diploma wordt het best gegarandeerd door een geïntegreerd toetsprogramma betrouwbaarheid van een diploma wordt het best gegarandeerd door een geïntegreerd toetsprogramma

inhoud en toetsvorm welke toetsvorm ken je nog meer? (terug naar dia 15) plaats ze tussen de andere toetsvormen in de rechterkolom

toetsvorm is …. Toetsvorm is meer dan de opdracht /type vraagstelling… (type) beoordelingscriteria afnamecondities/ situatie beoordelingsprocedure en beoordelaars mate van feedback

toetsvorm is …. Indeling toetsvormen naar te toetsen gedrag Zie bijlage

toetsconstructie knoppen om aan te draaien validiteit betrouwbaarheid kosten Feedback (acceptatie) (transparantie)

betrouwbaarheid criteria impliciet criteria expliciet één beoordelaar zwak goed criteria impliciet criteria expliciet één beoordelaar meerdere beoordelaars begeleider is beoordelaar onafhankelijke beoordelaar geen analyse van afnamegegevens -analyse afnamegegevens -Beoordelaarsovereen-stemming meten nieuwe toets/procedure -bekende procedure -testen van nieuwe toets

validiteit voor beroep/kwalificatie zwak goed opdracht en criteria passen niet bij: -beheersingsniveau -beroepspraktijk -eindniveau opdracht en criteria: sluiten wél aan bij: Hands off /indirect toetsen hands on/direct toetsen geen vertrouwen beroepenveld vertrouwen beroepenveld geen gegevens over alumni onderzoek naar resultaten alumni

feedback open vragen alleen uitslag inzage in de toets en bespreking zwak goed open vragen alleen uitslag inzage in de toets en bespreking Meerkeuze feedback bij beantwoorden algemeen - 360 graden feedback -feedback door peergroup -tussentijds beoordelen -bespreking resultaat -feedback per criterium

Kosten schatting aantal uren constructie aantal uren afname aantal uren beoordeling ___________________ aantal deelnemers hier komen de overhead kosten bij, deze zijn voor de verschillende toetsen ongeveer gelijk

Kosten hogere kosten lagere kosten toetsen hergebruiken stabiliteit in procedures beoordelen door peergroup in leerproces afwegingen binnen het geheel aan toetsing samenwerken met andere hbo scholen -uitbesteden of inkopen hogere betrouwbaarheid bv:door meer beoordelaars toetsen in simulatie en praktijk mondeling toetsen

Opdracht Beheersings niveau Validi-teit Betrouw Baar-heid Feed-back Kos- Ten p.p. mondeling Kennistoets door door eigen docent Begrip/ feiten-kennis Scriptie Simulatie met Peerbeoordeling Competenties analyseren Stageverslag Beoordeeld door stagebegeleider. Vaardigheden competenties Geef aan hoe je de knoppen omhoog kan draaien (bij kosten dus omlaag)

stap 1 eerste ontwerp creativiteit <<>>regels dilemma van de ontwerper: creativiteit <<>>regels

stap 2 controle -Voldoet de toets aan de opdracht - Komt de toets overeen met toetsbeleidsplan - inhoudelijke controle - toetstechnische controle

We hebben de afgesproken procedure gevolgd tot slot Hoe weet je dat een toets de juiste uitslag geeft? We hebben de afgesproken procedure gevolgd