Toetsvormen en toetsbeleid

Presentatie over: "Toetsvormen en toetsbeleid"— Transcript van de presentatie:

1 Toetsvormen en toetsbeleid
HAN 6 november 2009 Toetsvormen en toetsbeleid Jan Adema trainer / adviseur Beroepseducatie & Bedrijven

2 kern van deze workshop Toetsing wordt op het niveau van de opleiding geïntegreerd ontworpen Het aantal toetsvormen is zeer groot, er zijn een aantal ‘knoppen’ om aan te draaien De ideale toets bestaat niet

3 toetsconstructie rollen in het examenproces opdrachtgever
toetsontwerper/ ontwikkelaar kwaliteitscontroleur Inhoudelijk en toetstechnisch Beoordelaars/assessoren Examencommissie (bepalen definitieve uitslag / klachten behandelen)

4 toetsconstructie ontwerp toetsbeleidsplan ontwerp toetsmatrijzen
toetstechnische controle afname definitieve cesuur evaluatie

5 toetsconstructie overeenstemming over de werkwijze

6 Toetsmatrijs Constructieopdracht: scriptie met presentatie voor de groep Toetsmatrijs competentie opdracht % criteria analyseren scriptie 50 -heldere probleemstelling overtuigen presentatie -geeft argumenten -weerlegt tegenargumenten Wat ontbreekt in deze matrijs/ opdracht/bouwplan

7 ontwerp A je mag de toets(matrijs) zelf samenstellen
Welke invloed heb je als ontwerper op de inhoud van de toets(matrijs)? A je mag de toets(matrijs) zelf samenstellen B je hebt geen invloed C je beslist mee over de inhoud in een eerder stadium

8 toetsmodel of kwalificatie vakken toetsen kwalificatie
toetsbeleidsplan toetsen

9 toetsmodel Vakinhoud en curriculum leidend voor de toetsinhoud en vorm

10 Toetsing volgens toetsbeleidsplan
toetsmodel Toets-beleidsplan Curriculum Toetsing volgens toetsbeleidsplan Zowel curriculum als toetsen worden aan de hand van toetsbeleidsplan ontwikkeld

11 portfolio-assessment
toetsmodel portfolio-assessment met gesprek portfolio-assessment gesprek

12 toetsmodel proeve van bekwaamheid proeve van bekwaamheid

13 toetsmodel potfolio plus proeve proeve van bekwaamheid
portfolio-assessment proeve van bekwaamheid

14 Wat toetsen we? Does Knows how Knows vakbekwaam handelen synthese
Shows how vakbekwaam handelen synthese Vaardigheden toepassen Begrip feitenkennis

15 inhoud en toetsvorm Does Shows how Knows how Knows
hogere validiteit/ lagere betrouwbaarheid Knows Shows how Knows how Does -Échte opdrachtgever -participatie in het bedrijf -praktijksimulatie -Verslag van praktijk -Casustoetsen -overall toets -open vragen -gesloten vragen lagere validiteit/ hogere betrouwbaarheid

16 methodenmix Doel van methodenmix
geheel van toetsing is representatief voor beroep/ kwalificatie naar inhoud en beheersingsniveau mix van valide en betrouwbare toetsen Meerdere niveaus van beheersing worden getoetst neutraliseren van ongewenste effecten van één type toets

17 toetsmodel conclusie validiteit van het diploma wordt het best gegarandeerd door een geïntegreerd toetsprogramma betrouwbaarheid van een diploma wordt het best gegarandeerd door een geïntegreerd toetsprogramma

18 inhoud en toetsvorm welke toetsvorm ken je nog meer? (terug naar dia 15) plaats ze tussen de andere toetsvormen in de rechterkolom

19 toetsvorm is …. Toetsvorm is meer dan de opdracht /type vraagstelling…
(type) beoordelingscriteria afnamecondities/ situatie beoordelingsprocedure en beoordelaars mate van feedback

20 toetsvorm is …. Indeling toetsvormen naar te toetsen gedrag Zie bijlage

21 toetsconstructie knoppen om aan te draaien validiteit betrouwbaarheid
kosten Feedback (acceptatie) (transparantie)

22 betrouwbaarheid criteria impliciet criteria expliciet één beoordelaar
zwak goed criteria impliciet criteria expliciet één beoordelaar meerdere beoordelaars begeleider is beoordelaar onafhankelijke beoordelaar geen analyse van afnamegegevens -analyse afnamegegevens -Beoordelaarsovereen-stemming meten nieuwe toets/procedure -bekende procedure -testen van nieuwe toets

23 validiteit voor beroep/kwalificatie
zwak goed opdracht en criteria passen niet bij: -beheersingsniveau -beroepspraktijk -eindniveau opdracht en criteria: sluiten wél aan bij: Hands off /indirect toetsen hands on/direct toetsen geen vertrouwen beroepenveld vertrouwen beroepenveld geen gegevens over alumni onderzoek naar resultaten alumni

24 feedback open vragen alleen uitslag inzage in de toets en bespreking
zwak goed open vragen alleen uitslag inzage in de toets en bespreking Meerkeuze feedback bij beantwoorden algemeen - 360 graden feedback -feedback door peergroup -tussentijds beoordelen -bespreking resultaat -feedback per criterium

25 Kosten schatting aantal uren constructie aantal uren afname
aantal uren beoordeling ___________________ aantal deelnemers hier komen de overhead kosten bij, deze zijn voor de verschillende toetsen ongeveer gelijk

26 Kosten hogere kosten lagere kosten toetsen hergebruiken
stabiliteit in procedures beoordelen door peergroup in leerproces afwegingen binnen het geheel aan toetsing samenwerken met andere hbo scholen -uitbesteden of inkopen hogere betrouwbaarheid bv:door meer beoordelaars toetsen in simulatie en praktijk mondeling toetsen

27 Opdracht Beheersings niveau Validi-teit Betrouw Baar-heid Feed-back
Kos- Ten p.p. mondeling Kennistoets door door eigen docent Begrip/ feiten-kennis Scriptie Simulatie met Peerbeoordeling Competenties analyseren Stageverslag Beoordeeld door stagebegeleider. Vaardigheden competenties Geef aan hoe je de knoppen omhoog kan draaien (bij kosten dus omlaag)

28 stap 1 eerste ontwerp creativiteit <<>>regels
dilemma van de ontwerper: creativiteit <<>>regels

29 stap 2 controle -Voldoet de toets aan de opdracht
- Komt de toets overeen met toetsbeleidsplan - inhoudelijke controle - toetstechnische controle

30 We hebben de afgesproken procedure gevolgd
tot slot Hoe weet je dat een toets de juiste uitslag geeft? We hebben de afgesproken procedure gevolgd