Onder welke voorwaarden kan online toetsen effectief zijn?

Presentatie over: "Onder welke voorwaarden kan online toetsen effectief zijn?"— Transcript van de presentatie:

1 Onder welke voorwaarden kan online toetsen effectief zijn?
Silvester Draaijer (Vrije Universiteit Amsterdam) Jan de Goeijen (Universiteit Twente) Pierre Gorissen (Fontys Hogescholen / SURF SiX) Anton Negger (Fontys Hogescholen) - voorzitter

2 Onder welke voorwaarden kan online toetsen effectief zijn?
Toetsen met ICT is sterk in opkomst, maar vergt een belangrijke organisatorische verandering, zowel voor de toetsontwikkeling als voor de toetsuitvoering. In deze sessie wordt vanuit technisch en organisatorisch perspectief een aantal aspecten uitgewerkt. nuttig, bruikbaar, handig, praktisch, doeltreffend

3 Online toetsing Kennistoetsing
Vooral spelend rondom inzet van gesloten vragen in onderwijs (automatisch afhandelbaar) Vaardigheden toetsing Geschikt voor hogere orde cognitieve kennis, probleemoplossing of zelfs vaardigheden, vb toets communicatievaardigheden Fontys

4 Wat is het belang van toetsing
Functies van toetsen Als middel en/of als doel Formatief en/of summatief Summatieve toetsing stuurt het leerproces in sterke mate Met ICT middelen zou toetsing nuttiger, praktischer, doeltreffender, handiger, goedkoper kunnen worden?

5 Wat is effectief en efficiënt toetsen
Vertrouwd rijtje criteria Betrouwbaarheid Validiteit Uitvoerbaar (evenwicht in baten en kosten)

6 Voor- en nadelen, kansen en bedreigingen van (online) toetsen met ICT
Voordelen/kansen/baten Meer tijd- en plaatsonafhankelijk Integratie met e-learning Gestructureerder itembanking -> hogere kwaliteit toetsvragen en toetsen Directe feedback Multimediale elementen/simulaties Adaptief toetsen Nadelen/bedreigingen/kosten Arbeidsintensief Afhankelijk van techniek Andere organisatie noodzakelijk

7 Toetscyclus voor (kennis)toetsing

8 Drie Organisatieregels
ontkoppelen - specialisatie - schaalvergroting - continuïteit Ontkoppelen van toetsinhoud en toetsuitvoering Ontkoppelen van onderwijs en toetsing Ontkoppelen van toetsmateriaal en toetsmiddel

9 Organisatieregel A: ontkoppelen van toetsinhoud en toetsuitvoering
Docent (of groep) verzorgt onderwijs, docent maakt toetsvragen, docent geeft opzet toets aan toets- en IT-specialist verenigd in ‘toetsservicecentrum’ → toetsservicecentrum organiseert toetsafname / toetsverwerking / terugkoppeling Voordelen: Uitvoeringskosten lager voor de organisatie Docent meer tijd voor doceren (effectief voor docent)

10 Organisatieregel A: ontkoppelen van toetsinhoud en toetsuitvoering - pogingen
HBO Hanzehogeschool WO Technische Universiteit Delft Mechanica onderwijs, toetsing met Tempo+ en Presto+ KU Leuven en Dundee University Bank/Verzekering (Lamark) Borging van kwaliteit toetsing bij Bank

11 Organisatieregel A: ontkoppelen van toetsinhoud en toetsuitvoering
Problemen om dit op korte termijn op te lossen Geen organisatie Geen beveiligde toetszaal Toetszaal is duur? Baten onduidelijk? Vergt: Relatief weinig visie Een redelijke dosis geld

12 Stelling A Het is noodzakelijk om toetsinhoud en toetsuitvoering van elkaar los te koppelen!

13 Organisatieregel B: ontkoppelen van onderwijs en toetsing
Toetsing wordt door ‘extern’ lichaam vormgegeven en uitgevoerd (beroepsorganisatie, speciale commissie, speciale organisatie intern). M.a.w. naast uitvoering, ook inhoudelijke ontkoppeling docent-toetsing of zelfs opleiding-toetsing Waarom: Een hogere kwaliteit van toetsing Een onderling vergelijkbare kwaliteit en niveau van toetsing Uitvoeringskosten lager voor de organisatie Docent meer tijd voor doceren

14 Organisatieregel B: ontkoppelen van onderwijs en toetsing
Voortgangstoets (Maastrichts model) Gestandaardiseerde vaktoets (2e graads lerarenopleiding Ton Plug) Anders WO/HBO?

15 Organisatieregel B: ontkoppelen van onderwijs en toetsing
Waarom moeilijk! Vergt visie Vergt beleid Vergt doorzettingsvermogen Vergt stabiel vakgebied Vergt leiderschap Vergt tijd Vergt consensus Vergt veel

16 Onderwijs en toetsing moeten van elkaar losgekoppeld worden!
Stelling B Onderwijs en toetsing moeten van elkaar losgekoppeld worden!

17 Aandeel diverse actoren in toetscyclus
opleiding, beroepenveld inhoud docent Gewenste ontwikkelrichting toetsservice bureau (itembankbeheer, toetsdeskundige, beveiligde toetsomgeving (toets)techniek docent

18 Efficiëntie-gebied formatief toetsen
Beveiligde toetsomgeivng met toetsservice bureau complexe vaardigheden toetsen met speciaal toetsprogramma toetsservice bureau serie MC toetsen, online met ELO Weinig afnames Veel afnames Serie MC vragen, pen en papier open vragen Individuele docent

19 Efficiëntie-gebied summatief toetsen
Beveiligde toetsomgeving met toetsservice bureau serie individuelevaardigheden toetsen, online met toetsprogramma in beveiligde omgeving serie individuele kennistoetsen, online met toetsprogramma in beveiligde omgeving toetsservice bureau serie individuele kennistoetsen, online met toetsprogramma in kleine zaaltjes Weinig afnames Veel afnames Serie MC vragen, pen en papier open vragen Individuele docent

20 Organisatieregel C: Ontkoppelen toetsmaterialen en toetsmiddel
Toetsmaterialen worden onafhankelijk van de “afspeelomgeving” (het toetsmiddel) opgeslagen Gebruik is mogelijk voor zowel online als offline toetsen (beeldscherm en papier)

21 Organisatieregel C: Ontkoppelen toetsmaterialen en toetsmiddel
Voordelen / Kansen Itembanking → uitwisseling Voorkomt ‘vendor-lockin’ Nadelen/bedreigen Kleinste gemene deler (?) Nog geen stabiele afspraken

22 Organisatieregel C: Ontkoppelen toetsmaterialen en toetsmiddel
Waarom? Levensduur items v.s. levensduur software Diversiteit gebruikte software (= goed!) Noodzaak van schaalvergroting Waarom niet? Technisch niet eenvoudig Cultuur Not invented here… (geloof ik niet) Docent wil in ELO ontwikkelen (!)

23 Organisatieregel C: Ontkoppelen toetsmaterialen en toetsmiddel
Wie is er al mee bezig? Digitale Universiteit Grafische integratie SURF Tender 2004 Thieme Meulenhoff Onderzoek hergebruik toetsmaterialen

24 Organisatieregel C: Ontkoppelen toetsmaterialen en toetsmiddel
Wie is er al mee bezig? TOIA QTI gebaseerd systeem voor HO in VK Fontys Elektronische beheren en verwerken van papieren toetsen

25 Toetsmaterialen en toetsmiddel moeten van elkaar los gekoppeld worden!
Stelling C Toetsmaterialen en toetsmiddel moeten van elkaar los gekoppeld worden!

26 Organisatorische en technische stellingen op een rij….
Het is noodzakelijk om toetsinhoud en toetsuitvoering van elkaar los te koppelen! Sterker nog: onderwijs en toetsing moeten van elkaar losgekoppeld worden! Toetsmaterialen en toetsmiddel moeten van elkaar los gekoppeld worden!