Vakbekwaamheid en digitaal toetsen

Presentatie over: "Vakbekwaamheid en digitaal toetsen"— Transcript van de presentatie:

1 Vakbekwaamheid en digitaal toetsen
CDFD Vakbekwaamheid en digitaal toetsen Een kijkje in de keuken van CDFD Estrella Schwalm & Jeffrey Derks 15 maart 2017 oktober 2013

2 Over CDFD College Deskundigheid Financiële Dienstverlening
Stafbureau Drie hoofdtaken: Adviseren en ondersteunen van de minister Accreditatie en toezicht Inhoudelijk beheer van de examenbank

3 Inhoudelijk beheer van de examenbank
9 initiële examens 9 PE- examens (per beroepskwalificatie)

4 PE- periodes Overgangsperiode 1e PE-periode 2e PE- periode
t/m t/m t/m 1e PE-periode t/m t/m 2e PE- periode t/m t/m t/m

5 Van ontwikkeling naar examenvraag
Input De ontwikkelingen worden aangedragen Ontwikkelingen worden geselecteerd op relevantie Aanvulling Wat moet de financieel adviseur kennen en kunnen? (toetsterm) Consultatie De selectie wordt voorgelegd aan de markt Examen Uit de ontwikkelingen wordt een examen samengesteld (toetsmatrijs) Examenvraag De specifieke examenvragen worden ontwikkeld

6 Voorbeeld uit Schade particulier
Ontwikkeling : Eén systeem voor vastlegging van het aantal schadevrije jaren De kandidaat moet weten wat er binnen Roy-Data veranderd is per 1 januari 2016 en past dit toe: Alle verzekeraars hanteren een uniforme BM tabel en alle verzekeraars berekenen op dezelfde manier de zuivere vrije schadevrije jaren. Toetstermen : 1a.10, 2e.7, 3e.1 3e.1 De klant begeleiden bij het schadeproces. Klant is goed geïnformeerd, onder andere over hoe de schadebehandelingsprocedure werkt en de mate van dekking. De kandidaat legt de mogelijke maatregelen uit ter beperking van de schade (bereddingsplicht volgens BW, water weg (laten) pompen, luchten en heaters plaatsen bij waterschade, reconditioneringsbedrijf inschakelen, inboedelrestanten elders opslaan, noodglas laten aanbrengen etc.). De juiste stukken zijn op het juiste moment bij de juiste mensen. Kandidaat ziet toe dat de juiste deskundigen op het juiste moment worden ingeschakeld. De klant weet welke mogelijkheden er voor hem zijn bij de schadebepaling. Klant krijgt het juiste inzicht in de wijze waarop wordt bepaald of er recht op een uitkering is. Kandidaat handelt op de juiste wijze als de verzekeraar beroep doet op de polisvoorwaarden of op wet- en regelgeving voor bonus malus, subsidies e.d. of regresrecht. Kandidaat handelt op de juiste wijze in geval van niet meewerken

7 Itemconstructie keten
Stafbureau Auteur Coach Toets-deskundige Vak-deskundige Screener

8 Externe itemauteur Conceptvraag schrijven volgens opdracht
Aansluiten bij onderwerp en toetsterm Inhoudelijk correct Conform richtlijnen van itemconstructie Aansluiten bij adviespraktijk Verwerken van feedback

9 Toetsdeskundigen Check op aansluiting bij opdracht
Check op aansluiting bij toetsterm Check op dubbeling op vraagniveau Check op richtlijnen Check op taalfouten en taalniveau Feedback geven

10 Externe vak-deskundig controleur
Check op inhoud Check op adviespraktijk Check op niveau Feedback geven

11 Externe screener Check op complete vraag en bijlagen
Check op juiste teksten Maakt de vraag als kandidaat Koppelt onvolkomenheden terug

12 Kwaliteitsborging Uitgebreide opleiding nieuwe auteur, controleurs en screeners Strikte processen itemconstructie Vooraf gestelde kwaliteitseisen itemconstructie Voortdurend psychometrisch onderzoek Meldingen van examenkandidaten Jaarlijkse onderhoudsscan alle vragen Online vragenlijst voor examenkandidaten Commissie Examenontwikkeling en Kwaliteitsborging (CEK)

13 Commissie Examenontwikkeling en Kwaliteitsborging (CEK)
Taak: Het borgen van de kwaliteit van de examinering en het examenproces Combinatie van: Inhoudelijke kennis van de financiële (onderwijs)wereld Wetenschappelijke kennis op het gebied van toetstechniek

14 Vragen?

15 Psychometrisch onderzoek

16 Wat is een examen? Een examen is een meetinstrument. IQ test

17 Wat meet een meetinstrument?
Onderliggende factor: Gewicht Lengte Intelligentie Empathie In ons geval: Vakbekwaamheid van de financieel adviseur

18 Zakken of slagen? De persoon is zwanger De persoon is niet zwanger
“U bent zwanger.” True positive False positive “U bent niet zwanger” False negative True negative De kandidaat is vakbekwaam De kandidaat is niet vakbekwaam Geslaagd True positive False positive Gezakt False negative True negative

19 Wat is psychometrie? Psychometrie is het wetenschappelijke veld dat zich bezig houdt met de theorie en techniek van psychologische metingen. Het belangrijkste doel is de constructie en validatie van meetinstrumenten.

20 Belangrijkste voorwaarden
Validiteit Betrouwbaarheid

21 Validiteit Meet een test wat de test pretendeert te meten?
Meten onze examens vakbekwaamheid? Scoort een vakbekwame adviseur hoger dan een minder vakbekwame adviseur?

22 Betrouwbaarheid Is een test consistent?
In hoeverre is een test vrij van meetfouten? Halen twee even goede adviseurs (ongeveer) dezelfde score op hetzelfde examen? Betrouwbaarheid is een voorwaarde voor validiteit. Maar betrouwbaarheid is geen garantie voor validiteit.

23

24

25 Psychometrisch onderzoek CDFD
Onderzoek naar losse vragen P-waarde Rit-waarde Onderzoek naar de kwaliteit van het gehele examen Slagingspercentages Betrouwbaarheid Tijdsgebruik

26 Voorbeeld N: 1474 Vanaf: 14-09-2015 Tot: 31-07-2016
Type: Multiple choice Examen: Initieel Basis P: 0,79 Rit: 0,37 Antw A: 79% (goed) Antw B: 11% Antw C: 10%

27 Rit-waarde = mate voor betrouwbaarheid

28 Tijdsgebruik

29 Informatie uit de overgangsperiode

30 Aantal examens gemaakt Aantal examens gehaald
Cijfers Initieel Module Aantal examens gemaakt Aantal examens gehaald Slagingspercentage Basis 61.155 44.061 72,0% CK 27.809 16.191 58,2% HK 15.030 5.932 39,5% Inkomen 7.335 3.531 48,1% Pensioen 3.947 1.759 44,6% SP 40.159 21.717 54,1% SZ 10.697 5.656 52,9% Vermogen 21.973 10.088 45,9% Zorg 10.660 6.969 65,4% Totaal 58,3%

31 Aantal examens gemaakt Aantal examens gehaald
Cijfers PEplus Module Aantal examens gemaakt Aantal examens gehaald Slagingspercentage Basis 13.261 10.518 79,3% CK 6.637 3.533 53,2% HK 26.878 16.109 59,9% Inkomen 29.701 18.236 61,4% Pensioen 3.286 2.606 SP 6.322 4.478 70,8% SZ 37.678 27.664 73,4% Vermogen 12.780 7.228 56,6% Zorg 1.453 1.031 71,0% Totaal 91.403 66,2%

32 Aantallen per maand