Vakbekwaamheid en digitaal toetsen CDFD Vakbekwaamheid en digitaal toetsen Een kijkje in de keuken van CDFD Estrella Schwalm & Jeffrey Derks 15 maart 2017 11-5-2019 oktober 2013

Over CDFD College Deskundigheid Financiële Dienstverlening Stafbureau Drie hoofdtaken: Adviseren en ondersteunen van de minister Accreditatie en toezicht Inhoudelijk beheer van de examenbank 11-5-2019

Inhoudelijk beheer van de examenbank 9 initiële examens 9 PE- examens (per beroepskwalificatie) 11-5-2019

PE- periodes Overgangsperiode 1e PE-periode 2e PE- periode 1-1-2014 t/m 1-1-2015 1-1-2015 t/m 1-1-2016 1-1-2016 t/m 1-1-2017 1e PE-periode 1-4-2017 t/m 1-4-2018 1-4-2018 t/m 1-4-2019 2e PE- periode 1-4-2019 t/m 1-4-2020 1-4-2020 t/m 1-4-2021 1-4-2021 t/m 1-4-2022 11-5-2019

Van ontwikkeling naar examenvraag Input De ontwikkelingen worden aangedragen Ontwikkelingen worden geselecteerd op relevantie Aanvulling Wat moet de financieel adviseur kennen en kunnen? (toetsterm) Consultatie De selectie wordt voorgelegd aan de markt Examen Uit de ontwikkelingen wordt een examen samengesteld (toetsmatrijs) Examenvraag De specifieke examenvragen worden ontwikkeld 11-5-2019

Voorbeeld uit Schade particulier Ontwikkeling : Eén systeem voor vastlegging van het aantal schadevrije jaren De kandidaat moet weten wat er binnen Roy-Data veranderd is per 1 januari 2016 en past dit toe: Alle verzekeraars hanteren een uniforme BM tabel en alle verzekeraars berekenen op dezelfde manier de zuivere vrije schadevrije jaren. Toetstermen : 1a.10, 2e.7, 3e.1 3e.1 De klant begeleiden bij het schadeproces. Klant is goed geïnformeerd, onder andere over hoe de schadebehandelingsprocedure werkt en de mate van dekking. De kandidaat legt de mogelijke maatregelen uit ter beperking van de schade (bereddingsplicht volgens BW, water weg (laten) pompen, luchten en heaters plaatsen bij waterschade, reconditioneringsbedrijf inschakelen, inboedelrestanten elders opslaan, noodglas laten aanbrengen etc.). De juiste stukken zijn op het juiste moment bij de juiste mensen. Kandidaat ziet toe dat de juiste deskundigen op het juiste moment worden ingeschakeld. De klant weet welke mogelijkheden er voor hem zijn bij de schadebepaling. Klant krijgt het juiste inzicht in de wijze waarop wordt bepaald of er recht op een uitkering is. Kandidaat handelt op de juiste wijze als de verzekeraar beroep doet op de polisvoorwaarden of op wet- en regelgeving voor bonus malus, subsidies e.d. of regresrecht. Kandidaat handelt op de juiste wijze in geval van niet meewerken 11-5-2019

Itemconstructie keten Stafbureau Auteur Coach Toets-deskundige Vak-deskundige Screener

Externe itemauteur Conceptvraag schrijven volgens opdracht Aansluiten bij onderwerp en toetsterm Inhoudelijk correct Conform richtlijnen van itemconstructie Aansluiten bij adviespraktijk Verwerken van feedback

Toetsdeskundigen Check op aansluiting bij opdracht Check op aansluiting bij toetsterm Check op dubbeling op vraagniveau Check op richtlijnen Check op taalfouten en taalniveau Feedback geven

Externe vak-deskundig controleur Check op inhoud Check op adviespraktijk Check op niveau Feedback geven

Externe screener Check op complete vraag en bijlagen Check op juiste teksten Maakt de vraag als kandidaat Koppelt onvolkomenheden terug

Kwaliteitsborging Uitgebreide opleiding nieuwe auteur, controleurs en screeners Strikte processen itemconstructie Vooraf gestelde kwaliteitseisen itemconstructie Voortdurend psychometrisch onderzoek Meldingen van examenkandidaten Jaarlijkse onderhoudsscan alle vragen Online vragenlijst voor examenkandidaten Commissie Examenontwikkeling en Kwaliteitsborging (CEK) 11-5-2019

Commissie Examenontwikkeling en Kwaliteitsborging (CEK) Taak: Het borgen van de kwaliteit van de examinering en het examenproces Combinatie van: Inhoudelijke kennis van de financiële (onderwijs)wereld Wetenschappelijke kennis op het gebied van toetstechniek 11-5-2019

Vragen? 11-5-2019

Psychometrisch onderzoek

Wat is een examen? Een examen is een meetinstrument. IQ test

Wat meet een meetinstrument? Onderliggende factor: Gewicht Lengte Intelligentie Empathie In ons geval: Vakbekwaamheid van de financieel adviseur

Zakken of slagen? De persoon is zwanger De persoon is niet zwanger “U bent zwanger.” True positive False positive “U bent niet zwanger” False negative True negative De kandidaat is vakbekwaam De kandidaat is niet vakbekwaam Geslaagd True positive False positive Gezakt False negative True negative

Wat is psychometrie? Psychometrie is het wetenschappelijke veld dat zich bezig houdt met de theorie en techniek van psychologische metingen. Het belangrijkste doel is de constructie en validatie van meetinstrumenten.

Belangrijkste voorwaarden Validiteit Betrouwbaarheid

Validiteit Meet een test wat de test pretendeert te meten? Meten onze examens vakbekwaamheid? Scoort een vakbekwame adviseur hoger dan een minder vakbekwame adviseur?

Betrouwbaarheid Is een test consistent? In hoeverre is een test vrij van meetfouten? Halen twee even goede adviseurs (ongeveer) dezelfde score op hetzelfde examen? Betrouwbaarheid is een voorwaarde voor validiteit. Maar betrouwbaarheid is geen garantie voor validiteit.

Psychometrisch onderzoek CDFD Onderzoek naar losse vragen P-waarde Rit-waarde Onderzoek naar de kwaliteit van het gehele examen Slagingspercentages Betrouwbaarheid Tijdsgebruik

Voorbeeld N: 1474 Vanaf: 14-09-2015 Tot: 31-07-2016 Type: Multiple choice Examen: Initieel Basis P: 0,79 Rit: 0,37 Antw A: 79% (goed) Antw B: 11% Antw C: 10%

Rit-waarde = mate voor betrouwbaarheid

Tijdsgebruik

Informatie uit de overgangsperiode

Aantal examens gemaakt Aantal examens gehaald Cijfers Initieel Module Aantal examens gemaakt Aantal examens gehaald Slagingspercentage Basis 61.155 44.061 72,0% CK 27.809 16.191 58,2% HK 15.030 5.932 39,5% Inkomen 7.335 3.531 48,1% Pensioen 3.947 1.759 44,6% SP 40.159 21.717 54,1% SZ 10.697 5.656 52,9% Vermogen 21.973 10.088 45,9% Zorg 10.660 6.969 65,4% Totaal 198.765 115.904 58,3%

Aantal examens gemaakt Aantal examens gehaald Cijfers PEplus Module Aantal examens gemaakt Aantal examens gehaald Slagingspercentage Basis 13.261 10.518 79,3% CK 6.637 3.533 53,2% HK 26.878 16.109 59,9% Inkomen 29.701 18.236 61,4% Pensioen 3.286 2.606 SP 6.322 4.478 70,8% SZ 37.678 27.664 73,4% Vermogen 12.780 7.228 56,6% Zorg 1.453 1.031 71,0% Totaal 137.996 91.403 66,2%

Aantallen per maand