Aanlooptraject Middenkader: Fase 1 Overzicht van de gebruikte testen en leiddraad voor interpretatie van de resultaten Ellen Volckaert.

Presentatie over: "Aanlooptraject Middenkader: Fase 1 Overzicht van de gebruikte testen en leiddraad voor interpretatie van de resultaten Ellen Volckaert."— Transcript van de presentatie:

1 Aanlooptraject Middenkader: Fase 1 Overzicht van de gebruikte testen en leiddraad voor interpretatie van de resultaten Ellen Volckaert

2 INLEIDING

3 Persoonlijkheids- vragenlijsten
Algemeen schema Filip Lievens & Etienne Van Keer, Assessment Centres in Vlaanderen: een wetenschappelijke evaluatie, Academia Press, 1999, p. 10 Redeneertesten Vaardigheidstesten Persoonlijkheids- vragenlijsten Zelfbeschrijving Simulatie oefeningen Interview Biodata Data interpretatie Data verzameling Subjectief Objectief Idealiter worden er verschillende types oefeningen gebruikt in een assessment/development Center. Hoe wordt data verzameld? Hoe wordt data geïnterpreteerd? Objectief-Objectief = iedereen ontvangt dezelfde vragen, heeft dezelfde tijd om vragen te beantwoorden en er is maar één juist antwoord. De test wordt gescoord op een objectieve manier, aangezien de scores berekend worden door de PC op exact dezelfde manier voor alle kandidaten. Subjectief-Subjectief = De kandidaat antwoordt op basis van zijn zelfbeeld (een zelfbeschrijving) en de assessor maakt een evaluaite van de gegeven antwoorden. Subjectief – Objectief = De kandidaat antwoordt op basis van zijn zelfbeeld. Er zijn geen juiste of foute antwoorden. Maar de vragenlijst wordt wel op een objectieve manier gescoord. Een PC maakt een berekening op exact dezelfde manier als voor alle kandidaten. Objectief-Subjectief = Alle kandidaten ontvangen dezelfde informatie in het begin van de oefening, ze krijgen evenveel tijd om een antwoord/oplossing te formuleren. Een assessor evalueert dan dat antwoord/de oplossing. Subjectief is niet “negatief” in vergelijking met objectief. Het geeft een ander type informatie over de kandidaat dat heel waardevol is om iemand competenties in te schatten. Een volledig Assessment Center is een combinatie van de 4 kwadranten. Vb: Communiceren: in een presentatie oefening (obj-subj) kan men zien dat de persoon in staat is om goed te communiceren. Maar in een persoonlijkheidsvragenlijst (subj-obj) kan iemand aanduiden dat hij dit niet graag doet.

4 Verband met performantie
De validiteit van een afzonderlijke test is zelden hoger dan .50. De validiteit van een groep testen is hoger dan die van één enkele test. De predictieve validiteit speelt ook een belangrijke rol bij het kiezen van oefeningen. Een interview is zeer belangrijk om te gebruiken, maar het geeft weinig predictieve waarde. Eeen gestructureerd interview, zoals een competentie gebaseerd interview, heeft wel al een iets hogere predictieve waarde (rond 0,3) maar nog steeds lager dan een persoonlijkheidsvragenlijst (als de juiste fit wordt gemaakt met de functie) en redneertesten. Best is om een combinatie van testen te maken (zoals in een assessment center) want dan is de validiteit hoger. Het gaat wel nog steeds over mensen, een perfecte predictie maken is dus niet mogelijk. Zelfs niet na bvb een proefperiode van 6 maand. Cfr: Correlaties Medische procedure r N Bypass operatie & 5 jaar overleven .08 2649 Roken & long kanker in 25 jaar 3956 Antihistamines & verminderd niezen .11 1023 Effect van Iboprufen op pijnvermindering .14 8488

5 Voorkeur, gebruik & validiteit van selectie-instrumenten
Meeste voorkeur Minste Correlatie 0.9 0.1 0.7 0.5 0.3 Aangezien bijna 200 kandidaten deelnamen aan het aanlooptraject, is het niet mogelijk om voor iedereen een interview of volledig Assessment center te organiseren. Er werd wel een zeer bewust keuze gemaakt van de te gebruiken testen. Zo werd gekozen voor de testen met de meest voorspellende waarde. En met een positieve kandidatenervaring. Schmith & Hunter (1998) Meyer, Finn, Eyde, Kay, Moreland, Dies, Eisman, Kubiszyn, & Read (2001)

6 GEBRUIKTE OEFENINGEN

7 Abstracte redeneertest: Business Strategy (A-RAT)
Meet het abstract redeneervermogen: het vermogen om regels af te leiden uit abstracte informatie en deze toe te passen op nieuwe informatie. Relevant om het potentieel van de kandidaat na te gaan. A-RAT: Abstracte redeneertest De oefening peilt naar het vermogen om regels af te leiden uit abstracte informatie en deze toe te passen op nieuwe informatie. Dit is wat in elke (nieuwe) functie van belang is. Hoe gaat men om met nieuwe situaties, nieuwe informatie. Belangrijk om het peter’s principle tegen te houden (gepromoveerd worden tot boven zijn/haar competentieniveau. Het is niet zo dat men goed is een andere job, omdat men goed is in de huidige job) In deze oefening worden aan de kandidaat “basisschermen” getoond. Elk basisscherm bestaat uit 2 types figuren, die respectievelijk "basisfiguren" en "eindfiguren" worden genoemd. Tussen beide types figuren staan er één of meerdere F-toetsen. De (reeks) F-toets(en) bepaalt welke bewerking er wordt uitgevoerd op één of meerdere basisfiguren. De taak van de kandidaat bestaat erin de basisfigu(u)r(en) en de eindfigu(u)r(en) met elkaar te vergelijken en zo het effect van elke F-toets te achterhalen. Bij elk basisscherm worden 4 opgaven gegeven. In deze opgaven worden nieuwe basisfiguren getoond en één of meerdere F-toetsen. De kandidaat moet vervolgens de bewerking van de (verschillende) F-toets(en) toepassen op de nieuwe basisfiguren. Geen adaptieve test maar moeilijkheidsgraad stijgt wel naarmate de oefening vordert. De oefening bestaat op verschillende niveaus. Hier werd het niveau 3 gekozen (cfr niveau middenkader). De efficiëntiescore werd in rekening genomen. Dit is een totaalscore die rekening houdt met de snelheid en de accuraatheid.

8 Business Attitudes Questionnaire (BAQ)
Persoonlijkheidsvragenlijst: Business Attitudes Questionnaire (BAQ) Meet: persoonlijkheidsfacetten gebaseerd op het algemeen aanvaarde ‘Big Five’ persoonlijkheidsmodel. Deze vragenlijst meet persoonlijkheidseigenschappen die relevant zijn in de professionele context van hoger geschoolden. De vragenlijst meet de "Big Five" persoonlijkheidsdomeinen (Emotionele stabiliteit, Extraversie, Openheid, Altruïsme, Consciëntieusheid), aangevuld met het domein "Professionaliteit".

9 Motivational Drives Questionnaire (MDQ)
Motivatievragenlijst (MDQ) Meet de Motivationele drijfveren: “Wat motiveert de kandidaat” De Motivational Drives Questionnaire meet waardoor huidige en toekomstige werknemers gemotiveerd zijn of kunnen worden. De MDQ meet 5 dimensies met telkens 3 facetten. “Wat motiveert de kandidaat” Belangrijk om juiste balans te hebben. Voldoende elementen waar men door gemotiveerd wordt aanwezig in de job.

10 Elektronische postbakoefening (FCA)
Flexible Competency Assessment (FCA) Op maat gemaakt voor de Vlaamse overheid Rol op middenkader niveau Meet inzicht in situaties & competenties Max 21 vragen binnen tijdslimiet van 1u De FCA meet de procedurele kennis van professionele competenties van een kandidaat. Via een elektronische postbak met s en documenten wordt de bevraagd hoe een kandidaat zou reageren indien hij zich in die situatie bevindt. De inhoud van de oefening is specifiek ontwikkelt voor het aanlooptraject middenkader, zodat de oefening zo realistisch mogelijk is en aansluit op het niveau middenkader. Het scherm bestaat uit 2 delen: -Een lijst documenten die de deelnemer ter beschikking heeft in een in-box (bovenaan het scherm). In deze mails wordt de situatie beschreven, problemen weergegeven, … -Onderaan het scherm staat de vragenlijst die de deelnemers dienen te beantwoorden aan de hand van de gegevens waarover zij beschikken, of door wat logischerwijze kan verondersteld worden vanuit de rol die zij aannemen in de oefening. Bij elke vraag krijgen de deelnemers 3 antwoordalternatieven, die elk een mogelijk antwoord bieden op de vraag. De deelnemers dienen de drie alternatieven te beoordelen aan de hand van de schaal aangegeven in de vraag: -- (heel laag), - (laag), 0 (gemiddeld), + (hoog) en ++ (heel hoog). Een symbool (van - - tot ++) kan per blok van 3 alternatieven immers maar één keer gekozen worden (dus bvb geen twee keer helemaal akkoord (++)). Op die manier geven de antwoorden niet enkel de evaluatie van elk individueel alternatief weer, maar ook de voorkeur van volgorde van de 3 alternatieven ten opzichte van elkaar.

11 SCORING

12 Gestandaardiseerde scores
Ruwe resultaten van het individu worden vergeleken met een referentiegroep om er zo betekenis aan te geven We kunnen alleen een oordeel vellen wanneer er een vergelijking wordt gemaakt met anderen!! “Sarah loopt een marathon in 4u” Snel of traag? Ruwe resultaten zeggen niets. Het heeft geen zin om te weten of iemand 20 op 40 gescoord heeft op een bepaalde test. Als 10 gemiddeld zou zijn, dan scoort de kandidaat veel beter dan gemiddeld, als 30 gemiddeld is, dan scoort de kandidaat minder dan gemiddeld. We vergelijken dus altijd met andere kandidaten

13 Verschillende normsystemen
We gebruiken dus genormeerde, gestandaardiseerde scores. Namelijk een stanine score. Waarin 5 gemiddeld is, 1 extreem laag en 9 extreem hoog. En de verdeling van de scores gelijk is.

14 Stanine score 1 : zeer laag 2-3 : eerder laag 4-6 : gemiddeld
7-8: eerder hoog 9 : zeer hoog Interpretatie “Goed” of “Slecht” hangt af van het profiel! Normgroep waartegen de kandidaat geplaatst wordt: ofwel de algemene normgroep (alle deelnemers die ooit de testen hebben ingevuld) ofwel de referentiegroep van het aanlooptraject middenkader (194 deelnemers) Interpretatie goed of slecht hangt af van het profiel. Soms moet men zeer sterk leidinggevend zijn, in andere functies is het beter niet te leidinggevend te zijn.

15 RESULTATEN

16 Totale resultaten RAT: Totale Rendement score
BAQ: Geen totale goede of foute persoonlijkheid MDQ: Geen totale goede of slechte motivatie FCA: Inzicht in situaties. Procedurele kennis. Combinaties belangrijk Link met gewenste profiel (= 4 leiderschapsrollen) belangrijk RAT: totale rendementscore. Rekening houdend met snelheid en accuraatheid BAQ/MDQ: iedereen een verschillende persoonlijkheid of motivatie. Er is geen goede of slechte persoonlijkheid of motivatie. Maar voor de ene functie zal de ene persoonlijkheid wel beter passen dan de andere. FCA: procedurele kennis. Weet men hoe men in sommige situatie best zou moeten reageren. Geen spontaan gedrag, want het is een meerkeuzevragenlijst. Maar wel belangrijk om inzicht in situaties te kennen. Als men bijvoorbeeld niet graag samenwerkt, is het wel belangrijk dat men weet hoe het moet, en dat men weet dat men in bepaalde situaties best kiest om samen te werken. Ook hier is de link meet het profiel belangrijk.

17 Link met leiderschapsrollen
Op basis van onderzoek & ervaring: link bepaald tussen de testen en de 4 leiderschapsrollen Ideaal profiel werd bepaald voor elke leiderschapsrol: Cruciale facetten per rol Optimale score voor elk facet Gewicht van elk facet Op basis van ervaring en onderzoek rond leiderschap werd de link gelegd tussen de testresultaten en de 4 leiderschapsrollen. Er werd gekozen welke facetten cruciaal zijn voor deze rol (vele facetten hebben een invloed op de rol, maar de cruciale facetten werden geselecteerd) Er werd gekozen wat de optimale score is voor elk facet (is het goed om extreem hoog te scoren (9) of het het beter niet te extreem te zijn (6)) Er werd een gewicht gegeven aan elk facet. De testen tellen evenwaardig mee, zodat persoonlijkheid niet zwaarder doorweegt dan motivatie. Maar aan de facetten per test werd een gewicht gegeven.

18 Link met leiderschapsrollen: ideale scores en gewicht
Rol van de coach: Persoonlijkheid: Motiverend: Ideale score 9 – gewicht 0,4 Hulpvaardig: Ideale score 7 – gewicht 0,4 Communicatief: Ideale score 6 – gewicht 0,2 Motivatie: Anderen motiveren: Ideale score 9 Inzicht in situaties Teams aansturen: Ideale score 9 Persoonlijkheid: Motiverend: Inspireert anderen, heeft een motiverende invloed, maakt anderen enthousiast voor de taak. Hulpvaardig: Helpt bij problemen, geeft raad en advies, is attent maar durft ook ‘neen’ zeggen. Communicatief: Is graag aan het woord en onderhoudt het gesprek maar luistert evenzeer. Motivatie: Gemotiveerd zijn als men anderen kan motiveren Inzicht in situaties Weten hoe en wanneer men het team kan aansturenTeams aansturen

19 Link met leiderschapsrollen: ideale scores en gewicht
Rol van de leider: Persoonlijkheid: Besluitvaardig: Ideale score 7 – gewicht 0,4 Overtuigend: Ideale score 7 – gewicht 0,3 Kritisch: Ideale score 7 – gewicht 0,3 Motivatie: Strategische uitdaging: Ideale score 9 Redeneervermogen: Efficiënt omgaan met abstracte info: Ideale score 9 Inzicht in situaties Beslissen: I deale score 9 Persoonlijkheid: Besluitvaardig: Komt relatief snel tot conclusies, zonder onverhaaste beslissingen te nemen. Overtuigend: Overtuigt en kan zaken verkopen, zonder te opdringerig te zijn. Kritisch: Stelt informatie kritisch in vraag, maar remt daarbij de voortgang niet af. Motivatie: Gemotiveerd worden door strategische uitdaging Redeneervermogen: Efficiënt omgaan met abstracte info Inzicht in situaties Beslissen: Weten wanneer men beslissingen moet nemen

20 Link met leiderschapsrollen: ideale scores + gewicht
Rol van de ondernemer: Persoonlijkheid: Innovatief: Ideale score 7 – gewicht 0,4 Veranderingsgericht: Ideale score 7 – gewicht 0,3 Strategisch: Ideale score 9 – gewicht 0,3 Motivatie: Ondernemerschap: Ideale score 9 – gewicht 0,7 Uitdagende problemen: Ideale score 9 – gewicht 0,3 Inzicht in situaties Relaties leggen: Ideale score 9 Persoonlijkheid: Innovatief: Is creatief, genereert nieuwe ideeën maar blijft voldoende realistisch. Veranderingsgericht: Verkiest afwisseling boven regelmaat in zijn taken maar werkt deze grondig af. Strategisch: Ziet langetermijndoelstellingen en bekijkt de zaken vanuit een strategisch perspectief. Motivatie: Gemotiveerd worden door Ondernemerschap (dingen opbouwen) Gemotiveerd worden door Uitdagende problemen Inzicht in situaties Weten hoe en wanneer men relaties moet leggen

21 Link met leiderschapsrollen: ideale scores en gewicht
Rol van de manager: Persoonlijkheid: Leidinggevend: Ideale score 9 – gewicht 0,4 Rationeel: Ideale score 7 – gewicht 0,2 Resultaatsgericht: Ideale score 7 – gewicht 0,2 Zelfsturend: Ideale score 3 – gewicht 0,2 Motivatie: Impact hebben: Ideale score 9 Inzicht in situaties Integreren: Ideale score 9 Persoonlijkheid: Leidinggevend: Heeft graag de leiding, trekt het initiatief naar zich toe en geeft anderen instructies. Rationeel: Evalueert, meet, kwantificeert, maar heeft geen moeite om te werken met onvolledige informatie. Resultaatsgericht: Behaalt graag resultaten, is competitief maar ook coöperatief ingesteld. Zelfsturend: Drukt zijn stempel op de situatie, maar staat open voor de mening en aanpak van anderen, Motivatie: Gemotiveerd worden als men Impact kan hebben Inzicht in situaties Weten hoe men verschillende informatie kan integreren, en wanneer men nog al dan niet verder moet analyseren.

22 Beschrijvend Pulse Rapport Leiderschapsrollen
Op basis van leiderschapsrollen en met scores De resultaten worden weergegeven in een automatisch, geïntegreerd rapport. Je krijgt overzicht op de 4 rollen, maar je ziet ook het onderliggende: is het de attitude, de motivatie, intellectuele capaciteit, en dit verwoordt in talenten, aandachtspunten en punten ter verbetering

23 Details rapport: De inleiding, beschrijft de testen waarop het rapport gebaseerd is en hoe het rapport geïnterpreteerd dient te worden

24 Details rapport: Overzicht van de 4 rollen. 4-5-6 is gemiddeld
9 is extreem hoog, in vergelijking met de normgroep 1 is extreem laag, in vergelijking met de normgroep

25 Details rapport: Leiderschapsrol Totaalscore van deze leiderschapsrol: 1 = lage score t.o.v. ideale profiel 9 = zeer hoge score t.o.v.. ideale profiel Overzicht van de facetscores binnen deze leiderschapsrol: Weergave van de kandidatenscore t.o.v. ideale score per facet. Naast facet staat vermelding van de test op basis waarvan score werd berekend. Samenvatting totaalscore leiderschapsrol Uitgeschreven toelichting per facet in de vorm van talent(en), aandachtspunt(en) en groeipotentieel. Volgorde zo bepaald om feedback om feedback te faciliteren. 1 2 3 4 5 Totaalscore wordt automatisch berekend op basis van de facetscores in vergelijking met de vooropgestelde ideale score. Dus niet op het aantal talenten, aandachtspunten of groeipotentieel

26 Samenvatting totaalscore per leiderschapsrol
1: Zeer laag 2: Laag 3: Behoorlijk laag 4: Laaggemiddeld 5: Gemiddeld 6: Hoog gemiddeld 7: Redelijk hoog 8: Hoog 9: Zeer hoog

27 Aandachtspunten, talenten en groeipotentieel
Score Kandidaat Ideale Score Aandachtspunt Ruimte voor verbetering Talent 9 1 2 3 4 5 6 7 8 Als de vooropgestelde ideale score een 9 was, en de kandidaat heeft een score 1 op het facet, dan is dat een aandachtspunt, heeft de kandidaat een score 9, dan is dat een talent. Als de vooropgestelde ideale score een 1 was, en de kandidaat heeft een score 1 op het facet, dan is dat een talent, heeft de kandidaat een score 9, dan is dat een aandachtspunt

28 Oefening Rapport van een demo kandidaat In kleine groepen
Interpreteer de informatie over de kandidaat Volledige groep: Neutrale beschrijving van de kandidaat Sterkten en zwakten van de kandidaat

29 Oefening Rapport van een aantal demo kandidaten In kleine groepen
Lees de beschrijvingen in het rapport Bespreek de kandidaat

30 Andere info Professionele ervaring, huidig prestatieniveau, individuele aspiraties, …. Combineren met de testresultaten om tot een six-box grid te komen

31 OVERWEGEN VOLGENDE EDITIE
Talentbesprekingen KLAAR VOOR PROCEDURE JA! OVERWEGEN VOLGENDE EDITIE Potentieel Veel Potentieel = mogelijke aansluiting op het profiel met leiderschapsrollen op basis van de testresultaten. Weinig Nu 18 maand 3 jaar Timing

32 Oefening Rapport en achtergrond gegevens (ervaring, huidige prestaties, …) van een aantal demo kandidaten Plaats de kandidaten in de six box. Vergelijk de resultaten van de verschillende kandidaten Bespreek in groep welke kandidaat je zou kiezen om door te gaan naar fase 2

33 Ervaring Kandidaat 1: Zeer goede prestaties. Alles is altijd tijdig af, met een goede kwaliteit, binnen de deadlines. Kandidaat 2: Gemiddelde prestaties. Doet het niet slecht, maar is niet meteen een hoogvlieger. Kandidaat 3: Zeer goede prestaties. Behaalt goede resultaten en geeft ook aan dat hij/zij graag een meer leidinggevende rol wil opnemen.

34