Informatica in de psychodiagnostiek Derde Psychologendag, 26 mei 2000, Luik MarkSchittekatte Testpracticum PPW Commissie Psychodiagnostiek BFP Filip Lievens Vakgroep Personeelsbeleid, Arbeids- en Organisatiepsychologie Chris Desimpelaere Universiteit Gent, België

Testpracticum =Testotheek +Testklas Illustratie Peter Van Guchten (Vander Meeren & Gerrichauzen, 1993)

Structuur en bedoeling Een kritische blik op computergestuurde testen Onderwijs in computergestuurde psychodiagnostiek Debat In de praktijk: hoe en wanneer gebruiken? Niet: technisch, vergelijkend, onderzoeksresultaten

Deel 1: Een kritische blik op computergestuurd testen Twee decennia informatisering in psychodiagnostiek Taxonomie (Hartman, 1986) Opslag gegevens Afname Computergestuurde afname Computergestuurde adaptieve testen Scoring Interpretatie/Rapporten Beslissing, keuze behandeling Conclusies Aandachtspunten Voorbeelden

1. Twee decennia informatisering in de psychodiagnostiek (Mc Bride, 1998) Eerste generatie Midden jaren 80’ Is de kostprijs haalbaar ? Tweede generatie Eind jaren 80’ - begin jaren 90’ Is er equivalentie ? Derde generatie Eind jaren 90’ Creëert de PC (internet) ook nieuwe mogelijkheden voor het testen ?

2.b. Afname Computergestuurde afname Vervanging papier-en-potlood afname => zelfde instrument (qua items & lengte) Voordelen - Grotere standaardisatie Efficiëntie & snelheid Personeel, tijd & kosten Testveiligheid (<=> diefstal vd. items) Meerwaarde computer Meten latentie- en reactietijd Dynamische figuren Scroll-bars Papierberg

Computergestuurde afname (vervolg) Nadelen Kosten ? ‘Oudere’ personen ? Verlies menselijk contact Equivalentie Intelligentie Geen verschil (r > .90) Minder cultuurverschillen Persoonlijkheid, attitudes Onbeslist Snelheidstests => “touch-screens” Duidelijk verschil (r = .35)

Computergestuurd adaptief testen (CAT) Item response theorie Instrument ‘op maat’ (‘tailored’) Qua items & lengte Verschillende types ‘Twee stappen’ strategie 10 vragen als verkenning 10 moeilijke 10 middelmatige 10 gemakkelijke 10 moeilijkste 10 minder moeilijke 10 gemakkelijker 10 gemakkelijkste

Computergestuurd adaptief testen (vervolg) ‘Meerdere stappen’ strategie Begin: middelmatig moeilijke vraag Schatting bekwaamheid op latente trek - Nieuwe vraag aanbieden op grond van schatting Einde: betrouwbare schatting Equivalentie r = .90

Computergestuurde adaptieve afname (vervolg) Voordelen Item response theorie (bv. Rash-model), nauwkeurigheid & psychometrische kwaliteiten 1/2 items zelfde betrouwbaarheid 1/3 items zelfde validiteit Efficiëntie (tijd & kosten) - Hogere motivatie Grotere testbeveiliging Nadelen CAT Itembank Billijkheid ?

2.c. Scoring Voordelen Nadelen Snelheid & tijdswinst Objectiviteit (minder fouten, vooral bij ingewikkelde scoringsprocedures, bv. met wegingscoëfficiënten, maar optische lezer) Profielen Onmiddellijke feedback Nadelen Geheimhouding

2.d. Interpretatie/ rapporten Gevaren Ongekende validiteit expertsysteem Schijnnauwkeurigheid Verschillende gebruikers Gekwalificeerde testgebruikers Systeemgebruikers (technici) Kandidaten Derden Oplossingen ‘Report generator’ vs. ‘question generator’ Beperking testgebruikers

Onderwijs in DEEL 2 computergestuurde psychodiagnostiek a. de testklas b. inhoud van de opleiding soft-ware ontwikkelingen c. geïnformatiseerde casussen

Testklas Onderwijsdoeleinden (naast research) Waarom? gegeven in het praktijkveld (bedrijfswereld) financiële aspect (mankracht) zelfstandigheid (eigen tempo) Bij wie en hoeveel? 435 licentiestudenten (klinisch en bedrijfs) Nu: 2 opleidingsonderdelen per jaar Hoe? wat is er op de (Be-Ne) markt? 25 multimedia pc’s - 4 soorten inhouden

Inhoud opleiding software-ontwikkelingen Testmanagers (Tasc, Hurmis, STM, CDL, VTS, PROFIL…) Software-pakketten voor invoeren vragenlijsten (bv. Question-Mark, probleem: copyrights) Stand-alone computergestuurde afnames en verwerking van individuele testen (CBCL, ADP-IV, Wisconcin,…) Geïnformatiseerde casussen (Visual Basic)

Geïnformatiseerde casussen (Visual Basic) Basis: Reële begeleiding Opdracht: “volg de weg van de klinisch/bedrijfs- psycholoog” Vorm: Hulpmiddelen: Documentatie van test- en testresearch (COTAN) Noteren

Geïnformatiseerde casussen Vervolg Gesprek 1,2,… met cliënt X Open en m.c. vragen DSM-IV gebaseerde hypothesen Resultaten test cliënt X Keuzepalet van tests Test deels zelf invullen

Geïnformatiseerde casussen Vervolg Telkens feedback move-over and message-textbox, terugkeren naar vroegere info debrieving in groep Toekomst video (observatie, groepsdiscussie) validering met extra-experten Positieve evaluatie (- tijdsduur)

Conclusies & discussiepunten Niet: gaan wij computers gebruiken bij psychologisch testen? Maar wel: onder welk voorwaarden, hoe en wanneer? Het belang van wetenschappelijke waarde van de testen zelf (criteria Cotan) Gebruik van acceptabel tot controversieel (afname & scoring vs. rapportgenerator) De psycholoog blijft verantwoordelijk

Conclusies en discussiepunten (vervolg) Optimale strategieën voor gebruik van test-interpretatie-systemen Computergestuurde “enhanced” afname Interactiviteit (PC reageert op antwoorden), multimedia, virtual reality,… Intra- en internet-testen Ontbrekende informatie in Vlaanderen: waar en hoeveel gebruik van computergestuurd testen? Optimaliseren computergestuurd testen in onderwijscontext

Aandachtspunten in de praktijk Software-pakketten voor invoeren vragenlijsten => probleem: copyrights Nadelen computergestuurde afname Kosten ? => tegenstelling klinische en A.& O. sector ‘Oudere’ personen ? Verlies menselijk contact Nadelen computergestuurde scoring Geheimhouding Gevaren rapportgenerator Ongekende validiteit expertsysteem Schijnnauwkeurigheid Ongekwalificeerde gebruikers

Bibliografie Anastasi, A. & Urbina, S. (1997). Psychological Testing. NJ:Prentice Hall. Bartram, D. (1995). The Role of Computer-Based Test Interpretation (CBTI) in occupational assessment. International Journal of Selection and Assessment,3, 178-184. Evers, A., Van Vliet-Mulder, & Ter Laak, J. (1996). Documentatie van tests en testresearch in Nederland. Assen: Van Gorcum. De Zeeuw, J. (1978). Algemene psychodiagnotiek II. Testtheorie. Amsterdam: Swets & Zeitlinger. Drasgow, F. & Olson-Buchanan, J. (1999). Innovations in computerized assessment. NY: Lawrence Erlmaum associates. Hartman, D.E. (1986). Artifical intelligence or articficial psychologist. Conceptual issues in microcomputer use. In K. Murphy & C. Davidshofer (1998). Psychological Testing. NJ: Pentice Hall. Kline, P. (2000). Handbook of psychological testing. Cornwall: Routledge. McBride, J.R. (1998). Innovations in Computer-Based ability testing: promise, problems and perils. In M.D. Hakel (Ed.) Beyond multiple choice: evaluating alternatives to traditional testing for selection. NY: Lawrence Erlmaum associates. Vander Meeren W., & Gerrichhauzen,J. (1993). Computertesting. In: W. Vander Meeren & J. Gerrichhauzen (eds.).Selectie en assessment: Theorie en praktijk. Heerlen:Open Universiteit.

d.) Interpretatie/ rapporten Voorbeeld “Je bent een warme persoonlijkheid,die af en toe wat introspectief is. Je werkt hard en soms ben je teleurgesteld wanneer anderen er niet evenveel moeite voor doen als jezelf. Je bent vriendelijk maar kan stevig uit de hoek komen als je te maken krijgt met mensen, die van jou willen profiteren”. => Het Barnum-effect

Verschillen tussen rapporten (Bartram, 1995) Medium Tekst, grafiek, tabel, etc Complexiteit 1 score, meerdere scores, etc. Wijzigbaarheid Onderliggend model Expert model (klinisch) Empirisch model (mechanisch) Transparantie score => interpretatie ? Contextspecificiteit jong vs. oud, etc.