MarkSchittekatte Testpracticum PPW Commissie Psychodiagnostiek BFP

Presentatie over: "MarkSchittekatte Testpracticum PPW Commissie Psychodiagnostiek BFP"— Transcript van de presentatie:

1 Informatica in de psychodiagnostiek Derde Psychologendag, 26 mei 2000, Luik
MarkSchittekatte Testpracticum PPW Commissie Psychodiagnostiek BFP Filip Lievens Vakgroep Personeelsbeleid, Arbeids- en Organisatiepsychologie Chris Desimpelaere Universiteit Gent, België

2 Testpracticum =Testotheek +Testklas
Illustratie Peter Van Guchten (Vander Meeren & Gerrichauzen, 1993)

3 Structuur en bedoeling
Een kritische blik op computergestuurde testen Onderwijs in computergestuurde psychodiagnostiek Debat In de praktijk: hoe en wanneer gebruiken? Niet: technisch, vergelijkend, onderzoeksresultaten

4 Deel 1: Een kritische blik op computergestuurd testen
Twee decennia informatisering in psychodiagnostiek Taxonomie (Hartman, 1986) Opslag gegevens Afname Computergestuurde afname Computergestuurde adaptieve testen Scoring Interpretatie/Rapporten Beslissing, keuze behandeling Conclusies Aandachtspunten Voorbeelden

5 1. Twee decennia informatisering in de psychodiagnostiek (Mc Bride, 1998)
Eerste generatie Midden jaren 80’ Is de kostprijs haalbaar ? Tweede generatie Eind jaren 80’ - begin jaren 90’ Is er equivalentie ? Derde generatie Eind jaren 90’ Creëert de PC (internet) ook nieuwe mogelijkheden voor het testen ?

6 2.b. Afname Computergestuurde afname
Vervanging papier-en-potlood afname => zelfde instrument (qua items & lengte) Voordelen - Grotere standaardisatie Efficiëntie & snelheid Personeel, tijd & kosten Testveiligheid (<=> diefstal vd. items) Meerwaarde computer Meten latentie- en reactietijd Dynamische figuren Scroll-bars Papierberg

7 Computergestuurde afname (vervolg)
Nadelen Kosten ? ‘Oudere’ personen ? Verlies menselijk contact Equivalentie Intelligentie Geen verschil (r > .90) Minder cultuurverschillen Persoonlijkheid, attitudes Onbeslist Snelheidstests => “touch-screens” Duidelijk verschil (r = .35)

8 Computergestuurd adaptief testen (CAT)
Item response theorie Instrument ‘op maat’ (‘tailored’) Qua items & lengte Verschillende types ‘Twee stappen’ strategie 10 vragen als verkenning 10 moeilijke 10 middelmatige 10 gemakkelijke 10 moeilijkste 10 minder moeilijke 10 gemakkelijker 10 gemakkelijkste

9 Computergestuurd adaptief testen (vervolg)
‘Meerdere stappen’ strategie Begin: middelmatig moeilijke vraag Schatting bekwaamheid op latente trek - Nieuwe vraag aanbieden op grond van schatting Einde: betrouwbare schatting Equivalentie r = .90

10 Computergestuurde adaptieve afname (vervolg)
Voordelen Item response theorie (bv. Rash-model), nauwkeurigheid & psychometrische kwaliteiten 1/2 items zelfde betrouwbaarheid 1/3 items zelfde validiteit Efficiëntie (tijd & kosten) - Hogere motivatie Grotere testbeveiliging Nadelen CAT Itembank Billijkheid ?

11 2.c. Scoring Voordelen Nadelen Snelheid & tijdswinst
Objectiviteit (minder fouten, vooral bij ingewikkelde scoringsprocedures, bv. met wegingscoëfficiënten, maar optische lezer) Profielen Onmiddellijke feedback Nadelen Geheimhouding

12 2.d. Interpretatie/ rapporten
Gevaren Ongekende validiteit expertsysteem Schijnnauwkeurigheid Verschillende gebruikers Gekwalificeerde testgebruikers Systeemgebruikers (technici) Kandidaten Derden Oplossingen ‘Report generator’ vs. ‘question generator’ Beperking testgebruikers

13 Onderwijs in DEEL 2 computergestuurde psychodiagnostiek a. de testklas
b. inhoud van de opleiding soft-ware ontwikkelingen c. geïnformatiseerde casussen

14 Testklas Onderwijsdoeleinden (naast research)
Waarom? gegeven in het praktijkveld (bedrijfswereld) financiële aspect (mankracht) zelfstandigheid (eigen tempo) Bij wie en hoeveel? 435 licentiestudenten (klinisch en bedrijfs) Nu: 2 opleidingsonderdelen per jaar Hoe? wat is er op de (Be-Ne) markt? 25 multimedia pc’s - 4 soorten inhouden

15 Inhoud opleiding software-ontwikkelingen
Testmanagers (Tasc, Hurmis, STM, CDL, VTS, PROFIL…) Software-pakketten voor invoeren vragenlijsten (bv. Question-Mark, probleem: copyrights) Stand-alone computergestuurde afnames en verwerking van individuele testen (CBCL, ADP-IV, Wisconcin,…) Geïnformatiseerde casussen (Visual Basic)

16 Geïnformatiseerde casussen (Visual Basic)
Basis: Reële begeleiding Opdracht: “volg de weg van de klinisch/bedrijfs- psycholoog” Vorm: Hulpmiddelen: Documentatie van test- en testresearch (COTAN) Noteren

17 Geïnformatiseerde casussen Vervolg
Gesprek 1,2,… met cliënt X Open en m.c. vragen DSM-IV gebaseerde hypothesen Resultaten test cliënt X Keuzepalet van tests Test deels zelf invullen

18 Geïnformatiseerde casussen Vervolg
Telkens feedback move-over and message-textbox, terugkeren naar vroegere info debrieving in groep Toekomst video (observatie, groepsdiscussie) validering met extra-experten Positieve evaluatie (- tijdsduur)

19 Conclusies & discussiepunten
Niet: gaan wij computers gebruiken bij psychologisch testen? Maar wel: onder welk voorwaarden, hoe en wanneer? Het belang van wetenschappelijke waarde van de testen zelf (criteria Cotan) Gebruik van acceptabel tot controversieel (afname & scoring vs. rapportgenerator) De psycholoog blijft verantwoordelijk

20 Conclusies en discussiepunten (vervolg)
Optimale strategieën voor gebruik van test-interpretatie-systemen Computergestuurde “enhanced” afname Interactiviteit (PC reageert op antwoorden), multimedia, virtual reality,… Intra- en internet-testen Ontbrekende informatie in Vlaanderen: waar en hoeveel gebruik van computergestuurd testen? Optimaliseren computergestuurd testen in onderwijscontext

21 Aandachtspunten in de praktijk
Software-pakketten voor invoeren vragenlijsten => probleem: copyrights Nadelen computergestuurde afname Kosten ? => tegenstelling klinische en A.& O. sector ‘Oudere’ personen ? Verlies menselijk contact Nadelen computergestuurde scoring Geheimhouding Gevaren rapportgenerator Ongekende validiteit expertsysteem Schijnnauwkeurigheid Ongekwalificeerde gebruikers

22 Bibliografie Anastasi, A. & Urbina, S. (1997). Psychological Testing. NJ:Prentice Hall. Bartram, D. (1995). The Role of Computer-Based Test Interpretation (CBTI) in occupational assessment. International Journal of Selection and Assessment,3, Evers, A., Van Vliet-Mulder, & Ter Laak, J. (1996). Documentatie van tests en testresearch in Nederland. Assen: Van Gorcum. De Zeeuw, J. (1978). Algemene psychodiagnotiek II. Testtheorie. Amsterdam: Swets & Zeitlinger. Drasgow, F. & Olson-Buchanan, J. (1999). Innovations in computerized assessment. NY: Lawrence Erlmaum associates. Hartman, D.E. (1986). Artifical intelligence or articficial psychologist. Conceptual issues in microcomputer use. In K. Murphy & C. Davidshofer (1998). Psychological Testing. NJ: Pentice Hall. Kline, P. (2000). Handbook of psychological testing. Cornwall: Routledge. McBride, J.R. (1998). Innovations in Computer-Based ability testing: promise, problems and perils. In M.D. Hakel (Ed.) Beyond multiple choice: evaluating alternatives to traditional testing for selection. NY: Lawrence Erlmaum associates. Vander Meeren W., & Gerrichhauzen,J. (1993). Computertesting. In: W. Vander Meeren & J. Gerrichhauzen (eds.).Selectie en assessment: Theorie en praktijk. Heerlen:Open Universiteit.

23 d.) Interpretatie/ rapporten
Voorbeeld “Je bent een warme persoonlijkheid,die af en toe wat introspectief is. Je werkt hard en soms ben je teleurgesteld wanneer anderen er niet evenveel moeite voor doen als jezelf. Je bent vriendelijk maar kan stevig uit de hoek komen als je te maken krijgt met mensen, die van jou willen profiteren”. => Het Barnum-effect

24 Verschillen tussen rapporten (Bartram, 1995)
Medium Tekst, grafiek, tabel, etc Complexiteit 1 score, meerdere scores, etc. Wijzigbaarheid Onderliggend model Expert model (klinisch) Empirisch model (mechanisch) Transparantie score => interpretatie ? Contextspecificiteit jong vs. oud, etc.