De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Informatica in de psychodiagnostiek Derde Psychologendag, 26 mei 2000, Luik MarkSchittekatte MarkSchittekatte Testpracticum PPW Testpracticum PPW Commissie.

Verwante presentaties


Presentatie over: "Informatica in de psychodiagnostiek Derde Psychologendag, 26 mei 2000, Luik MarkSchittekatte MarkSchittekatte Testpracticum PPW Testpracticum PPW Commissie."— Transcript van de presentatie:

1

2 Informatica in de psychodiagnostiek Derde Psychologendag, 26 mei 2000, Luik MarkSchittekatte MarkSchittekatte Testpracticum PPW Testpracticum PPW Commissie Psychodiagnostiek BFP Commissie Psychodiagnostiek BFP Filip Lievens Filip Lievens Vakgroep Personeelsbeleid, Vakgroep Personeelsbeleid, Arbeids- en Organisatiepsychologie Arbeids- en Organisatiepsychologie Chris Desimpelaere Chris Desimpelaere Testpracticum PPW Testpracticum PPW Universiteit Gent, België Universiteit Gent, België

3 Testpracticum =Testotheek +Testklas Testpracticum =Testotheek +Testklas Illustratie Peter Van Guchten (Vander Meeren & Gerrichauzen, 1993)

4 Structuur en bedoeling b Een kritische blik op computergestuurde testen b Onderwijs in computergestuurde psychodiagnostiek b Debat In de praktijk: hoe en wanneer gebruiken? Niet: technisch, vergelijkend, onderzoeksresultaten

5 Deel 1: Een kritische blik op computergestuurd testen 1.Twee decennia informatisering in psychodiagnostiek 2.Taxonomie (Hartman, 1986) a.Opslag gegevens b.Afname 1.Computergestuurde afname 2.Computergestuurde adaptieve testen c.Scoring d.Interpretatie/Rapporten e.Beslissing, keuze behandeling 3.Conclusies 4.Aandachtspunten 5.Voorbeelden

6 1. Twee decennia informatisering in de psychodiagnostiek (Mc Bride, 1998) b Eerste generatie Midden jaren 80’Midden jaren 80’ Is de kostprijs haalbaar ?Is de kostprijs haalbaar ? b Tweede generatie Eind jaren 80’ - begin jaren 90’Eind jaren 80’ - begin jaren 90’ Is er equivalentie ?Is er equivalentie ? b Derde generatie Eind jaren 90’Eind jaren 90’ Creëert de PC (internet) ook nieuwe mogelijkheden voor het testen ?Creëert de PC (internet) ook nieuwe mogelijkheden voor het testen ?

7 2.b. Afname Computergestuurde afname Vervanging papier-en-potlood afnameVervanging papier-en-potlood afname => zelfde instrument (qua items & lengte) VoordelenVoordelen -Grotere standaardisatie –Efficiëntie & snelheid –Personeel, tijd & kosten –Testveiligheid ( diefstal vd. items) –Meerwaarde computer –Meten latentie- en reactietijd –Dynamische figuren –Scroll-bars – Papierberg

8 Computergestuurde afname (vervolg) NadelenNadelen –Kosten ? –‘Oudere’ personen ? –Verlies menselijk contact EquivalentieEquivalentie –Intelligentie –Geen verschil (r >.90) –Minder cultuurverschillen –Persoonlijkheid, attitudes –Onbeslist –Snelheidstests => “touch-screens” –Duidelijk verschil (r =.35)

9 Computergestuurd adaptief testen (CAT) Item response theorieItem response theorie Instrument ‘op maat’ (‘tailored’)Instrument ‘op maat’ (‘tailored’) –Qua items & lengte Verschillende typesVerschillende types –‘Twee stappen’ strategie 10 vragen als verkenning 10 moeilijke 10 middelmatige 10 gemakkelijke 10 moeilijkste 10 minder moeilijke 10 gemakkelijker 10 gemakkelijkste

10 Computergestuurd adaptief testen (vervolg) –‘Meerdere stappen’ strategie –Begin: middelmatig moeilijke vraag –Schatting bekwaamheid op latente trek -Nieuwe vraag aanbieden op grond van schatting –Einde: betrouwbare schatting EquivalentieEquivalentie –r =.90

11 Computergestuurde adaptieve afname (vervolg) VoordelenVoordelen –Item response theorie (bv. Rash-model), nauwkeurigheid & psychometrische kwaliteiten 1/2 items zelfde betrouwbaarheid1/2 items zelfde betrouwbaarheid 1/3 items zelfde validiteit1/3 items zelfde validiteit –Efficiëntie (tijd & kosten) - Hogere motivatie –Grotere testbeveiliging Nadelen CATNadelen CAT –Itembank –Billijkheid ?

12 2.c. Scoring b Voordelen Snelheid & tijdswinstSnelheid & tijdswinst Objectiviteit (minder fouten,Objectiviteit (minder fouten, vooral bij ingewikkelde scoringsprocedures, bv. met wegingscoëfficiënten, maar optische lezer) ProfielenProfielen Onmiddellijke feedbackOnmiddellijke feedback b Nadelen GeheimhoudingGeheimhouding

13 2.d. Interpretatie/ rapporten b Gevaren Ongekende validiteit expertsysteemOngekende validiteit expertsysteem SchijnnauwkeurigheidSchijnnauwkeurigheid Verschillende gebruikersVerschillende gebruikers –Gekwalificeerde testgebruikers –Systeemgebruikers (technici) –Kandidaten –Derden b Oplossingen ‘Report generator’ vs. ‘question generator’‘Report generator’ vs. ‘question generator’ Beperking testgebruikersBeperking testgebruikers

14 Onderwijs in computergestuurde psychodiagnostiek a.de testklas b.inhoud van de opleiding soft- ware ontwikkelingen c.geïnformatiseerde casussen DEEL 2

15 Testklas Onderwijsdoeleinden (naast research) b Waarom? -gegeven in het praktijkveld (bedrijfswereld) -financiële aspect (mankracht) -zelfstandigheid (eigen tempo) b Bij wie en hoeveel? -435 licentiestudenten (klinisch en bedrijfs) -Nu: 2 opleidingsonderdelen per jaar b Hoe? -wat is er op de (Be-Ne) markt? -25 multimedia pc’s -4 soorten inhouden

16 Inhoud opleiding software-ontwikkelingen b Testmanagers (Tasc, Hurmis, STM, CDL, VTS, PROFIL…) b Software-pakketten voor invoeren vragenlijsten (bv. Question-Mark, probleem: copyrights) b Stand-alone computergestuurde afnames en verwerking van individuele testen (CBCL, ADP-IV, Wisconcin,…) b Geïnformatiseerde casussen ( Visual Basic )

17 Geïnformatiseerde casussen (Visual Basic) bBasis: Reële begeleiding bOpdracht: “volg de weg van de klinisch/bedrijfs- psycholoog” bVorm: bHulpmiddelen: bDocumentatie van test- en testresearch (COTAN) bNoteren

18 Geïnformatiseerde casussen Vervolg Gesprek 1,2,… met cliënt X DSM-IV gebaseerde hypothesen Keuzepalet van tests Test deels zelf invullen Resultaten test cliënt X Open en m.c. vragen

19 Geïnformatiseerde casussen Vervolg bTelkens feedback bmove-over and message-textbox, bterugkeren naar vroegere info bdebrieving in groep bToekomst b video (observatie, groepsdiscussie) b validering met extra-experten bPositieve evaluatie (- tijdsduur)

20 Conclusies & discussiepunten b Niet: gaan wij computers gebruiken bij psychologisch testen? Maar wel: onder welk voorwaarden, hoe en wanneer? b Het belang van wetenschappelijke waarde van de testen zelf (criteria Cotan) b Gebruik van acceptabel tot controversieelvan acceptabel tot controversieel (afname & scoring vs. rapportgenerator ) De psycholoog blijft verantwoordelijk

21 Conclusies en discussiepunten (vervolg) b Optimale strategieën voor gebruik van test-interpretatie-systemen b Computergestuurde “enhanced” afname Interactiviteit (PC reageert op antwoorden), multimedia, virtual reality,…Interactiviteit (PC reageert op antwoorden), multimedia, virtual reality,… b Intra- en internet-testen b Ontbrekende informatie in Vlaanderen: waar en hoeveel gebruik van computergestuurd testen? b Optimaliseren computergestuurd testen in onderwijscontext

22 Aandachtspunten in de praktijk b Software-pakketten voor invoeren vragenlijsten => probleem: copyrights b Nadelen computergestuurde afname Kosten ?Kosten ? => tegenstelling klinische en A.& O. sector => tegenstelling klinische en A.& O. sector ‘Oudere’ personen ? ‘Oudere’ personen ? Verlies menselijk contactVerlies menselijk contact b Nadelen computergestuurde scoring GeheimhoudingGeheimhouding b Gevaren rapportgenerator Ongekende validiteit expertsysteemOngekende validiteit expertsysteem SchijnnauwkeurigheidSchijnnauwkeurigheid Ongekwalificeerde gebruikersOngekwalificeerde gebruikers

23 Bibliografie b Anastasi, A. & Urbina, S. (1997). Psychological Testing. NJ:Prentice Hall. b Bartram, D. (1995). The Role of Computer-Based Test Interpretation (CBTI) in occupational assessment. International Journal of Selection and Assessment, 3, b Evers, A., Van Vliet-Mulder, & Ter Laak, J. (1996). Documentatie van tests en testresearch in Nederland. Assen: Van Gorcum. b De Zeeuw, J. (1978). Algemene psychodiagnotiek II. Testtheorie. Amsterdam: Swets & Zeitlinger. b Drasgow, F. & Olson-Buchanan, J. (1999). Innovations in computerized assessment. NY: Lawrence Erlmaum associates. b Hartman, D.E. (1986). Artifical intelligence or articficial psychologist. Conceptual issues in microcomputer use. In K. Murphy & C. Davidshofer (1998). Psychological Testing. NJ: Pentice Hall. b Kline, P. (2000). Handbook of psychological testing. Cornwall: Routledge. b McBride, J.R. (1998). Innovations in Computer-Based ability testing: promise, problems and perils. In M.D. Hakel (Ed.) Beyond multiple choice: evaluating alternatives to traditional testing for selection. NY: Lawrence Erlmaum associates. b Vander Meeren W., & Gerrichhauzen,J. (1993). Computertesting. In: W. Vander Meeren & J. Gerrichhauzen (eds.). Selectie en assessment: Theorie en praktijk. Heerlen:Open Universiteit.

24 d.) Interpretatie/ rapporten b Voorbeeld “Je bent een warme persoonlijkheid,die af en toe wat introspectief is. Je werkt hard en soms ben je teleurgesteld wanneer anderen er niet evenveel moeite voor doen als jezelf. Je bent vriendelijk maar kan stevig uit de hoek komen als je te maken krijgt met mensen, die van jou willen profiteren”. => Het Barnum-effect

25 Verschillen tussen rapporten (Bartram, 1995) MediumMedium –Tekst, grafiek, tabel, etc ComplexiteitComplexiteit –1 score, meerdere scores, etc. WijzigbaarheidWijzigbaarheid Onderliggend modelOnderliggend model –Expert model (klinisch) –Empirisch model (mechanisch) TransparantieTransparantie –score => interpretatie ? ContextspecificiteitContextspecificiteit –jong vs. oud, etc.


Download ppt "Informatica in de psychodiagnostiek Derde Psychologendag, 26 mei 2000, Luik MarkSchittekatte MarkSchittekatte Testpracticum PPW Testpracticum PPW Commissie."

Verwante presentaties


Ads door Google