Inleiding en simpel model Signaaldetectie Inleiding en simpel model

Doel signaaldetectietheorie: Gevoeligheid (of prestatie) bepalen onafhankelijk van criterium en andersom Hoe gevoelig is mijn brandmelder? Hoe kan ik ’m het beste afstellen (wel afgaan als er brand is, maar niet bij elke scheet)

u u u u v u u u u u u u u u u u u u u u u

u u u u u u u u u u u u u u u u u u u u u u u

u u u u u u u u u u u u u u v u u u u u u u u u

u u u u uu u u u u u u u u u u u u v u u u u u u u u u u

u u u u u u u u u u u u u u uu u u u u u u u u u u u u

Sommige proefpersonen zeggen pas ja als ze erg zeker zijn, (en missen zo “signalen”) Andere proefpersonen zeggen veel eerder ja, maar vaker ten onrechte Hoe kun je die waarnemingsprestaties vergelijken?

Ken ik deze vrouw ergens van? Is de verdachte schuldig (gegeven de “bewijzen”)? Heeft deze athleet doping gebruikt – gegeven zijn testosteronspiegel Kunnen we deze sollicitant aannemen – gegeven de testuislag?

Ontwikkeld voor militaire technologie (WW2): Toepassing statistische beslissingstheorie op verwerken sonar or radar signalen tegen ruizige (noisy) achtergrond

kernaannamen signaaldetectietheorie kansdichtheid “Evidentie”, b.v.. responssterkte detector 1. Effect van signaal is variabel (volgens kansverdeling). 2. Ruis (Noise) heeft ook variabel effect. Probleem: is de “evidentie” (= een punt op de x-as) van signaal (+ ruis) of van ruis alleen afkomstig?

“No” “Yes” 3. Als signaal zwak is, overlappen verdelingen en zijn fouten onvermijdelijk, wel kriterium ook wordt gehanteerd

“No” “Yes” “No” “Yes” Terminologie: miss hit Signaal (+ruis) (alleen) ruis hit correct rejection false alarm

Hoe sterker het signaal (of hoe beter de detector) … hoe verder de verdelingen uit elkaar liggen

“No” “Yes” Gegeven een bepaalde gevoeligheid kunnen verschillende responscriteria gehanteerd worden Afhankelijke van persoonlijke voorkeur of “pay off” in deze situatie: -Hoe erg is een misser, hoe belangrijk is een hit? -Hoe erg is een false alarm, hoe belangrijk is een correct rejection? -Hoe vaak komen signalen voor?

“No” “Yes” In een experiment met ruis- en signaal trials: Een strict (“hoog”) criterium resulteert in weinig hits maar ook weinig false alarms Propor-tie hits (van signaal trials) Proportie false alarms (van noise trials)

“No” “Yes” Een laks “laag” criterium levert bij gelijke gevoeligheid meer hits op, maar ook meer false alarms hits false alarms

Zelfde gevoeligheid (voor dit signaal), verschillende criteria ROC-curve hits lage drempel (=bias voor “ja”) naar rechtsboven, hoge drempel (=bias voor “nee” naar linksonder false alarms

De ROC-(response operating characteristic) curve verbindt punten in een Hit/FA- plot, afkomstig van verschillende criteria bij dezelfde gevoeligheid ROC-curve karakteriseert signaal/detector onafhankelijke van criterium belangrijk: gevoeligheid en criterium theoretisch onafhankelijk

Grotere gevoeligheid: ROC-curve verder van diagonaal (Perfectie zou zijn: allemaal hits en geen false alarms) hits false alarms

Het bepalen van een ROC-curve is veel werk: vaak doet men aannamen om met minder gegevens te kunnen werken Normale verdelingen zijn populair (maar er zijn ook andere modellen!) Simpelste model: ruis- en signaalverdeling normaal, gelijke varianties Eén punt (PH, PFA paar) is genoeg

Maat voor gevoeligheid: d' f h Maat voor criterium: β = h/f

De signaaldetectietheorie is op twee manieren te gebruiken: 1. Je kent de verdelingen en je bepaalt een geschikt criterium (radar, brandmelder, maar ook diagnose) 2. Je kent het gedrag (hits en fa’s) en probeert (kenmerken van) de verdelingen te reconstrueren (detectieproeven, herkenning, beoordeling van prestaties experts).

Voorbeeld van 1: Gebruik test(s) om te beslissen of iemand - voor een opleiding of functie in aanmerking komt - een afwijking heeft Controlegroep/Ongeschikt Patiënten/ Geschikt Testscore

Comer & Kendall 2005: Children’s Depression Inventory ontdekt depressie bij angstige kinderen Angstige kinderen met en zonder depressie (diverse cut-off scores)

Voorbeeld van 2: In een experiment met ruistrials en signaaltrials kreeg men deze resultaten: Hit rate: .933, False Alarm rate .309 (.067 misses and .691 correct rejections) Normale verdelingen: via corresponderende z-scores kunnen we het hele model invullen:

afstand: d´ = 2 maat voor “gevoeligheid” z.933 = - 1.5 f z.309 = .5 h .933 h β = ---- = .37 f .309

Diverse waarden voor d' en bijbehorende ROC-curves

Criterium: β = 1.64 Gevoeligheid: d´ = 1

Criterium β = 1 Gevoeligheid: d´ = 1

Criterium: β = .61 Gevoeligheid: d´ = 1

d´ = 2 β = .14

β = .37 d´ = 2

β = 1 d´ = 2

β = 2.71 d´ = 2

β = 7.39 d´ = 2

N. B.: Er zijn veel meer modellen en maten: Normale verdelingen met ongelijke standaarddeviaties (geven asymetrische ROC-curves) Allerlei andere kansverdelingen Maten waarbij geen (expliciete) aannamen over de verdelingen worden gemaakt

PSA als test voor prostaatkanker: d' ≈ 1 d' ≈ .60 d' ≈ .67

Eerdere foto Borstkanker? Huidige foto

collectieve prestatie radiologen met en zonder eerdere röntgenfoto’s

De signaaldetectietheorie wordt doorgaans (heel oppervlakkig) behandeld in hoofdstukken en leerboeken over waarnemingspsychologie Maar hoort net zo goed thuis bij diagostiek, selectie en beslissen. Onmisbaar gereedschap voor elke psycholoog!