Inleiding en simpel model

Presentatie over: "Inleiding en simpel model"— Transcript van de presentatie:

1 Inleiding en simpel model
Signaaldetectie Inleiding en simpel model

2 Doel signaaldetectietheorie:
Gevoeligheid (of prestatie) bepalen onafhankelijk van criterium en andersom Hoe gevoelig is mijn brandmelder? Hoe kan ik ’m het beste afstellen (wel afgaan als er brand is, maar niet bij elke scheet)

3 u u u u v u u u u u u u u u u u u u u u u

4 u u u u u u u u u u u u u u u u u u u u u u u

5 u u u u u u u u u u u u u u v u u u u u u u u u

6 u u u u uu u u u u u u u u u u u u v u u u u u u u u u u

7 u u u u u u u u u u u u u u uu u u u u u u u u u u u u

8 Sommige proefpersonen zeggen pas ja als ze erg zeker zijn, (en missen zo “signalen”)
Andere proefpersonen zeggen veel eerder ja, maar vaker ten onrechte Hoe kun je die waarnemingsprestaties vergelijken?

9 Ken ik deze vrouw ergens van?
Is de verdachte schuldig (gegeven de “bewijzen”)? Heeft deze athleet doping gebruikt – gegeven zijn testosteronspiegel Kunnen we deze sollicitant aannemen – gegeven de testuislag?

10 Ontwikkeld voor militaire technologie (WW2):
Toepassing statistische beslissingstheorie op verwerken sonar or radar signalen tegen ruizige (noisy) achtergrond

11 kernaannamen signaaldetectietheorie
kansdichtheid “Evidentie”, b.v.. responssterkte detector 1. Effect van signaal is variabel (volgens kansverdeling). 2. Ruis (Noise) heeft ook variabel effect. Probleem: is de “evidentie” (= een punt op de x-as) van signaal (+ ruis) of van ruis alleen afkomstig?

12 “No” “Yes” 3. Als signaal zwak is, overlappen verdelingen
en zijn fouten onvermijdelijk, wel kriterium ook wordt gehanteerd

13 “No” “Yes” “No” “Yes” Terminologie: miss hit Signaal (+ruis)
(alleen) ruis hit correct rejection false alarm

14 Hoe sterker het signaal (of hoe beter de
detector) … hoe verder de verdelingen uit elkaar liggen

15 “No” “Yes” Gegeven een bepaalde gevoeligheid kunnen verschillende responscriteria gehanteerd worden Afhankelijke van persoonlijke voorkeur of “pay off” in deze situatie: -Hoe erg is een misser, hoe belangrijk is een hit? -Hoe erg is een false alarm, hoe belangrijk is een correct rejection? -Hoe vaak komen signalen voor?

16 “No” “Yes” In een experiment met ruis- en signaal trials:
Een strict (“hoog”) criterium resulteert in weinig hits maar ook weinig false alarms Propor-tie hits (van signaal trials) Proportie false alarms (van noise trials)

17 “No” “Yes” Een laks “laag” criterium levert bij gelijke gevoeligheid meer hits op, maar ook meer false alarms hits false alarms

18 Zelfde gevoeligheid (voor dit signaal), verschillende criteria
ROC-curve hits lage drempel (=bias voor “ja”) naar rechtsboven, hoge drempel (=bias voor “nee” naar linksonder false alarms

19 De ROC-(response operating characteristic) curve
verbindt punten in een Hit/FA- plot, afkomstig van verschillende criteria bij dezelfde gevoeligheid ROC-curve karakteriseert signaal/detector onafhankelijke van criterium belangrijk: gevoeligheid en criterium theoretisch onafhankelijk

20 Grotere gevoeligheid: ROC-curve verder van diagonaal
(Perfectie zou zijn: allemaal hits en geen false alarms) hits false alarms

21 Het bepalen van een ROC-curve is veel werk: vaak doet men aannamen om met minder gegevens te kunnen werken Normale verdelingen zijn populair (maar er zijn ook andere modellen!) Simpelste model: ruis- en signaalverdeling normaal, gelijke varianties Eén punt (PH, PFA paar) is genoeg

22 Maat voor gevoeligheid: d'
f h Maat voor criterium: β = h/f

23 De signaaldetectietheorie is op twee manieren te gebruiken:
1. Je kent de verdelingen en je bepaalt een geschikt criterium (radar, brandmelder, maar ook diagnose) 2. Je kent het gedrag (hits en fa’s) en probeert (kenmerken van) de verdelingen te reconstrueren (detectieproeven, herkenning, beoordeling van prestaties experts).

24 Voorbeeld van 1: Gebruik test(s) om te beslissen of iemand - voor een opleiding of functie in aanmerking komt - een afwijking heeft Controlegroep/Ongeschikt Patiënten/ Geschikt Testscore

25 Comer & Kendall 2005: Children’s Depression Inventory ontdekt depressie bij angstige kinderen Angstige kinderen met en zonder depressie (diverse cut-off scores)

26 Voorbeeld van 2: In een experiment met ruistrials en signaaltrials kreeg men deze resultaten: Hit rate: .933, False Alarm rate .309 (.067 misses and .691 correct rejections) Normale verdelingen: via corresponderende z-scores kunnen we het hele model invullen:

27 afstand: d´ = 2 maat voor “gevoeligheid”
z.933 = - 1.5 f z.309 = .5 h .933 h β = = .37 f .309

28 Diverse waarden voor d' en bijbehorende ROC-curves

29 Criterium: β = 1.64 Gevoeligheid: d´ = 1

30 Criterium β = 1 Gevoeligheid: d´ = 1

31 Criterium: β = .61 Gevoeligheid: d´ = 1

32 d´ = 2 β = .14

33 β = .37 d´ = 2

34 β = 1 d´ = 2

35 β = 2.71 d´ = 2

36 β = 7.39 d´ = 2

37 N. B.: Er zijn veel meer modellen en maten:
Normale verdelingen met ongelijke standaarddeviaties (geven asymetrische ROC-curves) Allerlei andere kansverdelingen Maten waarbij geen (expliciete) aannamen over de verdelingen worden gemaakt

38 PSA als test voor prostaatkanker:
d' ≈ 1 d' ≈ .60 d' ≈ .67

39 Eerdere foto Borstkanker? Huidige foto

40 collectieve prestatie radiologen met en zonder eerdere röntgenfoto’s

41 De signaaldetectietheorie wordt doorgaans (heel oppervlakkig) behandeld in hoofdstukken en leerboeken over waarnemingspsychologie Maar hoort net zo goed thuis bij diagostiek, selectie en beslissen. Onmisbaar gereedschap voor elke psycholoog!