De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Signaaldetectietheorie

Verwante presentaties


Presentatie over: "Signaaldetectietheorie"ā€” Transcript van de presentatie:

1 Signaaldetectietheorie
Voortzetting: modellen en maten

2 De ROC-(response operating characteristic) curve
verbindt punten in een Hit/FA- plot, afkomstig van verschillende criteria bij dezelfde gevoeligheid ROC-curve karakteriseert signaal/detector onafhankelijke van criterium belangrijk: gevoeligheid en criterium theoretisch onafhankelijk

3 ROC-curve hits Zelfde gevoeligheid (voor dit signaal), verschillende criteria false alarms

4 Grotere gevoeligheid: ROC-curve verder van diagonaal
(Perfectie zou zijn: allemaal hits en geen false alarms) hits false alarms

5 Suggereeert maat voor gevoeligheid (onafhankelijk van criterium:) ā€“gegeven een empirisch bepaalde ROC curve): Oppervlakte onder ROC-Curve: A

6 Geen onderscheid tussen signaal en ruis: A = .50

7 Perfect onderscheid tussen signaal en ruis: A ļƒ  1.

8 Hier: A = .75

9 Hoe interpreteer je A? Oppervlaktestelling/ Area theorem: A is equivalent met proportie correcte antwoorden in 2AFC-experiment: Gegeven: 1 ruisstimulus 1 signaal (+ruis) stimulus, Welke is wat? Lijkt zinnig! Belangrijk maar lastig.

10 fn fs āˆž PH = āˆ« fs(x)dx Ī» = H(Ī») āˆž PFA = āˆ« fn(x)dx Ī» = FA(Ī») x PH PFA
Recap: In het algemeen: fn fs āˆž PH = āˆ« fs(x)dx Ī» = H(Ī») āˆž PFA = āˆ« fn(x)dx Ī» = FA(Ī») x 0 Ī» PH Ī» = FA-1(PFA) ROC-curve: PH = H(Ī») = H[FA-1(PFA)] Specifiek model hangt af van fn and fs PFA

11 fs fn āˆž PH = āˆ« fs(x)dx Ī» = H(Ī») āˆž PFA = āˆ« fn(x)dx Ī» = FA(Ī») x
Herinterpretatie voor 2A FC experiment: fs fn āˆž PH = āˆ« fs(x)dx Ī» āˆž PFA = āˆ« fn(x)dx Ī» = H(Ī») = FA(Ī») x 0 Ī» De twee alternatieven corresponderen met twee punten op de x-as. Stel dat Ī» de ruisstimulus is: PC = p(xs>xn), indien xn = Ī», p(xs>xn) = H(Ī») Alle H(Ī») voor elke Ī» sommeren Wegen voor dichtheid van Ī» [= fn(Ī»)]: āˆž PC = āˆ« H(Ī»)fn(Ī»)dĪ» āˆž

12 fn fs āˆž PH = āˆ« fs(x)dx Ī» = H(Ī») āˆž PFA = āˆ« fn(x)dx Ī» = FA(Ī») x PH
Oppervlakte onder Roc-curve: fn fs āˆž PH = āˆ« fs(x)dx Ī» = H(Ī») āˆž PFA = āˆ« fn(x)dx Ī» = FA(Ī») x 0 Ī» PH ROC-curve: PH [= H(Ī»)] as functie van PFA [= FA(Ī»)] A = āˆ« H(Ī»)dFA(Ī») āˆž PC = āˆ« H(Ī»)fn(Ī»)dĪ» āˆž PFA

13 āˆ« 1 A = āˆ« H(Ī»)dFA(Ī») 0 (-fn(Ī»)dĪ») fn(x)dx = 1 - fn(x)dx dFA(Ī») d(Ī»)
afleiding (optioneel): A = āˆ« H(Ī»)dFA(Ī») (-fn(Ī»)dĪ») fn(x)dx = 1 - fn(x)dx āˆž Ī» āˆ« -āˆž dFA(Ī») d(Ī») = -fn(Ī») Nog twee kleine klusjes: integratielimieten en minteken dFA(Ī») = -fn(Ī»)dĪ» āˆž PC = āˆ« H(Ī»)fn(Ī»)dĪ» āˆž

14 āˆ« ļƒ  āˆ« āˆ« ļƒ  āˆ« 1 A = āˆ« H(Ī»)dFA(Ī») 0 (-fn(Ī»)dĪ») āˆž PC = āˆ« H(Ī»)fn(Ī»)dĪ» -āˆž
afleiding (optioneel): A = āˆ« H(Ī»)dFA(Ī») (-fn(Ī»)dĪ») Limieten: als FA(Ī»)=PFA= 0 dan Ī» = āˆž als FA(Ī»)=PFA= 1 dan Ī» = -āˆž āˆ« ļƒ  āˆ« 1 -āˆž āˆž Omkeren: -fn ļƒ  fn āˆž āˆ« ļƒ  āˆ« -āˆž āˆž PC = āˆ« H(Ī»)fn(Ī»)dĪ» āˆž

15 PH PFA Maten voor criterium
Elk punt van ROC-curve geeft criterum/bias bij die gevoeligheid PH Richtingscoefficiƫnt raaklijn op dat punt als maat voor bias/criterium S = .49 PFA ROC-curve: PH as functie van PFA dPH Richtingscoefficiƫnt ----- dPFA

16 fn fs āˆž PH = āˆ« fs(x)dx Ī» āˆž PFA = āˆ« fn(x)dx Ī» x = Ī² = S
0 Ī» Maten voor criterium āˆž PH = āˆ« fs(x)dx Ī» āˆž PFA = āˆ« fn(x)dx Ī» dPH dPH dPFA = ā€¢ dx dPFA dx dPH dPFA fs = fn = dx dx (kettingregel) dPH dPH/dx = dPFA dPFA/dx - fs fs = = ----- - fn fn = Ī² = S

17 fn fs x PH PFA Herhaling: Gevoeligheid/ Onderscheidingsvermogen:
0 Ī» Herhaling: Gevoeligheid/ Onderscheidingsvermogen: 1. Afstand tussen verdelingen 2. Oppervlakte onder ROC-curve (A) f h PFA PH Criterium/Bias: 1. f/h = Ī² 2. richtingscoeficiĆ«nt S Maar hoe ga je in de praktijk te werk?

18 Maar hoe ga je in de praktijk te werk?
Hard werken Een aantal van de ROC-curve verkrijgen door meerdere criteria te induceren (pay-off, signaalfrequentie) op grond van vele trials (zowel signalen als alleen ruis) voor elk criterium proporties Hits en False alarms bepalen Dat zijn heel veel trials! Daarna grafisch A bepalen

19 Maar hoe ga je in de praktijk te werk?
Zeker geen Zeker wel signaal een signaal Variant: numerieke schaal: impliceert meer criteria ā€“ maar ook veel trials nodig

20 (1-h) f 1 - Ā¼ ----- + -- (1-f) h f
Maar hoe ga je in de praktijk te werk? Ruwe benadering Oppervlaktemaat voor Ć©Ć©n punt: A' hits False Alarms Gemiddelde van die twee oppervlakten: A' = h (1-h) f Ā¼ (1-f) h f

21 FALSE ALARM RATE HIT RATE B''= -.4 B''= -.07 B''= .07 B''=.4 B''= 0 als H = 1, Fā‰ 0, Fā‰ 1, dan B'' = -1 F Vergelijkbare maat voor criterium/bias: Grierā€™s B'' H als H = -F + 1 dan B'' = 0 Als F = 0, Hā‰  0, Hā‰ 1 dan B'' = 1 H(1 - H) ā€“ F(1 ā€“ F) B'' = sign(H - F) H(1 - H) + F(1 ā€“ F)

22 Maar hoe ga je in de praktijk te werk?
Assumpties invoeren Zelfs als je diverse punten hebt kunnen bepalen liggen ze vaak niet op een nette curve Dan moet je een curve fitten en maak je toch (impliciet) assumpties over de vorm van de kansverdelingen Bovendien kun je je werk besparen: meer assumpties ļƒ  minder metingen

23 Normale verdelingen zijn populair (maar er zijn ook andere modellen!)
Simpelste model: ruis- en signaalverdeling normaal, gelijke varianties EĆ©n punt (PH, PFA paar) is genoeg

24 āˆ« 1 Ļ†(x)= e-x2/2 āˆš2Ļ€ x Ī¦(x) = -āˆž Ļ†dx Gaussiaanse modellen: preliminair
Standaard normale curve M=0, sd = 1 Ļ†(x)= e-x2/ āˆš2Ļ€ x Ī¦(x) = -āˆž Ļ†dx āˆ« Transformaties: Ī¦(z) ļƒ  P Ī¦-1(P) of Z(P) ļƒ  z zie tabellen en standaard software

25 PH PFA Ī» zH zFA - Roc-curve PH = f(PFA) Z-transformatie ROC-curve
P ļƒ  z zH = f(zFA) zFA Goede manier om meer punten te plotten

26 zH d' zFA d' 0 Ī» Equal variance model: z-plot ROC 45Ā°
PFA = 1- Ī¦(Ī»), = Ī¦(-Ī»), zFA = -Ī» PH = 1 ā€“ Ī¦(-(d' - Ī»)) = Ī¦(d' ā€“ Ī»), zH = d' ā€“ Ī» zH = zFA + d' d' = zH - zFA 0 Ī» zH d' d' 45Ā° zFA

27 Diverse waarden voor d' en bijbehorende ROC-curves

28 f h Criterium/bias: Ī² = h/f = Ļ†(zH)/Ļ†(zF)
Om symmetrie te verkrijgen wordt vaak een logransformatie toegepast: log Ī² = log h ā€“ log f S

29 f h Ī» c c = -(d'/2 ā€“ Ī») zH ā€“ zFA 2zFA c = - ---------- + ----- 2 2
Ī² = h/f = Ļ†(zH)/Ļ†(zF) f h Ī» c Alternatief: c (ook wel Ī»center), de afstand (in sd) tussen het midden (waar h=f) en het criterium c = -(d'/2 ā€“ Ī») zH ā€“ zFA 2zFA c = zFA = -Ī» d' = zH - zFA zH + zFA c =

30 Ī² c Isobiascurves voor Ī² en c

31 Ongelijke varianties:
bijvoorbeeld Ļƒs = 2Ļƒn ROC- curves zijn assymmetrisch

32 PH PFA zH zFA PFA = Ī¦(-Ī»), zFA = -Ī» Īø Ī¼s ā€“ Ī» Ī¼s ā€“ Ī» PH = Ī¦ zH = Ļƒs Ļƒs
Unequal variance model Ļƒn=1, Ļƒs PFA zH zH= zFA Ī¼s Ļƒs Ļƒs PFA = Ī¦(-Ī»), zFA = -Ī» Ī¼s/Ļƒs Īø -Ī¼s zFA Ī¼s ā€“ Ī» Ī¼s ā€“ Ī» PH = Ī¦ zH = Ļƒs Ļƒs tg(Īø) = 1/Ļƒs

33 zH zFA Measures: e a de = Oeāˆš2 da = Oaāˆš2 O Ī”m Ī¼s āˆš1 + Ļƒs2
Ī”m maakt geen verschil tussen grote en kleine Ļƒs Measures: Afstand tot oorsprong naar analogie met d' : zH ZH= -ZFA e a Ī¼s āˆš1 + Ļƒs2 de = Oeāˆš da = Oaāˆš2 zFA O Ī”m (Pythagoras en gelijkvormige driehoeken)

34 n s PH PFA Gaussiaans 2AFC:
Oppervlakte onder Gaussiaanse ROC-curve: Az Oppervlaktestelling!!! PFA Gaussiaans 2AFC: n s PC = p(xs>xn) = p(xs-xn>0)

35 PC = p(xs>xn) = p(xs- xn>0) -Ī¼s =1 - Ī¦ āˆš1 + Ļƒs2 -Ī¼s
= Az volgens oppervlaktestelling!

36 Ī¼s = Ī¦ āˆš1 + Ļƒs2 Ī¼s/Ļƒs = Ī¦ āˆš1/Ļƒs2 + 1 PH PFA
Oppervlakte onder Gaussiaanse ROC-curve: Az Ī¼s = Ī¦ āˆš1 + Ļƒs2 (al aangetoond) PFA Ī¼s/Ļƒs = Ī¦ āˆš1/Ļƒs2 + 1 tg Az = Ī¦(da/āˆš2) Gelijke varianties : Az = Ad' = Ī¦(d'/āˆš2)

37 Overzicht signaaldetectiematen
Alg Ruw Gaussiaans veel pt Ć©Ć©n pt Ļƒn ā‰  Ļƒs Ļƒn = Ļƒs A A' Az da de Ad' d' S B'' Ī² c Gevoeligheid Criterium/bias Hiermee kan men de prestaties en de criteria van mensen, apparaten en systemen weergeven.

38 PFA = Ī· PH = Ī± +Ī·(1-Ī±) 1-Ī± Ī· Yes onzeker 1-Ī· No 1 Ī· Yes H FA
Voor de volledigheid: Finite State models High threshold: Yes signaal Ī± detect 1-Ī± Ī· Yes onzeker Ī· No 1 Ī· Yes ruis onzeker Ī· No H m FA cr PFA = Ī· PH = Ī± +Ī·(1-Ī±)

39 PFA = Ī· PH = Ī± +Ī·(1-Ī±) hits False Alarms Ī± Ī± Ī· Theoretische ROC curve
Detect: Yes onzeker: Ī· ļƒ Yes 1-Ī· ļƒ No Ī± ā€œhigh thresholdā€ (gebrekkige) vertaling naar signaal en ruismodel: Ī± Ī· Vgl correctie voor raden bij MC-vragen

40 hits Ī² False Alarms 1-Ī² Analoog: een low threshold model :
Signaal leidt altijd tot onzekere toestand ruis leidt met P = Ī² tot nondetect toestand (altijd NO) and anders tot onzekere toestand. Ī² Nondetect: No Uncertain: Ī· ļƒ Yes 1-Ī· ļƒ No 1-Ī² hits False Alarms

41 hits False Alarms En een gecombineerd drie-toestanden model N O D

42 hoeveel kost het missen van een wapen/explosief op een vliegveld?
Hoeveel kost een false alarm? Hoeveel kost de vertraging die elke screening oplevert?

43 CMiss VHit VCR CFA Wat zijn die prestaties waard? Pay-off matrix
ā€œnoā€ ā€œyesā€ NB. C is hier een positief getal: ā€œeen false alarm kost je 5 euroā€ S(+N) N CMiss VHit VCR CFA EV = p(Hit)ā€¢VHi t- p(Miss)ā€¢CMiss+ p(CR)ā€¢VCR - p(FA)ā€¢CFA = p(s)ā€¢{PHā€¢ VHit ā€“ (1-PH)ā€¢CMiss} p(n)ā€¢{(1-PFA)ā€¢VCR - PFAā€¢CFA} Vergelijk met niks doen: EV = p(n)ā€¢VCR ā€“ p(s)CMiss NB.: Meestal is waarnemen niet gratis!

44 Een optimale beslissing in onzekerheid:
Zet het criterium op een waarde van x (xc) waarvoor de verwachte waarde/utiliteit van ā€œYesā€ gelijk is aan de verwachte waarde/utiliteit van ā€œNoā€ xc x EV(Yes|xc) = EV(No|xc)

45 ā€œKostenā€: CFA positief!
EV(Yes|xc) = EV(No|xc) VHitā€¢ p(Hit) ā€“ CFAā€¢ p(FA) = VCRā€¢p(CR) - CMissā€¢p(Miss) VHitā€¢ p(signal|xc) ā€“ CFAā€¢ p(noise|xc) = VCRā€¢p(noise|xc) - CMissā€¢p(signal|xc) p(signal|xc) VCR + CFA = p(noise|xc) VHit + CMiss Maar hoe weten we die?

46 p(signal|xc) VCR + CFA ---------------- = --------------- p(noise|xc) VHit + CMiss
We willen deze p(x|noise) We weten (in principe) deze: p(x|signal) gevraagd: een manier om van p(A|B) op p(B|A) te komen Regel van Bayes !

47 p(A|B). p(B|A) p(A) --------- =. ---------- ā€¢ -------
p(A|B) p(B|A) p(A) = ā€¢ p(A|Ā¬B) p(B|Ā¬A) p(Ā¬A) (odds form) Toegepast op signaaldetectie: p(xc|signal) p(signal) p(xc|noise) p(noise) ā€¢ p(signal|xc) p(noise|xc) =

48 p(signal|xc) VCR + CFA ---------------- = --------------- p(noise|xc) VHit + CMiss
Bayes p(xc|signal) p(signal) VCR + CFA ā€¢ = p(xc|noise) p(noise) VHit + CMiss p(xc|signal) p(noise) VCR+CFA = ā€¢ p(xc|noise) p(signal) VHit+CMiss Ī² prior odds payoff matrix

49 p(xc|signal) p(noise) VCR+CFA = ā€¢ p(xc|noise) p(signal) VHit+CMiss Dus een ideale observator, op de hoogte van de prior odds en de pay-off matrix, kan een optimaal criterium berekenen. Mensen zijn niet zo handig met rekenen maar passen zich rededelijk aan aan pay-off matrix and prior odds


Download ppt "Signaaldetectietheorie"

Verwante presentaties


Ads door Google