Download de presentatie
1
Signaaldetectietheorie
Voortzetting: modellen en maten
2
De ROC-(response operating characteristic) curve
verbindt punten in een Hit/FA- plot, afkomstig van verschillende criteria bij dezelfde gevoeligheid ROC-curve karakteriseert signaal/detector onafhankelijke van criterium belangrijk: gevoeligheid en criterium theoretisch onafhankelijk
3
ROC-curve hits Zelfde gevoeligheid (voor dit signaal), verschillende criteria false alarms
4
Grotere gevoeligheid: ROC-curve verder van diagonaal
(Perfectie zou zijn: allemaal hits en geen false alarms) hits false alarms
5
Suggereeert maat voor gevoeligheid (onafhankelijk van criterium:) āgegeven een empirisch bepaalde ROC curve): Oppervlakte onder ROC-Curve: A
6
Geen onderscheid tussen signaal en ruis: A = .50
7
Perfect onderscheid tussen signaal en ruis: A ļ 1.
8
Hier: A = .75
9
Hoe interpreteer je A? Oppervlaktestelling/ Area theorem: A is equivalent met proportie correcte antwoorden in 2AFC-experiment: Gegeven: 1 ruisstimulus 1 signaal (+ruis) stimulus, Welke is wat? Lijkt zinnig! Belangrijk maar lastig.
10
fn fs ā PH = ā« fs(x)dx Ī» = H(Ī») ā PFA = ā« fn(x)dx Ī» = FA(Ī») x PH PFA
Recap: In het algemeen: fn fs ā PH = ā« fs(x)dx Ī» = H(Ī») ā PFA = ā« fn(x)dx Ī» = FA(Ī») x 0 Ī» PH Ī» = FA-1(PFA) ROC-curve: PH = H(Ī») = H[FA-1(PFA)] Specifiek model hangt af van fn and fs PFA
11
fs fn ā PH = ā« fs(x)dx Ī» = H(Ī») ā PFA = ā« fn(x)dx Ī» = FA(Ī») x
Herinterpretatie voor 2A FC experiment: fs fn ā PH = ā« fs(x)dx Ī» ā PFA = ā« fn(x)dx Ī» = H(Ī») = FA(Ī») x 0 Ī» De twee alternatieven corresponderen met twee punten op de x-as. Stel dat Ī» de ruisstimulus is: PC = p(xs>xn), indien xn = Ī», p(xs>xn) = H(Ī») Alle H(Ī») voor elke Ī» sommeren Wegen voor dichtheid van Ī» [= fn(Ī»)]: ā PC = ā« H(Ī»)fn(Ī»)dĪ» ā
12
fn fs ā PH = ā« fs(x)dx Ī» = H(Ī») ā PFA = ā« fn(x)dx Ī» = FA(Ī») x PH
Oppervlakte onder Roc-curve: fn fs ā PH = ā« fs(x)dx Ī» = H(Ī») ā PFA = ā« fn(x)dx Ī» = FA(Ī») x 0 Ī» PH ROC-curve: PH [= H(Ī»)] as functie van PFA [= FA(Ī»)] A = ā« H(Ī»)dFA(Ī») ā PC = ā« H(Ī»)fn(Ī»)dĪ» ā PFA
13
ā« 1 A = ā« H(Ī»)dFA(Ī») 0 (-fn(Ī»)dĪ») fn(x)dx = 1 - fn(x)dx dFA(Ī») d(Ī»)
afleiding (optioneel): A = ā« H(Ī»)dFA(Ī») (-fn(Ī»)dĪ») fn(x)dx = 1 - fn(x)dx ā Ī» ā« -ā dFA(Ī») d(Ī») = -fn(Ī») Nog twee kleine klusjes: integratielimieten en minteken dFA(Ī») = -fn(Ī»)dĪ» ā PC = ā« H(Ī»)fn(Ī»)dĪ» ā
14
ā« ļ ā« ā« ļ ā« 1 A = ā« H(Ī»)dFA(Ī») 0 (-fn(Ī»)dĪ») ā PC = ā« H(Ī»)fn(Ī»)dĪ» -ā
afleiding (optioneel): A = ā« H(Ī»)dFA(Ī») (-fn(Ī»)dĪ») Limieten: als FA(Ī»)=PFA= 0 dan Ī» = ā als FA(Ī»)=PFA= 1 dan Ī» = -ā ā« ļ ā« 1 -ā ā Omkeren: -fn ļ fn ā ā« ļ ā« -ā ā PC = ā« H(Ī»)fn(Ī»)dĪ» ā
15
PH PFA Maten voor criterium
Elk punt van ROC-curve geeft criterum/bias bij die gevoeligheid PH Richtingscoefficiƫnt raaklijn op dat punt als maat voor bias/criterium S = .49 PFA ROC-curve: PH as functie van PFA dPH Richtingscoefficiƫnt ----- dPFA
16
fn fs ā PH = ā« fs(x)dx Ī» ā PFA = ā« fn(x)dx Ī» x = Ī² = S
0 Ī» Maten voor criterium ā PH = ā« fs(x)dx Ī» ā PFA = ā« fn(x)dx Ī» dPH dPH dPFA = ā¢ dx dPFA dx dPH dPFA fs = fn = dx dx (kettingregel) dPH dPH/dx = dPFA dPFA/dx - fs fs = = ----- - fn fn = Ī² = S
17
fn fs x PH PFA Herhaling: Gevoeligheid/ Onderscheidingsvermogen:
0 Ī» Herhaling: Gevoeligheid/ Onderscheidingsvermogen: 1. Afstand tussen verdelingen 2. Oppervlakte onder ROC-curve (A) f h PFA PH Criterium/Bias: 1. f/h = Ī² 2. richtingscoeficiĆ«nt S Maar hoe ga je in de praktijk te werk?
18
Maar hoe ga je in de praktijk te werk?
Hard werken Een aantal van de ROC-curve verkrijgen door meerdere criteria te induceren (pay-off, signaalfrequentie) op grond van vele trials (zowel signalen als alleen ruis) voor elk criterium proporties Hits en False alarms bepalen Dat zijn heel veel trials! Daarna grafisch A bepalen
19
Maar hoe ga je in de praktijk te werk?
Zeker geen Zeker wel signaal een signaal Variant: numerieke schaal: impliceert meer criteria ā maar ook veel trials nodig
20
(1-h) f 1 - Ā¼ ----- + -- (1-f) h f
Maar hoe ga je in de praktijk te werk? Ruwe benadering Oppervlaktemaat voor Ć©Ć©n punt: A' hits False Alarms Gemiddelde van die twee oppervlakten: A' = h (1-h) f Ā¼ (1-f) h f
21
FALSE ALARM RATE HIT RATE B''= -.4 B''= -.07 B''= .07 B''=.4 B''= 0 als H = 1, Fā 0, Fā 1, dan B'' = -1 F Vergelijkbare maat voor criterium/bias: Grierās B'' H als H = -F + 1 dan B'' = 0 Als F = 0, Hā 0, Hā 1 dan B'' = 1 H(1 - H) ā F(1 ā F) B'' = sign(H - F) H(1 - H) + F(1 ā F)
22
Maar hoe ga je in de praktijk te werk?
Assumpties invoeren Zelfs als je diverse punten hebt kunnen bepalen liggen ze vaak niet op een nette curve Dan moet je een curve fitten en maak je toch (impliciet) assumpties over de vorm van de kansverdelingen Bovendien kun je je werk besparen: meer assumpties ļ minder metingen
23
Normale verdelingen zijn populair (maar er zijn ook andere modellen!)
Simpelste model: ruis- en signaalverdeling normaal, gelijke varianties EĆ©n punt (PH, PFA paar) is genoeg
24
ā« 1 Ļ(x)= e-x2/2 ā2Ļ x Ī¦(x) = -ā Ļdx Gaussiaanse modellen: preliminair
Standaard normale curve M=0, sd = 1 Ļ(x)= e-x2/ ā2Ļ x Ī¦(x) = -ā Ļdx ā« Transformaties: Ī¦(z) ļ P Ī¦-1(P) of Z(P) ļ z zie tabellen en standaard software
25
PH PFA Ī» zH zFA - Roc-curve PH = f(PFA) Z-transformatie ROC-curve
P ļ z zH = f(zFA) zFA Goede manier om meer punten te plotten
26
zH d' zFA d' 0 Ī» Equal variance model: z-plot ROC 45Ā°
PFA = 1- Ī¦(Ī»), = Ī¦(-Ī»), zFA = -Ī» PH = 1 ā Ī¦(-(d' - Ī»)) = Ī¦(d' ā Ī»), zH = d' ā Ī» zH = zFA + d' d' = zH - zFA 0 Ī» zH d' d' 45Ā° zFA
27
Diverse waarden voor d' en bijbehorende ROC-curves
28
f h Criterium/bias: Ī² = h/f = Ļ(zH)/Ļ(zF)
Om symmetrie te verkrijgen wordt vaak een logransformatie toegepast: log Ī² = log h ā log f S
29
f h Ī» c c = -(d'/2 ā Ī») zH ā zFA 2zFA c = - ---------- + ----- 2 2
Ī² = h/f = Ļ(zH)/Ļ(zF) f h Ī» c Alternatief: c (ook wel Ī»center), de afstand (in sd) tussen het midden (waar h=f) en het criterium c = -(d'/2 ā Ī») zH ā zFA 2zFA c = zFA = -Ī» d' = zH - zFA zH + zFA c =
30
Ī² c Isobiascurves voor Ī² en c
31
Ongelijke varianties:
bijvoorbeeld Ļs = 2Ļn ROC- curves zijn assymmetrisch
32
PH PFA zH zFA PFA = Ī¦(-Ī»), zFA = -Ī» Īø Ī¼s ā Ī» Ī¼s ā Ī» PH = Ī¦ zH = Ļs Ļs
Unequal variance model Ļn=1, Ļs PFA zH zH= zFA Ī¼s Ļs Ļs PFA = Ī¦(-Ī»), zFA = -Ī» Ī¼s/Ļs Īø -Ī¼s zFA Ī¼s ā Ī» Ī¼s ā Ī» PH = Ī¦ zH = Ļs Ļs tg(Īø) = 1/Ļs
33
zH zFA Measures: e a de = Oeā2 da = Oaā2 O Īm Ī¼s ā1 + Ļs2
Īm maakt geen verschil tussen grote en kleine Ļs Measures: Afstand tot oorsprong naar analogie met d' : zH ZH= -ZFA e a Ī¼s ā1 + Ļs2 de = Oeā da = Oaā2 zFA O Īm (Pythagoras en gelijkvormige driehoeken)
34
n s PH PFA Gaussiaans 2AFC:
Oppervlakte onder Gaussiaanse ROC-curve: Az Oppervlaktestelling!!! PFA Gaussiaans 2AFC: n s PC = p(xs>xn) = p(xs-xn>0)
35
PC = p(xs>xn) = p(xs- xn>0) -Ī¼s =1 - Ī¦ ā1 + Ļs2 -Ī¼s
= Az volgens oppervlaktestelling!
36
Ī¼s = Ī¦ ā1 + Ļs2 Ī¼s/Ļs = Ī¦ ā1/Ļs2 + 1 PH PFA
Oppervlakte onder Gaussiaanse ROC-curve: Az Ī¼s = Ī¦ ā1 + Ļs2 (al aangetoond) PFA Ī¼s/Ļs = Ī¦ ā1/Ļs2 + 1 tg Az = Ī¦(da/ā2) Gelijke varianties : Az = Ad' = Ī¦(d'/ā2)
37
Overzicht signaaldetectiematen
Alg Ruw Gaussiaans veel pt Ć©Ć©n pt Ļn ā Ļs Ļn = Ļs A A' Az da de Ad' d' S B'' Ī² c Gevoeligheid Criterium/bias Hiermee kan men de prestaties en de criteria van mensen, apparaten en systemen weergeven.
38
PFA = Ī· PH = Ī± +Ī·(1-Ī±) 1-Ī± Ī· Yes onzeker 1-Ī· No 1 Ī· Yes H FA
Voor de volledigheid: Finite State models High threshold: Yes signaal Ī± detect 1-Ī± Ī· Yes onzeker Ī· No 1 Ī· Yes ruis onzeker Ī· No H m FA cr PFA = Ī· PH = Ī± +Ī·(1-Ī±)
39
PFA = Ī· PH = Ī± +Ī·(1-Ī±) hits False Alarms Ī± Ī± Ī· Theoretische ROC curve
Detect: Yes onzeker: Ī· ļ Yes 1-Ī· ļ No Ī± āhigh thresholdā (gebrekkige) vertaling naar signaal en ruismodel: Ī± Ī· Vgl correctie voor raden bij MC-vragen
40
hits Ī² False Alarms 1-Ī² Analoog: een low threshold model :
Signaal leidt altijd tot onzekere toestand ruis leidt met P = Ī² tot nondetect toestand (altijd NO) and anders tot onzekere toestand. Ī² Nondetect: No Uncertain: Ī· ļ Yes 1-Ī· ļ No 1-Ī² hits False Alarms
41
hits False Alarms En een gecombineerd drie-toestanden model N O D
42
hoeveel kost het missen van een wapen/explosief op een vliegveld?
Hoeveel kost een false alarm? Hoeveel kost de vertraging die elke screening oplevert?
43
CMiss VHit VCR CFA Wat zijn die prestaties waard? Pay-off matrix
ānoā āyesā NB. C is hier een positief getal: āeen false alarm kost je 5 euroā S(+N) N CMiss VHit VCR CFA EV = p(Hit)ā¢VHi t- p(Miss)ā¢CMiss+ p(CR)ā¢VCR - p(FA)ā¢CFA = p(s)ā¢{PHā¢ VHit ā (1-PH)ā¢CMiss} p(n)ā¢{(1-PFA)ā¢VCR - PFAā¢CFA} Vergelijk met niks doen: EV = p(n)ā¢VCR ā p(s)CMiss NB.: Meestal is waarnemen niet gratis!
44
Een optimale beslissing in onzekerheid:
Zet het criterium op een waarde van x (xc) waarvoor de verwachte waarde/utiliteit van āYesā gelijk is aan de verwachte waarde/utiliteit van āNoā xc x EV(Yes|xc) = EV(No|xc)
45
āKostenā: CFA positief!
EV(Yes|xc) = EV(No|xc) VHitā¢ p(Hit) ā CFAā¢ p(FA) = VCRā¢p(CR) - CMissā¢p(Miss) VHitā¢ p(signal|xc) ā CFAā¢ p(noise|xc) = VCRā¢p(noise|xc) - CMissā¢p(signal|xc) p(signal|xc) VCR + CFA = p(noise|xc) VHit + CMiss Maar hoe weten we die?
46
p(signal|xc) VCR + CFA ---------------- = --------------- p(noise|xc) VHit + CMiss
We willen deze p(x|noise) We weten (in principe) deze: p(x|signal) gevraagd: een manier om van p(A|B) op p(B|A) te komen Regel van Bayes !
47
p(A|B). p(B|A) p(A) --------- =. ---------- ā¢ -------
p(A|B) p(B|A) p(A) = ā¢ p(A|Ā¬B) p(B|Ā¬A) p(Ā¬A) (odds form) Toegepast op signaaldetectie: p(xc|signal) p(signal) p(xc|noise) p(noise) ā¢ p(signal|xc) p(noise|xc) =
48
p(signal|xc) VCR + CFA ---------------- = --------------- p(noise|xc) VHit + CMiss
Bayes p(xc|signal) p(signal) VCR + CFA ā¢ = p(xc|noise) p(noise) VHit + CMiss p(xc|signal) p(noise) VCR+CFA = ā¢ p(xc|noise) p(signal) VHit+CMiss Ī² prior odds payoff matrix
49
p(xc|signal) p(noise) VCR+CFA = ā¢ p(xc|noise) p(signal) VHit+CMiss Dus een ideale observator, op de hoogte van de prior odds en de pay-off matrix, kan een optimaal criterium berekenen. Mensen zijn niet zo handig met rekenen maar passen zich rededelijk aan aan pay-off matrix and prior odds
Verwante presentaties
© 2024 SlidePlayer.nl Inc.
All rights reserved.