Voortgezette signaaldetectietheorie

Presentatie over: "Voortgezette signaaldetectietheorie"— Transcript van de presentatie:

1 Voortgezette signaaldetectietheorie
TCPII Voortgezette signaaldetectietheorie

2 Twee soorten maten voor gevoeligheid (onafhankelijk van criterium:) –gegeven een empirisch bepaalde ROC curve): Afstand tussen signaal- en ruisverdeling vgl d' 2. Oppervlakte onder ROC-Curve: A

3 Hoe interpreteer je A? Oppervlaktestelling/ Area theorem: A is equivalent met proportie correcte antwoorden in 2AFC-experiment: Gegeven: 1 ruisstimulus 1 signaal (+ruis) stimulus, Welke is wat? Lijkt zinnig! Belangrijk maar lastig. Afleiding op Studion

4 h f Maten voor criterium: 1. Plaats op x-as
2. Likelihood ratio p(xc|S)/p(xc|N) = h/f (vgl β) 3. Plaats in ROC-plot (l.o. vs r.b.) 4. Helling raaklijn aan ROC

5 h f Elk punt van ROC-curve geeft criterum/bias bij die gevoeligheid PH
Richtingscoefficiënt raaklijn op dat punt als maat voor bias/criterium S ROC-curve: PH als functie van PFA S = dPH/dPFA PFA h f = p(xc|S)/p(xc|N) = h/f Afleiding op Studion

6 Maar hoe ga je in de praktijk te werk?
Hard werken Een aantal punten van de ROC-curve verkrijgen door meerdere criteria te induceren (pay-off, signaalfrequentie) op grond van vele trials (zowel signalen als alleen ruis) voor elk criterium proporties Hits en False alarms bepalen Dat zijn heel veel trials! Daarna grafisch A bepalen

7 Zeker geen Zeker wel signaal een signaal Variant: numerieke schaal: impliceert meer criteria – maar ook veel trials nodig

8 h f (1-h) f 1 - ¼ ∙ ------- + --- (1-f) h Ruwe benadering
Oppervlaktemaat voor één punt: A' hits False Alarms Gemiddelde van die twee oppervlakten: A' = h (1-h) f ¼ ∙ (1-f) h f

9 FALSE ALARM RATE HIT RATE B''= -.4 B''= -.07 B''= .07 B''=.4 B''= 0 als H = 1, F≠0, F≠1, dan B'' = -1 F H Vergelijkbare maat voor criterium/bias: Grier’s B'' als H = 1 - F dan B'' = 0 Als F = 0, H≠ 0, H≠1 dan B'' = 1 H(1 - H) – F(1 – F) B'' = sign(H - F) H(1 - H) + F(1 – F)

10 Assumpties invoeren Zelfs als je diverse punten hebt kunnen bepalen liggen ze vaak niet op een nette curve Dan moet je een curve fitten en maak je toch (impliciet) assumpties over de vorm van de kansverdelingen Bovendien kun je je werk besparen: meer assumpties  minder metingen

11 Normale verdelingen zijn populair (maar er zijn ook andere modellen!)
Simpelste model: ruis- en signaalverdeling normaal, gelijke varianties Eén punt (PH, PFA paar) is genoeg

12 Voorbeeld: in een experiment met ruistrials en signaaltrials kreeg men deze resultaten:
Hit rate: .933, False Alarm rate .309 (.067 misses and .691 correct rejections) Normale verdelingen: via corresponderende z-scores kunnen we het hele model invullen:

13 f h h β = ---- = .37 f afstand: d´ = 2 maat voor “gevoeligheid”
z.933 = - 1.5 f z.309 = .5 h .933 h β = = .37 f .309

14 Diverse waarden voor d' en bijbehorende ROC-curves

15 ∫ 1 φ(z)= e-z2/2 √2π z Φ(z) = -∞ φdx z
Gaussiaanse modellen: preliminair Standaard normale curve M=0, sd = 1 φ(z)= e-z2/ √2π z z Φ(z) = -∞ φdx ∫ Transformaties: Φ(z)  P Φ-1(P) of Z(P)  z zie tabellen en standaard software

16 - λ Roc-curve PH = f(PFA) PH PFA zH Z-transformatie ROC-curve
P  z zH = f(zFA) zFA Goede manier om meer punten te plotten

17 d' d' 0 λ 45° Equal variance model: PFA = 1- Φ(λ), = Φ(-λ), zFA = -λ
PH = 1 – Φ(-(d' - λ)) = Φ(d' – λ), zH = d' – λ zH = zFA + d' d' = zH –zFA z-plot ROC 45° 0 λ zH d' d' 45° zFA

18 f h √(2π) √(2π) √(2π) Criterium/bias: β = h/f = φ(zH)/φ(zF) 1 -z2/2
φ(z) = e (standaard-normaal) √(2π) zH2/2 φ(zH) = e √(2π) zFA2 – zH2 2 (Delen): = e zFA2/2 φ(zFA) = e √(2π) Om symmetrie te verkrijgen wordt vaak een logtransformatie toegepast: log β = log h – log f = ½(z2FA – z2H )

19 f h λ c Alternatief: c (ook wel λcenter), de afstand (in sd) tussen het midden (waar h=f) en het criterium c = -(d'/2 – λ) zH – zFA 2zFA c = zFA = -λ d' = zH - zFA zH + zFA c =

20 β c Isobiascurves voor β en c

21 Ongelijke varianties:

22

23 θ PH Unequal variance model σn=1, σs PFA zH zH= zFA μs σs σs
μs/σs θ PFA = Φ(-λ), zFA = -λ -μs zFA μs – λ μs – λ PH = Φ , zH = σs σs tg(θ) = 1/σs

24 μs √1 + σs2 e a Δm maakt geen verschil tussen grote en kleine σs
Maten: Afstand tot oorsprong naar analogie met d' : zH ZH= -ZFA de = Oe√ da = Oa√2 e a μs √1 + σs2 O zFA Δm (Pythagoras en gelijkvormige driehoeken)

25 μs = Φ √1 + σs2 Az PH Oppervlakte onder Gaussiaanse ROC-curve: Az
Afleidbaar met behulp van oppervlaktestelling!!! PFA Az = Pc in Gaussiaans 2AFC μs = Φ √1 + σs2 Az Afleiding op Studion

26 μs = Φ √1 + σs2 μs/σs = Φ √1/σs2 + 1 PH PFA tg
Oppervlakte onder Gaussiaanse ROC-curve: Az μs = Φ √1 + σs2 PFA (al aangetoond) μs/σs = Φ √1/σs2 + 1 tg Az = Φ(da/√2) Gelijke varianties : Az = Ad' = Φ(d'/√2)

27 Voor de volledigheid: Er zijn diverse andere modellen -b.v. andere verdelingen -je weet zeker van wel -je weet zeker van niet -je weet het niet zeker

28 Finite State modelen H m FA cr High threshold: Yes α signal detect 1-α η Yes uncertain η No η Yes noise uncertain η No PFA = η PH = α +η(1-α)

29 α η α PFA = η PH = α +η(1-α) hits False Alarms Theoretische ROC curve
uncertain: η Yes 1-η No Detect: Yes α η α “high threshold”

30 η Sc = G - ---- F (1-η) Vgl correctie voor raden bij MC-vragen:
Bij elke MC-vraag is een signaal aanwezig: het juiste alternatief. PH = α +η(1-α) PM = (1-η)(1-α) PM PH =α + η (1-η) PM (1-α) = (1-η) η α = PH PM (1-η) η Sc = G F (1-η)

31 β 1-β Analoog: low threshold model :
Signaal leidt altijd tot onzekere toestand noise leidt met P = β to nondetect toestand (altijd NO) en anders tot onzekere toestand. 1-β Nondetect: No Uncertain: η Yes 1-η No hits False Alarms β

32 N O D Een gecombineerd drie-toestanden model hits False Alarms
Bij rechte ROC in PHPFA ruimte

33 A A' Az da de Ad' d' S B'' S LRc β c Overzicht signaaldetectiematen
Alg Ruw Gaussiaans veel pt één pt σn ≠ σs σn = σs A A' Az da de Ad' d' S B'' S LRc β c Gevoeligheid Criterium/bias Hiermee kan men de prestaties en de criteria van mensen, apparaten en systemen weergeven. Maar wat zijn die prestaties waard?

34 hoeveel kost het missen van een wapen/explosief op een vliegveld?
Hoeveel kost een false alarm? Hoeveel kost de vertraging die elke screening oplevert?

35 =? Wat zijn die prestaties waard? Pay-off matrix “no” “yes”
NB. C is hier een positief getal: “een false alarm kost je 5 euro” S(+N) N CMiss VHit VCR CFA =? EV = p(Hit)•VHit- p(Miss)•CMiss p(CR)•VCR - p(FA)•CFA = p(s)•{PH• VHit – (1-PH)•CMiss} + p(n)•{(1-PFA)•VCR - PFA•CFA} Vergelijk met niks doen: EV = p(n)•VCR – p(s)CMiss NB.: Meestal is waarnemen niet gratis!

36 xc x Een optimale beslissing in onzekerheid:
Zet het criterium op een waarde van x (xc) waarvoor de verwachte waarde/utiliteit van “Yes” gelijk is aan de verwachte waarde/utiliteit van “No” EV(Yes|xc) = EV(No|xc)

37 EV(Yes|xc) = EV(No|xc)
“Kosten”: CFA positief! VHit• p(Hit) – CFA• p(FA) = VCR•p(CR) - CMiss•p(Miss) VHit• p(signal|xc) – CFA• p(noise|xc) = VCR•p(noise|xc) - CMiss•p(signal|xc) p(signal|xc) VCR + CFA = p(noise|xc) VHit + CMiss Maar hoe weten we die?

38 p(signal|xc) VCR + CFA ---------------- = --------------- p(noise|xc) VHit + CMiss
We willen deze We weten (in principe) deze: p(x|noise) p(x|signal) gevraagd: een manier om van p(A|B) op p(B|A) te komen Regel van Bayes !

39 p(A|B). p(B|A) p(A) --------- =. ---------- • -------. p(A|¬B)
p(A|B) p(B|A) p(A) = • p(A|¬B) p(B|¬A) p(¬A) (odds form) Toegepast op signaaldetectie: p(signal|xc) p(noise|xc) p(xc|signal) p(signal) • p(xc|noise) p(noise) =

40 p(signal|xc) VCR + CFA ---------------- = --------------- p(noise|xc) VHit + CMiss
Bayes p(xc|signal) p(signal) VCR + CFA • = p(xc|noise) p(noise) VHit + CMiss p(xc|signal) p(noise) VCR+CFA = • p(xc|noise) p(signal) VHit+CMiss LRc prior odds payoff matrix

41 p(xc|signal) p(noise) VCR+CFA = • p(xc|noise) p(signal) VHit+CMiss Dus een ideale observator, op de hoogte van de prior odds en de pay-off matrix, kan een optimaal criterium berekenen. Mensen zijn niet zo handig met rekenen maar passen zich rededelijk aan aan pay-off matrix and prior odds