Signaaldetectietheorie Voortzetting: modellen en maten

De ROC-(response operating characteristic) curve verbindt punten in een Hit/FA- plot, afkomstig van verschillende criteria bij dezelfde gevoeligheid ROC-curve karakteriseert signaal/detector onafhankelijke van criterium belangrijk: gevoeligheid en criterium theoretisch onafhankelijk

ROC-curve hits Zelfde gevoeligheid (voor dit signaal), verschillende criteria false alarms

Grotere gevoeligheid: ROC-curve verder van diagonaal (Perfectie zou zijn: allemaal hits en geen false alarms) hits false alarms

Suggereeert maat voor gevoeligheid (onafhankelijk van criterium:) –gegeven een empirisch bepaalde ROC curve): Oppervlakte onder ROC-Curve: A

Geen onderscheid tussen signaal en ruis: A = .50

Perfect onderscheid tussen signaal en ruis: A  1.

Hier: A = .75

Hoe interpreteer je A? Oppervlaktestelling/ Area theorem: A is equivalent met proportie correcte antwoorden in 2AFC-experiment: Gegeven: 1 ruisstimulus 1 signaal (+ruis) stimulus, Welke is wat? Lijkt zinnig! Belangrijk maar lastig.

fn fs ∞ PH = ∫ fs(x)dx λ = H(λ) ∞ PFA = ∫ fn(x)dx λ = FA(λ) x PH PFA Recap: In het algemeen: fn fs ∞ PH = ∫ fs(x)dx λ = H(λ) ∞ PFA = ∫ fn(x)dx λ = FA(λ) x 0 λ PH λ = FA-1(PFA) ROC-curve: PH = H(λ) = H[FA-1(PFA)] Specifiek model hangt af van fn and fs PFA

fs fn ∞ PH = ∫ fs(x)dx λ = H(λ) ∞ PFA = ∫ fn(x)dx λ = FA(λ) x Herinterpretatie voor 2A FC experiment: fs fn ∞ PH = ∫ fs(x)dx λ ∞ PFA = ∫ fn(x)dx λ = H(λ) = FA(λ) x 0 λ De twee alternatieven corresponderen met twee punten op de x-as. Stel dat λ de ruisstimulus is: PC = p(xs>xn), indien xn = λ, p(xs>xn) = H(λ) Alle H(λ) voor elke λ sommeren Wegen voor dichtheid van λ [= fn(λ)]: ∞ PC = ∫ H(λ)fn(λ)dλ -∞

fn fs ∞ PH = ∫ fs(x)dx λ = H(λ) ∞ PFA = ∫ fn(x)dx λ = FA(λ) x PH Oppervlakte onder Roc-curve: fn fs ∞ PH = ∫ fs(x)dx λ = H(λ) ∞ PFA = ∫ fn(x)dx λ = FA(λ) x 0 λ PH ROC-curve: PH [= H(λ)] as functie van PFA [= FA(λ)] 1 A = ∫ H(λ)dFA(λ) 0 ∞ PC = ∫ H(λ)fn(λ)dλ -∞ PFA

∫ 1 A = ∫ H(λ)dFA(λ) 0 (-fn(λ)dλ) fn(x)dx = 1 - fn(x)dx dFA(λ) d(λ) afleiding (optioneel): 1 A = ∫ H(λ)dFA(λ) 0 (-fn(λ)dλ) fn(x)dx = 1 - fn(x)dx ∞ λ ∫ -∞ dFA(λ) d(λ) ------- = -fn(λ) Nog twee kleine klusjes: integratielimieten en minteken dFA(λ) = -fn(λ)dλ ∞ PC = ∫ H(λ)fn(λ)dλ -∞

∫  ∫ ∫  ∫ 1 A = ∫ H(λ)dFA(λ) 0 (-fn(λ)dλ) ∞ PC = ∫ H(λ)fn(λ)dλ -∞ afleiding (optioneel): 1 A = ∫ H(λ)dFA(λ) 0 (-fn(λ)dλ) Limieten: als FA(λ)=PFA= 0 dan λ = ∞ als FA(λ)=PFA= 1 dan λ = -∞ ∫  ∫ 1 -∞ ∞ Omkeren: -fn  fn ∞ ∫  ∫ -∞ ∞ PC = ∫ H(λ)fn(λ)dλ -∞

PH PFA Maten voor criterium Elk punt van ROC-curve geeft criterum/bias bij die gevoeligheid PH Richtingscoefficiënt raaklijn op dat punt als maat voor bias/criterium S = .49 PFA ROC-curve: PH as functie van PFA dPH Richtingscoefficiënt ----- dPFA

fn fs ∞ PH = ∫ fs(x)dx λ ∞ PFA = ∫ fn(x)dx λ x = β = S 0 λ Maten voor criterium ∞ PH = ∫ fs(x)dx λ ∞ PFA = ∫ fn(x)dx λ dPH dPH dPFA ----- = ----- • ------.dx dPFA dx dPH dPFA fs = - ----- fn = - ------- dx dx (kettingregel) dPH dPH/dx ----- = ------------ dPFA dPFA/dx - fs fs = ----- = ----- - fn fn = β = S

fn fs x PH PFA Herhaling: Gevoeligheid/ Onderscheidingsvermogen: 0 λ Herhaling: Gevoeligheid/ Onderscheidingsvermogen: 1. Afstand tussen verdelingen 2. Oppervlakte onder ROC-curve (A) f h PFA PH Criterium/Bias: 1. f/h = β 2. richtingscoeficiënt S Maar hoe ga je in de praktijk te werk?

Maar hoe ga je in de praktijk te werk? Hard werken Een aantal van de ROC-curve verkrijgen door meerdere criteria te induceren (pay-off, signaalfrequentie) op grond van vele trials (zowel signalen als alleen ruis) voor elk criterium proporties Hits en False alarms bepalen Dat zijn heel veel trials! Daarna grafisch A bepalen

Maar hoe ga je in de praktijk te werk? Zeker geen 0 1 2 3 4 5 Zeker wel signaal een signaal Variant: numerieke schaal: impliceert meer criteria – maar ook veel trials nodig

(1-h) f 1 - ¼ ----- + -- (1-f) h f Maar hoe ga je in de praktijk te werk? Ruwe benadering Oppervlaktemaat voor één punt: A' hits False Alarms Gemiddelde van die twee oppervlakten: A' = h (1-h) f 1 - ¼ ----- + -- (1-f) h f

FALSE ALARM RATE HIT RATE B''= -.4 B''= -.07 B''= .07 B''=.4 B''= 0 als H = 1, F≠0, F≠1, dan B'' = -1 F Vergelijkbare maat voor criterium/bias: Grier’s B'' H als H = -F + 1 dan B'' = 0 Als F = 0, H≠ 0, H≠1 dan B'' = 1 H(1 - H) – F(1 – F) B'' = sign(H - F)------------------------ H(1 - H) + F(1 – F)

Maar hoe ga je in de praktijk te werk? Assumpties invoeren Zelfs als je diverse punten hebt kunnen bepalen liggen ze vaak niet op een nette curve Dan moet je een curve fitten en maak je toch (impliciet) assumpties over de vorm van de kansverdelingen Bovendien kun je je werk besparen: meer assumpties  minder metingen

Normale verdelingen zijn populair (maar er zijn ook andere modellen!) Simpelste model: ruis- en signaalverdeling normaal, gelijke varianties Eén punt (PH, PFA paar) is genoeg

∫ 1 φ(x)= e-x2/2 √2π x Φ(x) = -∞ φdx Gaussiaanse modellen: preliminair Standaard normale curve M=0, sd = 1 1 φ(x)= e-x2/2 √2π x Φ(x) = -∞ φdx ∫ Transformaties: Φ(z)  P Φ-1(P) of Z(P)  z zie tabellen en standaard software

PH PFA λ zH zFA - Roc-curve PH = f(PFA) Z-transformatie ROC-curve P  z zH = f(zFA) zFA Goede manier om meer punten te plotten

zH d' zFA d' 0 λ Equal variance model: z-plot ROC 45° PFA = 1- Φ(λ), = Φ(-λ), zFA = -λ PH = 1 – Φ(-(d' - λ)) = Φ(d' – λ), zH = d' – λ zH = zFA + d' d' = zH - zFA 0 λ zH d' d' 45° zFA

Diverse waarden voor d' en bijbehorende ROC-curves

f h Criterium/bias: β = h/f = φ(zH)/φ(zF) Om symmetrie te verkrijgen wordt vaak een logransformatie toegepast: log β = log h – log f S

f h λ c c = -(d'/2 – λ) zH – zFA 2zFA c = - ---------- + ----- 2 2 β = h/f = φ(zH)/φ(zF) f h λ c Alternatief: c (ook wel λcenter), de afstand (in sd) tussen het midden (waar h=f) en het criterium c = -(d'/2 – λ) zH – zFA 2zFA c = - ---------- + ----- 2 2 zFA = -λ d' = zH - zFA zH + zFA c = - ---------- 2

β c Isobiascurves voor β en c

Ongelijke varianties: bijvoorbeeld σs = 2σn ROC- curves zijn assymmetrisch

PH PFA zH zFA PFA = Φ(-λ), zFA = -λ θ μs – λ μs – λ PH = Φ zH = σs σs Unequal variance model σn=1, σs PFA zH zH= ---- + --- zFA μs σs σs PFA = Φ(-λ), zFA = -λ μs/σs θ -μs zFA μs – λ μs – λ PH = Φ zH = σs σs tg(θ) = 1/σs

zH zFA Measures: e a de = Oe√2 da = Oa√2 O Δm μs √1 + σs2 Δm maakt geen verschil tussen grote en kleine σs Measures: Afstand tot oorsprong naar analogie met d' : zH ZH= -ZFA e a μs √1 + σs2 de = Oe√2 da = Oa√2 zFA O Δm (Pythagoras en gelijkvormige driehoeken)

n s PH PFA Gaussiaans 2AFC: Oppervlakte onder Gaussiaanse ROC-curve: Az Oppervlaktestelling!!! PFA Gaussiaans 2AFC: n s PC = p(xs>xn) = p(xs-xn>0)

PC = p(xs>xn) = p(xs- xn>0) -μs =1 - Φ √1 + σs2 -μs = Az volgens oppervlaktestelling!

μs = Φ √1 + σs2 μs/σs = Φ √1/σs2 + 1 PH PFA Oppervlakte onder Gaussiaanse ROC-curve: Az μs = Φ √1 + σs2 (al aangetoond) PFA μs/σs = Φ √1/σs2 + 1 tg Az = Φ(da/√2) Gelijke varianties : Az = Ad' = Φ(d'/√2)

Overzicht signaaldetectiematen Alg. Ruw Gaussiaans veel pt één pt σn ≠ σs σn = σs A A' Az da de Ad' d' S B'' β c Gevoeligheid Criterium/bias Hiermee kan men de prestaties en de criteria van mensen, apparaten en systemen weergeven.

PFA = η PH = α +η(1-α) 1-α η Yes onzeker 1-η No 1 η Yes H FA Voor de volledigheid: Finite State models High threshold: 1 Yes signaal α detect 1-α η Yes onzeker 1-η No 1 η Yes ruis onzeker 1-η No H m FA cr PFA = η PH = α +η(1-α)

PFA = η PH = α +η(1-α) hits False Alarms α α η Theoretische ROC curve Detect: Yes onzeker: η Yes 1-η No α “high threshold” (gebrekkige) vertaling naar signaal en ruismodel: α η Vgl correctie voor raden bij MC-vragen

hits β False Alarms 1-β Analoog: een low threshold model : Signaal leidt altijd tot onzekere toestand ruis leidt met P = β tot nondetect toestand (altijd NO) and anders tot onzekere toestand. β Nondetect: No Uncertain: η Yes 1-η No 1-β hits False Alarms

hits False Alarms En een gecombineerd drie-toestanden model N O D

hoeveel kost het missen van een wapen/explosief op een vliegveld? Hoeveel kost een false alarm? Hoeveel kost de vertraging die elke screening oplevert?

CMiss VHit VCR CFA Wat zijn die prestaties waard? Pay-off matrix “no” “yes” NB. C is hier een positief getal: “een false alarm kost je 5 euro” S(+N) N CMiss VHit VCR CFA EV = p(Hit)•VHi t- p(Miss)•CMiss+ p(CR)•VCR - p(FA)•CFA = p(s)•{PH• VHit – (1-PH)•CMiss} + p(n)•{(1-PFA)•VCR - PFA•CFA} Vergelijk met niks doen: EV = p(n)•VCR – p(s)CMiss NB.: Meestal is waarnemen niet gratis!

Een optimale beslissing in onzekerheid: Zet het criterium op een waarde van x (xc) waarvoor de verwachte waarde/utiliteit van “Yes” gelijk is aan de verwachte waarde/utiliteit van “No” xc x EV(Yes|xc) = EV(No|xc)

“Kosten”: CFA positief! EV(Yes|xc) = EV(No|xc) VHit• p(Hit) – CFA• p(FA) = VCR•p(CR) - CMiss•p(Miss) VHit• p(signal|xc) – CFA• p(noise|xc) = VCR•p(noise|xc) - CMiss•p(signal|xc) p(signal|xc) VCR + CFA ---------------- = --------------- p(noise|xc) VHit + CMiss Maar hoe weten we die?

p(signal|xc) VCR + CFA ---------------- = --------------- p(noise|xc) VHit + CMiss We willen deze p(x|noise) We weten (in principe) deze: p(x|signal) gevraagd: een manier om van p(A|B) op p(B|A) te komen Regel van Bayes !

p(A|B). p(B|A) p(A) --------- =. ---------- • ------- p(A|B) p(B|A) p(A) --------- = ---------- • ------- p(A|¬B) p(B|¬A) p(¬A) (odds form) Toegepast op signaaldetectie: p(xc|signal) p(signal) p(xc|noise) p(noise) • p(signal|xc) --------------- p(noise|xc) =

p(signal|xc) VCR + CFA ---------------- = --------------- p(noise|xc) VHit + CMiss Bayes p(xc|signal) p(signal) VCR + CFA -------------- • --------- --- = --------------- p(xc|noise) p(noise) VHit + CMiss p(xc|signal) p(noise) VCR+CFA ---------------- = ----------- • ----------- p(xc|noise) p(signal) VHit+CMiss β prior odds payoff matrix

p(xc|signal) p(noise) VCR+CFA ---------------- = ------------ • ----------- p(xc|noise) p(signal) VHit+CMiss Dus een ideale observator, op de hoogte van de prior odds en de pay-off matrix, kan een optimaal criterium berekenen. Mensen zijn niet zo handig met rekenen maar passen zich rededelijk aan aan pay-off matrix and prior odds