De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Signaaldetectietheorie Voortzetting: modellen en maten.

Verwante presentaties


Presentatie over: "Signaaldetectietheorie Voortzetting: modellen en maten."— Transcript van de presentatie:

1 Signaaldetectietheorie Voortzetting: modellen en maten

2 verbindt punten in een Hit/FA- plot, afkomstig van verschillende criteria bij dezelfde gevoeligheid ROC-curve karakteriseert signaal/detector onafhankelijke van criterium belangrijk: gevoeligheid en criterium theoretisch onafhankelijk De ROC-(response operating characteristic) curve

3 ROC-curve false alarms hits Zelfde gevoeligheid (voor dit signaal), verschillende criteria

4 Grotere gevoeligheid: ROC-curve verder van diagonaal false alarms hits (Perfectie zou zijn: allemaal hits en geen false alarms)

5 Suggereeert maat voor gevoeligheid (onafhankelijk van criterium:) –gegeven een empirisch bepaalde ROC curve): Oppervlakte onder ROC- Curve: A

6 Geen onderscheid tussen signaal en ruis: A =.50

7 Perfect onderscheid tussen signaal en ruis: A  1.

8 Hier: A =.75

9 Hoe interpreteer je A? Oppervlaktestelling/ Area theorem: A is equivalent met proportie correcte antwoorden in 2AFC-experiment: Gegeven: 1 ruisstimulus 1 signaal (+ruis) stimulus, Welke is wat? Lijkt zinnig! Belangrijk maar lastig.

10 P FA P H fnfnfnfn fsfsfsfs x 0 λ ∞ P H = ∫ f s (x)dx λ ∞ P H = ∫ f s (x)dx λ ∞ P FA = ∫ f n (x)dx λ ∞ P FA = ∫ f n (x)dx λ = H(λ) = F A (λ) λ = F A -1 (P FA ) ROC-curve: P H = H(λ) = H[F A -1 (P FA )] Recap: In het algemeen: Specifiek model hangt af van f n and f s

11 fnfnfnfn fsfsfsfs x 0 λ ∞ P H = ∫ f s (x)dx λ ∞ P H = ∫ f s (x)dx λ ∞ P FA = ∫ f n (x)dx λ ∞ P FA = ∫ f n (x)dx λ = H(λ) = F A (λ) Herinterpretatie voor 2A FC experiment: De twee alternatieven corresponderen met twee punten op de x-as. Stel dat λ de ruisstimulus is: P C = p(x s >x n ), indien x n = λ, p(x s >x n ) = H(λ) Alle H(λ) voor elke λ sommeren Wegen voor dichtheid van λ [= f n (λ)]: ∞ P C = ∫ H(λ)f n (λ)dλ -∞ ∞ P C = ∫ H(λ)f n (λ)dλ -∞

12 P FA P H fnfnfnfn fsfsfsfs x 0 λ ∞ P H = ∫ f s (x)dx λ ∞ P H = ∫ f s (x)dx λ ∞ P FA = ∫ f n (x)dx λ ∞ P FA = ∫ f n (x)dx λ = H(λ) = F A (λ) ROC-curve: P H [= H(λ)] as functie van P FA [ F A (λ)] ROC-curve: P H [= H(λ)] as functie van P FA [= F A (λ)] 1 A = ∫ H(λ)dF A (λ) 0 1 A = ∫ H(λ)dF A (λ) 0 Oppervlakte onder Roc-curve: ∞ P C = ∫ H(λ)f n (λ)dλ -∞ ∞ P C = ∫ H(λ)f n (λ)dλ -∞

13 afleiding (optioneel): dF A (λ) d(λ) = -f n (λ) ∞ P C = ∫ H(λ)f n (λ)dλ -∞ ∞ P C = ∫ H(λ)f n (λ)dλ -∞ dF A (λ) = -f n (λ)dλ Nog twee kleine klusjes: integratielimieten en minteken f n (x)dx = 1 - f n (x)dx ∞ λ ∫ -∞ λ ∫ 1 A = ∫ H(λ)dF A (λ) 0 1 A = ∫ H(λ)dF A (λ) 0 (-f n (λ)dλ) (-f n (λ)dλ)

14 1 A = ∫ H(λ)dF A (λ) 0 1 A = ∫ H(λ)dF A (λ) 0 Limieten: als F A (λ)=P FA = 0 dan λ = ∞ als F A (λ)=P FA = 1 dan λ = -∞ Omkeren: -f n  f n (-f n (λ)dλ) (-f n (λ)dλ) ∞ P C = ∫ H(λ)f n (λ)dλ -∞ ∞ P C = ∫ H(λ)f n (λ)dλ -∞ ∫  ∫ 0 1 -∞ ∞ ∞ ∫  ∫ -∞ ∞ afleiding (optioneel):

15 P FA P H ROC-curve: P H as functie van P FA Elk punt van ROC-curve geeft criterum/bias bij die gevoeligheid Richtingscoefficiënt raaklijn op dat punt als maat voor bias/criterium S =.49 dP H Richtingscoefficiënt----- dP FA Maten voor criterium

16 fnfnfnfn fsfsfsfs x 0 λ ∞ P H = ∫ f s (x)dx λ ∞ P H = ∫ f s (x)dx λ ∞ P FA = ∫ f n (x)dx λ ∞ P FA = ∫ f n (x)dx λ dP H dP H dP FA = dx dP FA dx dP H dP FA f s = f n = dx dx (kettingregel) dP H dP H /dx = dP FA dP FA /dx - f s f s = f n f n = β = S Maten voor criterium

17 P FA PH PH fnfnfnfn fsfsfsfs x 0 λ f h Gevoeligheid/ Onderscheidingsvermogen: 1.Afstand tussen verdelingen 2.Oppervlakte onder ROC-curve (A) Criterium/Bias: 1.f/h = β 2.richtingscoeficiënt S Herhaling: Maar hoe ga je in de praktijk te werk?

18 1.Hard werken Een aantal van de ROC-curve verkrijgen door meerdere criteria te induceren (pay-off, signaalfrequentie) op grond van vele trials (zowel signalen als alleen ruis) voor elk criterium proporties Hits en False alarms bepalen Dat zijn heel veel trials! Daarna grafisch A bepalen Maar hoe ga je in de praktijk te werk?

19 Zeker geen Zeker wel signaal een signaal Variant: numerieke schaal: impliceert meer criteria – maar ook veel trials nodig Maar hoe ga je in de praktijk te werk?

20 2.Ruwe benadering Oppervlaktemaat voor één punt: A' hits False Alarms f h (1-h) f 1 - ¼ (1-f) h (1-h) f 1 - ¼ (1-f) h Gemiddelde van die twee oppervlakten: A' = Maar hoe ga je in de praktijk te werk?

21 Vergelijkbare maat voor criterium/bias: Grier’s B'' H(1 - H) – F(1 – F) B'' = sign(H - F) H(1 - H) + F(1 – F) H(1 - H) – F(1 – F) B'' = sign(H - F) H(1 - H) + F(1 – F) als H = -F + 1 dan B'' = 0 Als F = 0, H≠ 0, H≠1 dan B'' = 1 als H = 1, F≠0, F≠1, dan B'' = -1 H F FALSE ALARM RATE HIT RATE B''= -.4 B''= -.07 B''=.07 B''=.4 B''= 0

22 3.Assumpties invoeren Zelfs als je diverse punten hebt kunnen bepalen liggen ze vaak niet op een nette curve Dan moet je een curve fitten en maak je toch (impliciet) assumpties over de vorm van de kansverdelingen Bovendien kun je je werk besparen: meer assumpties  minder metingen Maar hoe ga je in de praktijk te werk?

23 Simpelste model: ruis- en signaalverdeling normaal, gelijke varianties Eén punt (P H, P FA paar) is genoeg Normale verdelingen zijn populair (maar er zijn ook andere modellen!)

24 Gaussiaanse modellen: preliminair Standaard normale curve M=0, sd = 1 Transformaties: Φ(z)  P Φ -1 (P) of Z(P)  z zie tabellen en standaard software 1 φ(x)= e -x 2 /2 √2π 1 φ(x)= e -x 2 /2 √2π x Φ (x) = - ∞ φdx x Φ (x) = - ∞ φdx ∫

25 PHPHPHPH P FA zHzHzHzH z FA Roc-curve P H = f(P FA ) Z-transformatie ROC-curve P  z z H = f(z FA ) λ Goede manier om meer punten te plotten -

26 zHzHzHzH z FA d'd'd'd' Equal variance model: z-plot ROC 45° z H = z FA + d' d' = z H - z FA 0 λ P FA = 1- Φ(λ), = Φ(-λ), z FA = -λ P H = 1 – Φ(-(d' - λ)) = Φ(d' – λ), z H = d' – λ d'd'd'd' 45 °

27 Diverse waarden voor d' en bijbehorende ROC-curves

28 f β = h/f = φ(z H )/φ(z F ) Om symmetrie te verkrijgen wordt vaak een logransformatie toegepast: log β = log h – log f Criterium/bias: h S

29 f h λ c β = h/f = φ(z H )/φ(z F ) z H + z FA c = z H + z FA c = Alternatief: c (ook wel λ center ), de afstand (in sd) tussen het midden (waar h=f) en het criterium c = -(d ' /2 – λ) z FA = -λ d' = z H - z FA d' = z H - z FA z H – z FA 2z FA c =

30 β c Isobiascurves voor β en c

31 ROC- curves zijn assymmetrisch Ongelijke varianties: bijvoorbeeld σ s = 2σ n

32 PHPHPHPH P FA zHzHzHzH z FA -μs-μs-μs-μs μs/σsμs/σsμs/σsμs/σs P FA = Φ(-λ), z FA = -λ μ s – λ μ s – λ P H = Φ z H = σ s σ s μ s – λ μ s – λ P H = Φ z H = σ s σ s Unequal variance model σ n =1, σ s σ n =1, σ s tg(θ) = 1/σ s tg(θ) = 1/σ s θ z H = z FA μ s σ s

33 zHzHzHzH z FA ΔmΔmΔmΔm e a Δm maakt geen verschil tussen grote en kleine σ s Afstand tot oorsprong naar analogie met d' : O Measures: d e = Oe√2 d a = Oa√2 μ s √1 + σ s 2 μ s √1 + σ s 2 Z H = -Z FA (Pythagoras en gelijkvormige driehoeken)

34 PHPHPHPH Oppervlakte onder Gaussiaanse ROC-curve: A z P FA Oppervlaktestelling!!! Gaussiaans 2AFC: P C = p(x s >x n ) = p(x s -x n >0) n s

35 P C = p(x s >x n ) = p(x s - x n >0) -μ s =1 -Φ √1 + σ s 2 -μ s =1 -Φ √1 + σ s 2 μ s =Φ √1 + σ s 2 μ s =Φ √1 + σ s 2 -μs-μs = A z volgens oppervlaktestelling!

36 PHPHPHPH Oppervlakte onder Gaussiaanse ROC-curve: A z P FA A z = Φ(d a /√2) Gelijke varianties: A z = A d' = Φ(d'/√2) (al aangetoond) tg μ s /σ s =Φ √1/σ s μ s /σ s =Φ √1/σ s μ s =Φ √1 + σ s 2 μ s =Φ √1 + σ s 2

37 A A' A z d a d e A d' d' S B'' β c Gevoeligheid Criterium/bias Alg. Ruw Gaussiaans veel pt één pt σ n ≠ σ s σ n = σ s Overzicht signaaldetectiematen Hiermee kan men de prestaties en de criteria van mensen, apparaten en systemen weergeven.

38 Voor de volledigheid: Finite State models High threshold : 1Yes signaal α detect 1-α η Yes 1-α η Yes onzeker 1-η No onzeker 1-η No 1 η Yes 1 η Yes ruis onzeker 1-η No H H mFA cr cr P H = α +η(1-α) P FA = η

39 hits False Alarms α P H = α +η(1-α) P FA = η η Theoretische ROC curve Vgl correctie voor raden bij MC-vragen Detect: Yes onzeker: η  Yes 1-η  No α “high threshold” (gebrekkige) vertaling naar signaal en ruismodel:

40 Analoog: een low threshold model : Signaal leidt altijd tot onzekere toestand ruis leidt met P = β tot nondetect toestand (altijd NO) and anders tot onzekere toestand. hits False Alarms 1-β β Nondetect: No Uncertain: η  Yes 1-η  No

41 hits False Alarms En een gecombineerd drie-toestanden model N OD

42 hoeveel kost het missen van een wapen/explosief op een vliegveld? Hoeveel kost een false alarm? Hoeveel kost de vertraging die elke screening oplevert?

43 Wat zijn die prestaties waard? Pay-off matrix C Miss V Hit V CR C FA “no” “yes” S(+N) N NB. C is hier een positief getal: “een false alarm kost je 5 euro” EV = p(Hit)V Hi t - p(Miss)C Miss + p(CR)V CR - p(FA)C FA = p(s){P H V Hit – (1-P H )C Miss } + p(n){(1-P FA )V CR - P FA C FA } Vergelijk met niks doen: EV = p(n)V CR – p(s)C Miss NB.: Meestal is waarnemen niet gratis!

44 Een optimale beslissing in onzekerheid: Zet het criterium op een waarde van x (x c ) waarvoor de verwachte waarde/utiliteit van “Yes” gelijk is aan de verwachte waarde/utiliteit van “No” EV(Yes|x c ) = EV(No|x c ) x xcxc

45 V Hit p(Hit) – C FA p(FA) = V CR p(CR) - C Miss p(Miss) “Kosten”: C FA positief! V Hit p(signal|x c ) – C FA p(noise|x c ) = V CR p(noise|x c ) - C Miss p(signal|x c ) p(signal|x c ) V CR + C FA = p(noise|x c ) V Hit + C Miss Maar hoe weten we die?

46 p(signal|x c ) V CR + C FA = p(noise|x c ) V Hit + C Miss We willen deze We weten (in principe) deze: p(x|noise) p(x|signal) gevraagd: een manier om van p(A|B) op p(B|A) te komen Regel van Bayes !

47 p(A|B) p(B|A) p(A) = p(A|¬B) p(B|¬A) p(¬A) (odds form) Toegepast op signaaldetectie: p(signal|x c ) p(noise|x c ) p(x c |signal) p(signal) p(x c |noise) p(noise) =

48 p(signal|x c ) V CR + C FA = p(noise|x c ) V Hit + C Miss p(x c |signal) p(signal) V CR + C FA = p(x c |noise) p(noise) V Hit + C Miss p(x c |signal) p(noise) V CR +C FA = p(x c |noise) p(signal) V Hit +C Miss Bayes β prior odds payoff matrix β prior odds payoff matrix

49 p(x c |signal) p(noise) V CR +C FA = p(x c |noise) p(signal) V Hit +C Miss Dus een ideale observator, op de hoogte van de prior odds en de pay-off matrix, kan een optimaal criterium berekenen. Mensen zijn niet zo handig met rekenen maar passen zich rededelijk aan aan pay-off matrix and prior odds


Download ppt "Signaaldetectietheorie Voortzetting: modellen en maten."

Verwante presentaties


Ads door Google