De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

TCPII Voortgezette signaaldetectietheorie. Twee soorten maten voor gevoeligheid (onafhankelijk van criterium:) –gegeven een empirisch bepaalde ROC curve):

Verwante presentaties


Presentatie over: "TCPII Voortgezette signaaldetectietheorie. Twee soorten maten voor gevoeligheid (onafhankelijk van criterium:) –gegeven een empirisch bepaalde ROC curve):"— Transcript van de presentatie:

1 TCPII Voortgezette signaaldetectietheorie

2 Twee soorten maten voor gevoeligheid (onafhankelijk van criterium:) –gegeven een empirisch bepaalde ROC curve): 2.Oppervlakte onder ROC-Curve: A 1.Afstand tussen signaal- en ruisverdeling vgl d'

3 Hoe interpreteer je A? Oppervlaktestelling/ Area theorem: A is equivalent met proportie correcte antwoorden in 2AFC- experiment: Gegeven: 1 ruisstimulus 1 signaal (+ruis) stimulus, Welke is wat? Lijkt zinnig! Belangrijk maar lastig. Afleiding op Studion

4 Maten voor criterium: 2. Likelihood ratio p(x c |S)/p(x c |N) = h/f (vgl β) 1. Plaats op x-as h f 3. Plaats in ROC-plot (l.o. vs r.b.) 4. Helling raaklijn aan ROC

5 P FA P H ROC-curve: P H als functie van P FA S = dP H /dP FA Elk punt van ROC-curve geeft criterum/bias bij die gevoeligheid Richtingscoefficiënt raaklijn op dat punt als maat voor bias/criterium S = p(x c |S)/p(x c |N) = h/f h f Afleiding op Studion

6 1.Hard werken Een aantal punten van de ROC-curve verkrijgen door meerdere criteria te induceren (pay-off, signaalfrequentie) op grond van vele trials (zowel signalen als alleen ruis) voor elk criterium proporties Hits en False alarms bepalen Dat zijn heel veel trials! Daarna grafisch A bepalen Maar hoe ga je in de praktijk te werk?

7 Zeker geen Zeker wel signaal een signaal Variant: numerieke schaal: impliceert meer criteria – maar ook veel trials nodig

8 2.Ruwe benadering Oppervlaktemaat voor één punt: A' hits False Alarms f h (1-h) f 1 - ¼ ∙ (1-f) h Gemiddelde van die twee oppervlakten: A' =

9 Vergelijkbare maat voor criterium/bias: Grier’s B'' H(1 - H) – F(1 – F) B'' = sign(H - F) H(1 - H) + F(1 – F) als H = 1 - F dan B'' = 0 Als F = 0, H≠ 0, H≠1 dan B'' = 1 als H = 1, F≠0, F≠1, dan B'' = -1 H F FALSE ALARM RATE HIT RATE B''= -.4 B''= -.07 B''=.07 B''=.4 B''= 0

10 3.Assumpties invoeren Zelfs als je diverse punten hebt kunnen bepalen liggen ze vaak niet op een nette curve Dan moet je een curve fitten en maak je toch (impliciet) assumpties over de vorm van de kansverdelingen Bovendien kun je je werk besparen: meer assumpties  minder metingen

11 Simpelste model: ruis- en signaalverdeling normaal, gelijke varianties Eén punt (P H, P FA paar) is genoeg Normale verdelingen zijn populair (maar er zijn ook andere modellen!)

12 Voorbeeld: in een experiment met ruistrials en signaaltrials kreeg men deze resultaten: Hit rate:.933, False Alarm rate.309 (.067 misses and.691 correct rejections) Normale verdelingen: via corresponderende z-scores kunnen we het hele model invullen:

13 z.309 =.5 z.933 = afstand: d´ = 2 maat voor “gevoeligheid” h f h β = ---- =.37 f

14 Diverse waarden voor d' en bijbehorende ROC- curves

15 Gaussiaanse modellen: preliminair Standaard normale curve M=0, sd = 1 Transformaties: Φ(z)  P Φ -1 (P) of Z(P)  z zie tabellen en standaard software 1 φ(z)= e -z 2 /2 √2π z Φ (z) = - ∞ φdx ∫ z

16 PHPH P FA zHzH z FA Roc-curve P H = f(P FA ) Z-transformatie ROC-curve P  z z H = f(z FA ) λ Goede manier om meer punten te plotten -

17 zHzH z FA d'd' Equal variance model: z H = z FA + d' d' = z H –z FA z-plot ROC 45° 0 λ P FA = 1- Φ(λ), = Φ(-λ), z FA = -λ P H = 1 – Φ(-(d' - λ)) = Φ(d' – λ), z H = d' – λ d'd' 45 °

18 f β = h/f = φ(z H )/φ(z F )Criterium/bias: h Om symmetrie te verkrijgen wordt vaak een logtransformatie toegepast: log β = log h – log f = ½(z 2 FA – z 2 H ) 1 -z 2 / 2 φ(z) = e (standaard-normaal) √ (2π) 1 -z H 2 / 2 φ(z H ) = e √ (2π) 1 -z FA 2 / 2 φ(z FA ) = e √ (2π) z FA 2 – z H (Delen): = e

19 f h λ c z H + z FA c = Alternatief: c (ook wel λ center ), de afstand (in sd) tussen het midden (waar h=f) en het criterium c = -(d ' /2 – λ) z FA = -λ d' = z H - z FA z H – z FA 2z FA c =

20 β c Isobiascurves voor β en c

21 Ongelijke varianties:

22

23 PHPH zHzH z FA -μs-μs μs/σsμs/σs P FA = Φ(-λ), z FA = -λ μ s – λ μ s – λ P H = Φ, z H = σ s σ s Unequal variance model σ n =1, σ s tg(θ) = 1/σ s θ P FA zH=zH= z FA μ s σ s

24 zHzHzHzH z FA ΔmΔmΔmΔm e a Δm maakt geen verschil tussen grote en kleine σ s Afstand tot oorsprong naar analogie met d' : O Maten: d e = Oe√2 d a = Oa√2 μ s √1 + σ s 2 μ s √1 + σ s 2 Z H = -Z FA (Pythagoras en gelijkvormige driehoeken)

25 PHPH Oppervlakte onder Gaussiaanse ROC- curve: A z P FA Afleidbaar met behulp van oppervlaktestelling!!! A z = P c in Gaussiaans 2AFC μ s =Φ √1 + σ s 2 AzAz Afleiding op Studion

26 PHPHPHPH Oppervlakte onder Gaussiaanse ROC-curve: A z P FA A z = Φ(d a /√2) Gelijke varianties: A z = A d' = Φ(d'/√2) (al aangetoond) tg √1/σ s μ s /σ s =Φ √1/σ s μ s =Φ √1 + σ s 2

27 Voor de volledigheid: Er zijn diverse andere modellen -b.v. andere verdelingen -je weet zeker van wel -je weet zeker van niet -je weet het niet zeker

28 Finite State modelen High threshold: 1 Yes α signal detect 1-α ηYes uncertain 1-η No 1 η Yes noise uncertain 1-η NoH H m FA cr cr P H = α +η(1-α)P FA = η

29 hits False Alarms α P H = α +η(1-α)P FA = η η Theoretische ROC curve Detect: Yes uncertain: η  Yes 1-η  No α “high threshold”

30 P H = α +η(1-α) P M = (1-η)(1-α) P M (1-α) = (1-η) P M P H =α + η (1-η) η α = P H P M (1-η) Vgl correctie voor raden bij MC-vragen: η S c = G F (1-η) Bij elke MC-vraag is een signaal aanwezig: het juiste alternatief.

31 Analoog: low threshold model : Signaal leidt altijd tot onzekere toestand noise leidt met P = β to nondetect toestand (altijd NO) en anders tot onzekere toestand. hits False Alarms 1-β β Nondetect: No Uncertain: η  Yes 1-η  No

32 hits False Alarms Een gecombineerd drie- toestanden model N OD Bij rechte ROC in P H P FA ruimte

33 A A' A z d a d e A d' d' S B'' S LR c β c Gevoeligheid Criterium/bias Alg. Ruw Gaussiaans veel pt één pt σ n ≠ σ s σ n = σ s Overzicht signaaldetectiematen Hiermee kan men de prestaties en de criteria van mensen, apparaten en systemen weergeven. Maar wat zijn die prestaties waard?

34 hoeveel kost het missen van een wapen/explosief op een vliegveld? Hoeveel kost een false alarm? Hoeveel kost de vertraging die elke screening oplevert?

35 Wat zijn die prestaties waard? Pay-off matrix C Miss V Hit V CR C FA “no” “yes” S(+N) N NB. C is hier een positief getal: “een false alarm kost je 5 euro” EV = p(Hit)V Hit - p(Miss)C Miss + p(CR)V CR - p(FA)C FA = p(s){P H V Hit – (1-P H )C Miss } + p(n){(1-P FA )V CR - P FA C FA } Vergelijk met niks doen: EV = p(n)V CR – p(s)C Miss NB.: Meestal is waarnemen niet gratis! =?

36 Een optimale beslissing in onzekerheid: Zet het criterium op een waarde van x (x c ) waarvoor de verwachte waarde/utiliteit van “Yes” gelijk is aan de verwachte waarde/utiliteit van “No” EV(Yes|x c ) = EV(No|x c ) x xcxc

37 V Hit p(Hit) – C FA p(FA) = V CR p(CR) - C Miss p(Miss) “Kosten”: C FA positief! V Hit p(signal|x c ) – C FA p(noise|x c ) = V CR p(noise|x c ) - C Miss p(signal|x c ) p(signal|x c ) V CR + C FA = p(noise|x c ) V Hit + C Miss Maar hoe weten we die?

38 p(signal|x c ) V CR + C FA = p(noise|x c ) V Hit + C Miss We willen deze We weten (in principe) deze: p(x|noise)p(x|signal) gevraagd: een manier om van p(A|B) op p(B|A) te komen Regel van Bayes !

39 p(A|B) p(B|A) p(A) = p(A|¬B) p(B|¬A) p(¬A) (odds form) Toegepast op signaaldetectie: ) p(x c |signal) p(signal) p(x c |noise) p(noise) p(signal|x c ) p(noise|x c ) =

40 p(signal|x c ) V CR + C FA = p(noise|x c ) V Hit + C Miss ) p(x c |signal) p(signal) V CR + C FA = p(x c |noise) p(noise) V Hit + C Miss = p(x c |signal) p(noise) V CR +C FA = p(x c |noise) p(signal) V Hit +C Miss Bayes LR c prior odds payoff matrix

41 p(x c |signal) p(noise) V CR +C FA = p(x c |noise) p(signal) V Hit +C Miss Dus een ideale observator, op de hoogte van de prior odds en de pay-off matrix, kan een optimaal criterium berekenen. Mensen zijn niet zo handig met rekenen maar passen zich rededelijk aan aan pay-off matrix and prior odds


Download ppt "TCPII Voortgezette signaaldetectietheorie. Twee soorten maten voor gevoeligheid (onafhankelijk van criterium:) –gegeven een empirisch bepaalde ROC curve):"

Verwante presentaties


Ads door Google