Advanced Modulation and Coding : Estimation and decision theory 1 Geavanceerde Modulatie en Codering Estimatie- en Decisietheorie.

Presentatie over: "Advanced Modulation and Coding : Estimation and decision theory 1 Geavanceerde Modulatie en Codering Estimatie- en Decisietheorie."— Transcript van de presentatie:

1 Advanced Modulation and Coding : Estimation and decision theory 1 Geavanceerde Modulatie en Codering Estimatie- en Decisietheorie

2 Advanced Modulation and Coding : Estimation and decision theory 2 Enkele definities

3 Advanced Modulation and Coding : Estimation and decision theory 3 Definities x : parametervector r : observatievector p(r|x) : distributie van r bij gegeven x p(x) : a priori distributie van x Bron x Kanaal r p(x) p(r|x)

4 Advanced Modulation and Coding : Estimation and decision theory 4 Definities x : parametervector r : observatievector p(r|x) : distributie van r bij gegeven x p(x) : a priori distributie van x de exacte waarde van x kan meestal niet bepaald worden uit r Bron x Kanaal r p(x) p(r|x)

5 Advanced Modulation and Coding : Estimation and decision theory 5 Definities x : parametervector r : observatievector p(r|x) : distributie van r bij gegeven x p(x) : a priori distributie van x de exacte waarde van x kan meestal niet bepaald worden uit r we zoeken een schatting is een deterministische functie van r Bron x Kanaal r Schatting p(x) p(r|x)

6 Advanced Modulation and Coding : Estimation and decision theory 6 Definities Kostfunctie wordt minimum voor vergelijkt x en Risico = gemiddelde van de kostfunctie E r,x [.] : verwachtingswaarde over r en x p(r,x) : gezamenlijke distributie van r en x De optimale schattingminimaliseert het risico R

7 Advanced Modulation and Coding : Estimation and decision theory 7 Definities p(r,x) = p(r|x)p(x) = p(x|r)p(r) gezamenlijke distributie p(r,x) is te schrijven als

8 Advanced Modulation and Coding : Estimation and decision theory 8 Definities p(r,x) = p(r|x)p(x) = p(x|r)p(r) gezamenlijke distributie p(r,x) is te schrijven als p(x) is de a priori distributie van x, en vertegenwoordigt onze kennis van x wanneer we geen toegang hebben tot de observatie r p(x) x -0.5 0.5

9 Advanced Modulation and Coding : Estimation and decision theory 9 Definities p(r,x) = p(r|x)p(x) = p(x|r)p(r) gezamenlijke distributie p(r,x) is te schrijven als p(x) is de a priori distributie van x, en vertegenwoordigt onze kennis van x wanneer we geen toegang hebben tot de observatie r p(r|x), beschouwd als functie van x, is de kansfunctie (likelihood function) van x, en vertegenwoordigt onze kennis van x verworven via de observatie r x p(r 1 |x) p(r 2 |x)

10 Advanced Modulation and Coding : Estimation and decision theory 10 Definities p(r,x) = p(r|x)p(x) = p(x|r)p(r) gezamenlijke distributie p(r,x) is te schrijven als p(x) is de a priori distributie van x, en vertegenwoordigt onze kennis van x wanneer we geen toegang hebben tot de observatie r p(r|x), beschouwd als functie van x, is de kansfunctie (likelihood function) van x, en vertegenwoordigt onze kennis van x verworven via de observatie r p(r) is de marginale distibutie van r : p(r) hangt niet af van x, en levert dus geen informatie over x

11 Advanced Modulation and Coding : Estimation and decision theory 11 Definities p(r,x) = p(r|x)p(x) = p(x|r)p(r) gezamenlijke distributie p(r,x) is te schrijven als p(x) is de a priori distributie van x, en vertegenwoordigt onze kennis van x wanneer we geen toegang hebben tot de observatie r p(r|x), beschouwd als functie van x, is de kansfunctie (likelihood function) van x, en vertegenwoordigt onze kennis van x verworven via de observatie r p(r) is de marginale distibutie van r : p(r) hangt niet af van x, en levert dus geen informatie over x p(x|r) = p(r|x)p(x)/p(r) is de a posteriori distributie van x; p(x|r) vertegenwoordigt onze totale kennis van x, door a priori kennis p(x) en de kansfunctie p(r|x) te combineren (p(r) is enkel een normalisatiefactor)

12 Advanced Modulation and Coding : Estimation and decision theory 12 Definities Voorbeeld r = x + w w ~ N(0,  2 ) p(r|x) is Gaussiaanse distributie met gemiddelde x en variantie  2 p(x) x -0.5 0.5 a priori : x tussen -0.5 en 0.5, hoogste waarschijnlijkheid bij x = 0 kansfunctie : x = r is de meest aannemelijke (most likely) waarde voor x (bij gegeven r wordt p(r|x) maximaal voor x = r)

13 Advanced Modulation and Coding : Estimation and decision theory 13 Definities Voorbeeld (vervolg)  klein, r = -0.2  a posteriori distrib.  kansfunctie  klein, r = 0.65  a posteriori distrib. verschilt sterk van kansfunctie en van a priori distrib.

14 Advanced Modulation and Coding : Estimation and decision theory 14 Definities Voorbeeld (vervolg)  groot  a posteriori  a priori, ongeacht waarneming r

15 Advanced Modulation and Coding : Estimation and decision theory 15 Definities Schatten van een discrete parameter. De schatting wordt “decisie” genoemd. Detectie Estimatie Schatten van een continue parameter.

16 Advanced Modulation and Coding : Estimation and decision theory 16 Detectie en estimatie

17 Advanced Modulation and Coding : Estimation and decision theory 17 Detectie Beschouw kostfunctie Risico :foutprobabiliteit m.b.t. x Foutprobabiliteit m.b.t. vector x Deze kostfunctie geeft aan of er een decisiefout is opgetreden, maar houdt geen rekening met het aantal foutieve componenten van x wanneer een decisiefout is opgetreden x heeft J componenten x 1,..., x J

18 Advanced Modulation and Coding : Estimation and decision theory 18 Detectie “Maximum a posteriori probability” (MAP) detectie van x minimaliseert foutprobabiliteit m.b.t. x (geen bewijs) : a posteriori massafunctie van x (= gezamenlijke a posteriori massafunctie van x 1,..., x J ) Foutprobabiliteit m.b.t. vector x

19 Advanced Modulation and Coding : Estimation and decision theory 19 Detectie Beschouw kostfunctie Risico : gemiddelde foutprobabiliteit m.b.t. afzonderlijke componenten van x Gemiddelde foutprobabiliteit m.b.t. de afzonderlijke componenten van x Deze kostfunctie is de verhouding van het aantal foutief gedetecteerde componenten van x tot het totaal aantal componenten van x

20 Advanced Modulation and Coding : Estimation and decision theory 20 Detectie MAP detectie van x j (j = 1,..., J) minimaliseert gemiddelde foutprobabiliteit m.b.t. afzonderlijke componenten van x (geen bewijs) : a posteriori massafunctie van j-de component x j (j = 1,..., J) Gemiddelde foutprobabiliteit m.b.t. de afzonderlijke componenten van x (marginale van gezamenlijke a posteriori massafunctie)

21 Advanced Modulation and Coding : Estimation and decision theory 21 Estimatie Beschouw kostfunctie Risico :

22 Advanced Modulation and Coding : Estimation and decision theory 22 Estimatie Beschouw kostfunctie Risico : Minimaliseren van MSE is vaak vrij bewerkelijk. Alternatief : MAP schatting : p(x|r) : a posteriori densiteit van x

23 Advanced Modulation and Coding : Estimation and decision theory 23 Maximum-likelihood (ML) detectie/estimatie MAP detectie van x kan omgevormd worden tot Indien x uniform verdeeld : MAP detectie wordt ML detectie ML detectie van x kan ook gebruikt worden wanneer a priori distributie van x onbekend is of genegeerd wordt

24 Advanced Modulation and Coding : Estimation and decision theory 24 Maximum-likelihood (ML) detectie/estimatie Indien x j uniform verdeeld (of a priori distributie van x j is onbekend of wordt genegeerd) : MAP detectie wordt ML detectie Analoge redenering voor : 1) MAP detectie van x j :

25 Advanced Modulation and Coding : Estimation and decision theory 25 Maximum-likelihood (ML) detectie/estimatie Indien x j uniform verdeeld (of a priori distributie van x j is onbekend of wordt genegeerd) : MAP detectie wordt ML detectie Analoge redenering voor : 1) MAP detectie van x j : Indien x uniform verdeeld (of a priori distributie van x is onbekend of wordt genegeerd) : MAP estimatie wordt ML estimatie 2) MAP estimatie van x :

26 Advanced Modulation and Coding : Estimation and decision theory 26 Gaussiaanse observatie

27 Advanced Modulation and Coding : Estimation and decision theory 27 Gaussiaanse observatievector r = s(x) + w w ~ N c (0, 2  2 I K ) logaritmische kansfunctie : Notatie : termen onafhankelijk van x zijn irrelevant m.b.t. schatten van x

28 Advanced Modulation and Coding : Estimation and decision theory 28 Continue-tijd Gaussiaanse observatie r(t) = s(t;x) + w(t) w(t) ~ N c (0, N 0  (u-v))

29 Advanced Modulation and Coding : Estimation and decision theory 29 Continue-tijd Gaussiaanse observatie Meerdere observaties (voorbeeld : meerdere antennes aan ontvanger) r n (t) = s n (t;x) + w n (t) w n (t) ~ N c (0, N 0,n  (u-v)) (n = 0,..., N- 1)

30 Advanced Modulation and Coding : Estimation and decision theory 30 Cramer-Rao grens

31 Advanced Modulation and Coding : Estimation and decision theory 31 Cramer-Rao grens r ~ N c (s(x), 2  2 I N ), x reële continue parameter 1) Schatting van x, zonder p(x) te benutten Stel : “echte” (unbiased) schatting : FIM : voor alle x benchmark voor MSE ML schatting : wanneer N   of  2  0

32 Advanced Modulation and Coding : Estimation and decision theory 32 Cramer-Rao grens 2) Schatting van x, met benutten van p(x) benchmark voor MSE MAP schatting : wanneer N   of  2  0 J T = J P + E x [J] J : FIM (bijdrage a priori informatie) 3) CRB voor complexe x = x R + jx I : CRB toepassen op x’ = (x R T, x I T ) T

33 Advanced Modulation and Coding : Estimation and decision theory 33 Voorbeelden

34 Advanced Modulation and Coding : Estimation and decision theory 34 Decodering bij transmissie over binair symmetrisch kanaal encoder : b  c =  (b) b : k informatiebitsc : n gecodeerde bits BSC : foutprobabiliteit p (p < 1/2)r : ontvangen n-bit woord alle informatiebitsequenties b even waarschijnlijk 1) MAP (ML) detectie van b 2) MAP (ML) detectie van b i (i = 1,..., k) Beschouwde decisiecriteria:

35 Advanced Modulation and Coding : Estimation and decision theory 35 Decodering bij transmissie over binair symmetrisch kanaal 1) MAP (ML) detectie van b Hamming-afstand minimalisatie van Hamming afstand tussen ontvangen woord en codewoord maximalisatie over 2 k mogelijke bitsequenties  in het algemeen : complexiteit ~ 2 k

36 Advanced Modulation and Coding : Estimation and decision theory 36 Decodering bij transmissie over binair symmetrisch kanaal 2) MAP (ML) detectie van b i (i = 1,..., k) - som van 2 k-1 termen  in het algemeen : complexiteit ~ 2 k - eenvoudige (benaderde) berekening mogelijk via factorgraaf (zie later) i = 1,..., k k zeer eenvoudige maximalisaties (b i kan slechts twee waarden aannemen)

37 Advanced Modulation and Coding : Estimation and decision theory 37 Decodering bij transmissie over AWGN kanaal r = a + w w ~ N c (0,  2 I K ) encoder + mapper : b  c  a =  (b) b : k informatiebitsc : n gecodeerde bits alle sequenties b even waarschijnlijk a : K datasymbolen, behorend tot constellatie met M = 2 m punten (K = n/m) 1) MAP (ML) detectie van b 2) MAP (ML) detectie van b i (i = 1,..., k) Beschouwde decisiecriteria:

38 Advanced Modulation and Coding : Estimation and decision theory 38 Decodering bij transmissie over AWGN kanaal 1) MAP (ML) detectie van b kwadratische Euclidische afstand minimalisatie van Euclidische afstand tussen ontvangen woord en toelaatbare datasequentie maximalisatie over 2 k mogelijke informatiebitsequenties  in het algemeen : complexiteit ~ 2 k

39 Advanced Modulation and Coding : Estimation and decision theory 39 Decodering bij transmissie over AWGN kanaal 2) MAP (ML) detectie van b i (i = 1,..., k) - som van 2 k-1 termen  in het algemeen : complexiteit ~ 2 k - eenvoudige (benaderde) berekening mogelijk via factorgraaf (zie later) i = 1,..., k k zeer eenvoudige maximalisaties (b i kan slechts twee waarden aannemen)

40 Advanced Modulation and Coding : Estimation and decision theory 40 Fase-estimatie bij transmissie van pilootsymbolen over AWGN kanaal r = aexp(j  ) + w  : onbekende fase, uniform over (- ,  ) a : gekende symboolvector (N pilootsymbolen met |a(n)| 2 = E s ) w ~ N c (0,N 0 I N ) MAP (of ML) schatting : in dit voorbeeld : analytische maximalisatie van a posteriori probabiliteit

41 Advanced Modulation and Coding : Estimation and decision theory 41 Fase-estimatie bij transmissie van pilootsymbolen over AWGN kanaal Cramer-Rao grens r = s(  + ws(  = aexp(j  ) FIM is scalair Cramer-Rao grens :

42 Advanced Modulation and Coding : Estimation and decision theory 42 Detectie in aanwezigheid van onbekende parameters

43 Advanced Modulation and Coding : Estimation and decision theory 43 Detectie in aanwezigheid van onbekende parameters encoder + mapper : b  c  a =  (b) onbekende parameter x, onafhankelijk van b : p(x, b) = p(x)p(b) observatie r, kansfunctie p(r | a =  (b), x)

44 Advanced Modulation and Coding : Estimation and decision theory 44 Detectie in aanwezigheid van onbekende parameters 1) Stel waarde van x a priori gekend door ontvanger : x = x 0  p(x|r) =  (x-x 0 ) 2) Waarde van x niet gekend aan ontvanger : onderstel p(x|r) vertoont scherp maximum over x Zelfde detector als bij gekende x, maar gebruik schatting van x i.p.v. de correcte waarde

45 Advanced Modulation and Coding : Estimation and decision theory 45 Detectie in aanwezigheid van onbekende parameters Voorbeeld : r = aexp(j  ) + w  : onbekende fase, uniform over (- ,  ) a =  (b), met b een onbekende informatiebitsequentie w ~ N c (0,N 0 I N )

46 Advanced Modulation and Coding : Estimation and decision theory 46 Estimatie in aanwezigheid van onbekende symbolen

47 Advanced Modulation and Coding : Estimation and decision theory 47 Estimatie in aanwezigheid van onbekende symbolen b bevat k informatiebits  som bestaat uit 2 k termen  complexiteit ~ 2 k Complexiteit kan omzeild worden door gebruik te maken van “expectation-maximization” (EM) algoritme

48 Advanced Modulation and Coding : Estimation and decision theory 48 EM algoritme - MAP schatting van x gebeurt door middel van iteraties - Generatie van sequentie van schattingen : i = 0, 1, 2,... - per iteratie twee stappen : E-stap en M-stap - E-stap (expectation) - M-stap (maximization) - schatting convergeert naar stationair punt van p(x|r), dus niet noodzakelijk naar het globaal maximum (invloed van initiële schatting)

49 Advanced Modulation and Coding : Estimation and decision theory 49 EM algoritme Voorbeeld r = aexp(j  ) + w  : onbekende fase, uniform over (- ,  ) a =  (b), met b een onbekende informatiebitsequentie; |a(n)| 2 = E s (M-PSK) w ~ N c (0,N 0 I N ) a posteriori verwachtings- waarde van a(k) marginale a posteriori waarschijnlijkheid (E-stap)

50 Advanced Modulation and Coding : Estimation and decision theory 50 EM algoritme Voorbeeld (vervolg) (M-stap) onbekende symbolen worden vervangen door hun a posteriori verwachtingswaarden, die worden gebruikt alsof ze de correcte waarde van de datasymbolen voorstellen

51 Advanced Modulation and Coding : Estimation and decision theory 51 EM algoritme Voorbeeld (vervolg) Berekening a posteriori distributie van a(n) - som van ongeveer 2 k termen - efficiënte (benaderde) berekening door detector, d.m.v. factorgraaf in geval van niet-gecodeerde transmissie :

52 Advanced Modulation and Coding : Estimation and decision theory 52 EM algoritme Voorbeeld (vervolg) Ontvangerstructuur detector x r EM algorithm