Wat is informatie? Informatiekunde – F. Truyen. Wat is informatie? Van Dale: –1 [g.mv.] alles wat als bericht, als overdracht van kennis iets of iem.

Presentatie over: "Wat is informatie? Informatiekunde – F. Truyen. Wat is informatie? Van Dale: –1 [g.mv.] alles wat als bericht, als overdracht van kennis iets of iem."— Transcript van de presentatie:

1 Wat is informatie? Informatiekunde – F. Truyen

2 Wat is informatie? Van Dale: –1 [g.mv.] alles wat als bericht, als overdracht van kennis iets of iem. bereikt –2 inlichting –3 [g.mv.] het zich verschaffen van kennis of inzicht

3 Claude Shannon

4

5

6 Informatieoverdracht transmitter receiver message kanaal

7 Shannon’s communicatiemodel

8 Signaal, teken en symbool Een signaal is een onderdeel van een communicatie. M.a.w. via signalen kan je een boodschap overbrengen Een teken veronderstelt een verband met het betekende: donder is een teken van bliksem Bij een symbool berust dit verband op afspraak: we komen overeen dat iets voor iets anders staat (representatie): cijfers zijn symbolen voor getallen

9 Entropie als informatiemaat Informatie wordt uitgedrukt als de mate van voorspelbaarheid van elke verstuurde boodschap. Hoe lager de voorspelbaarheid, hoe hoger de entropie

10 Binaire keuzes Indien er n mogelijkheden zijn, is de maat van informatie log 2 n; I.c. log 2 8 = 3. Men moet dus maar 3 keuzes maken om de acht mogelijkheden te voorspellen.

11 Coderen van informatie methode A Codering 1 van M in S MS A00 B01 C10 D11

12 Coderen van informatie methode B Codering 2 van M in S Freq.MS 50%A0 25%B10 12,5%C110 12,5%D111

13 Vergelijking van A en B Vergelijking CharacterVoorkomstenLengte code 1Lengte code 2 A6012060 B3060 C153045 D153045 Totalen120240210

14 Huffmancodering

15 Informatiemaat (entropie) Gebeurtenis: o I(s) = log 2 n /* Indien alle n even wschl. */ o I(s i ) = log 2 1/p(s i ) /* surprisal value */ Informatie bij verzender: I(s) =  ( p(s i ). I(s i ) )

16 Voorbeeld Muntstuk geeft op 10 worpen 5 x kop (1) o p(s 1 ) = 0.5 o p(s 0 ) = 0.5 Surprisal value: o I(s 1 ) = log 2 1/0.5 = 1 bit o I(s 0 ) = log 2 1/0.5 = 1 bit I(s) =  ( p(s i ). I(s i ) ) o (0.5. 1) + (0.5. 1) = 1 bit

17 Voorbeeld Ongebalanceerd muntstuk geeft op 10 worpen 9 x kop (1) o p(s 1 ) = 0.9 o p(s 2 ) = 0.1 Surprisal value: o I(s 1 ) = log 2 1/0.9 = 0.15 bit o I(s 2 ) = log 2 1/0.1 = 3.32 bit I(s) =  ( p(s i ). I(s i ) ) o (0.9. 0.15) + (0.1. 3.32) = o 0.135 + 0.332 = 0.467 bit

18 Informatie bij ontvanger I s (r) = I(r) – ruis I s (r) = I(s) – ambivalentie

19