Wat is informatie? Informatiekunde – F. Truyen
Wat is informatie? Van Dale: –1 [g.mv.] alles wat als bericht, als overdracht van kennis iets of iem. bereikt –2 inlichting –3 [g.mv.] het zich verschaffen van kennis of inzicht
Claude Shannon
Informatieoverdracht transmitter receiver message kanaal
Shannon’s communicatiemodel
Signaal, teken en symbool Een signaal is een onderdeel van een communicatie. M.a.w. via signalen kan je een boodschap overbrengen Een teken veronderstelt een verband met het betekende: donder is een teken van bliksem Bij een symbool berust dit verband op afspraak: we komen overeen dat iets voor iets anders staat (representatie): cijfers zijn symbolen voor getallen
Entropie als informatiemaat Informatie wordt uitgedrukt als de mate van voorspelbaarheid van elke verstuurde boodschap. Hoe lager de voorspelbaarheid, hoe hoger de entropie
Binaire keuzes Indien er n mogelijkheden zijn, is de maat van informatie log 2 n; I.c. log 2 8 = 3. Men moet dus maar 3 keuzes maken om de acht mogelijkheden te voorspellen.
Coderen van informatie methode A Codering 1 van M in S MS A00 B01 C10 D11
Coderen van informatie methode B Codering 2 van M in S Freq.MS 50%A0 25%B10 12,5%C110 12,5%D111
Vergelijking van A en B Vergelijking CharacterVoorkomstenLengte code 1Lengte code 2 A B3060 C D Totalen
Huffmancodering
Informatiemaat (entropie) Gebeurtenis: o I(s) = log 2 n /* Indien alle n even wschl. */ o I(s i ) = log 2 1/p(s i ) /* surprisal value */ Informatie bij verzender: I(s) = ( p(s i ). I(s i ) )
Voorbeeld Muntstuk geeft op 10 worpen 5 x kop (1) o p(s 1 ) = 0.5 o p(s 0 ) = 0.5 Surprisal value: o I(s 1 ) = log 2 1/0.5 = 1 bit o I(s 0 ) = log 2 1/0.5 = 1 bit I(s) = ( p(s i ). I(s i ) ) o (0.5. 1) + (0.5. 1) = 1 bit
Voorbeeld Ongebalanceerd muntstuk geeft op 10 worpen 9 x kop (1) o p(s 1 ) = 0.9 o p(s 2 ) = 0.1 Surprisal value: o I(s 1 ) = log 2 1/0.9 = 0.15 bit o I(s 2 ) = log 2 1/0.1 = 3.32 bit I(s) = ( p(s i ). I(s i ) ) o ( ) + ( ) = o = bit
Informatie bij ontvanger I s (r) = I(r) – ruis I s (r) = I(s) – ambivalentie