1 Video Multimedia Rein van den Boomgaard Universiteit van Amsterdam

2 data explosion 1200 lines x 1600 pixels per line RGB, 24 bit (3 bytes) per color pixel Total uncompressed (raw) size is 5.8 Mbyte 36 photo’s film: 200 Mbyte (about 1/3 of a CD-ROM)‏ Download time: 1.5 hours (GSM); 12 minutes (ISDN/56k); 46 second (ADSL); 5 seconds (slow IntraNet); <1 second (fast IntraNet)‏

3 data explosion 576 lines x 720 pixels per line YUV, 16 bit (2 bytes) per color pixel Total uncompressed (raw) size per frame is 830 kByte 1 hour of video 75 GByte Download time: 16 hours (slow IntraNet); 2 hours (fast IntraNet)‏

4 compressie minimaliseer bitrate in de digitale representatie van het video signaal waarbij: signaal (beeld) kwaliteit behouden blijft codec niet te complex vertragingen in codec minimaal en voorspelbaar

5 compressie ■ lossless compression: ■ lossy compression: CoderDecoder signal in signal out bit rate

6 compressie afwegingen efficientie (bpp, bpf)‏ lage bitrate gewenst signaal (beeld) kwaliteit zo klein mogelijk complexiteit (MIPS, geheugen) codec vertragingen instantaan afspelen van video stream

7 video compressie observaties spatiele correlatie naburige pixels zijn vaak gelijk spectrale correlatie R,G,B beelden vertonen grote overeenkomsten temporele correlatie pixels in verschillende frames vertonen overeenkomsten perceptuele redundantie het menselijk oog ziet niet alles

8 lossless codering ■ omkeerbaar: dus codering zonder verlies ■ voorbeelden: entropie codering (gebaseerd op kansen van voorkomen)  run length codering  Hufman codering  Arithmetische codering ■ toepassingen: video editing

9 lossy codering onomkeerbaar proces de gedecodeerde data is niet gelijk aan de originele data kwaliteit is afhankelijk van de compressie methode vb bron codering

10 hybrid coding ■ combineert entropie met bron codering ■ gebruikt in bijna alle gangbare video codecs  JPEG  MPEG-1  MPEG-2  MPEG-4

11 compressie ratio ■ sterk bepaald door de kwaliteit van de video input data:  ruis is moeilijk te coderen (daarom ook worden oude films “opgeknapt” voordat ze op DVD worden gezet)  resolutie (spatieel en temporeel)  quantisatie (bits per pixel)‏

12 ontwerp keuzes ■ lossy versus lossless ■ compressie factor ■ fixed of variable compressie factor ■ bestand tegen transmissiefouten ■ complexiteit van codec  vergelijk DVD versus WebCam

13 resolutie verminderen

14 resolutie verminderen

15 aantal kleuren verminderen 24 bit ( different colors)‏

16 aantal kleuren verminderen 8 bit (256 different colors)‏ Compression factor 3

17 aantal kleuren verminderen 6 bit (64 different colors)‏ Compression factor 4

18 aantal kleuren verminderen 4 bit (16 different colors)‏ Compression factor 6

19 aantal kleuren verminderen 1 bit (2 different colors)‏ Compression factor 24

20 PCM (pulse code modulation) ‏ ■ Quantize the signal level into a fixed number of bits Q f f'

21 prediction coding ■ meaningful signals are often highly predictable:  from the behaviour in the past, the future signal values can be aproximated

22 prediction coding  f(n) =f(n)-f(n-1)‏ f(n) =f(n-1)+  f(n)‏

23 difference coding ■ M is a memory module (time delay)‏  d(n)=f(n)-f(n-1)‏ Q f d' M + - d

24 predictive coding f M + - d + f M +

25 predictive coding f M f' M + Q

26 predictive coding f M f' M + Q

27 Neighboring Pixels are Correlated Locally there is little variation in color. If you know one pixel intensity, you can make a fair prediction about its neighbors

28 DPCM on Images Variance = 2700 Variance = 340 Differential Pulse Code Modulation

29 Original (in Gray Value) ‏

30 DPCM - Q: 4 bit/pixel

31 DPCM - Q: 3 bit/pixel

32 DPCM - Q: 2 bit/pixel

33 DPCM - Q: 1 bit/pixel You may not like this picture, but compare to this one …

34 PCM - Q: 1 bit/pixel

35 DPCM - Q: 1 bit/pixel

36 MPEG video codering ■ Kleur codering ■ Spatiele resolutie vermindering ■ Prediction Coding ■ Bron codering ■ Entropy Coding

37 MPEG Kleur ■ RGB kanalen zijn sterk gecorreleerd ■ Decorrelatie in YCbCr kleur systeem:  Y = R G B  Cb = B - Y  Cr = R - Y ■ Quantizatie in YUV kleursysteem  veelal 16 bits voor YUV tezamen

38 MPEG resolutie ■ Sample Y at full resolution ■ Sample U and V at reduced resolution  example: 4:2:2 Video Coding Y Y Y Y Y U. U. U V. V. V Y Y Y Y Y U. U. U V. V. V Y Y Y Y Y U. U. U V. V. V ■ This works because of the way the human eye works

39 prediction coding ■ de pixel waardes f(x,y,t) voor vaste x,y kunnen met prediction coding worden gecodeerd ■ waarom zal dit niet goed werken in de praktijk?

40 prediction coding ■ om weinig verandering van waarde f te krijgen in difference signal moeten we het pixel 'volgen' in de tijd: MOTION COMPENSATION ■ Motion compensation per pixel (optical flow) is te duur voor video: blocks!

41 motion compensation ■ macro blok van 16x16 pixels ■ search window is niet vastgelegd in standaard  wat voor invloed heeft dit op kwaliteit van de codec?

42 bron codering ■ het differene signaal (van het motion compensated signaal) wordt met een JPEG achtig algorithme gecodeerd  ook in difference signaal kunnen we perceptueel zonder al te verlies de nadruk leggen op de lagere frequenties  evenals in JPEG worden ook hier de AC coefficienten van de DCT runlength gecodeerd en wordt een entropy coding (Hufman) gebruikt voor de bit allocatie

43 MPEG encoder

44 MPEG decoder

45 GOPS ■ Don't do difference coding for a long period of time !  why not?

46 GOPS ■ Don't do difference coding for a long period of time ! (robustness and random access) ■ At regular intervals encode a video frame with JPEG: the I-FRAMES ■ In between the I-frames predictive coding can be used  MPEG distinguishes:  P-frames (predict from the past)  B-frames ('predict' from past and future...)‏

47 video compressie standards ■ Broadcast (high bit rate)‏  MPEG-1  MPEG-2 ■ Video conferentie (low bit rate)‏  H.261  H.262 ■ Interactief  MPEG-4

48 H.261 ■ ontworpen voor video telefoon en video conferentie over ISDN ■ bitrate: n x 64kbps ■ QCIF (172x144)‏ ■ CIF (352x288)‏ ■ Codering  DCT a la JPEG  Blok gebaseerde motion compensatie

49 H.263 ■ low bit rate applicaties ■ 10 – 384 kbps ■ SQCIF (128x96) – 16CIF (1408x1152)‏ ■ codering lijkt op H.261

50 MPEG-1 ■ ontworpen voor VHS video kwaliteit op CD-ROM ■ 1.5 Mbps ■ codering als H.261 met  random access van frames  snel vooruit / achteruit

51 MPEG-2 ■ ontworpen voor 'broadcast' kwaliteit ■ HDTV ■ 2 Mbps en hoger ■ gebruikt in o.a. DVD

52 nadelen ■ geen universeel formaat voor zowel locale opslag als streaming ■ geen interactie ■ MPEG-4: meer dan alleen video... ■ MPEG-7: ? ■ and more..