Download de presentatie
De presentatie wordt gedownload. Even geduld aub
GepubliceerdTania Willems Laatst gewijzigd meer dan 10 jaar geleden
1
1 Video Multimedia Rein van den Boomgaard Universiteit van Amsterdam
2
2 data explosion 1200 lines x 1600 pixels per line RGB, 24 bit (3 bytes) per color pixel Total uncompressed (raw) size is 5.8 Mbyte 36 photo’s film: 200 Mbyte (about 1/3 of a CD-ROM) Download time: 1.5 hours (GSM); 12 minutes (ISDN/56k); 46 second (ADSL); 5 seconds (slow IntraNet); <1 second (fast IntraNet)
3
3 data explosion 576 lines x 720 pixels per line YUV, 16 bit (2 bytes) per color pixel Total uncompressed (raw) size per frame is 830 kByte 1 hour of video 75 GByte Download time: 16 hours (slow IntraNet); 2 hours (fast IntraNet)
4
4 compressie minimaliseer bitrate in de digitale representatie van het video signaal waarbij: signaal (beeld) kwaliteit behouden blijft codec niet te complex vertragingen in codec minimaal en voorspelbaar
5
5 compressie ■ lossless compression: ■ lossy compression: CoderDecoder signal in signal out bit rate
6
6 compressie afwegingen efficientie (bpp, bpf) lage bitrate gewenst signaal (beeld) kwaliteit zo klein mogelijk complexiteit (MIPS, geheugen) codec vertragingen instantaan afspelen van video stream
7
7 video compressie observaties spatiele correlatie naburige pixels zijn vaak gelijk spectrale correlatie R,G,B beelden vertonen grote overeenkomsten temporele correlatie pixels in verschillende frames vertonen overeenkomsten perceptuele redundantie het menselijk oog ziet niet alles
8
8 lossless codering ■ omkeerbaar: dus codering zonder verlies ■ voorbeelden: entropie codering (gebaseerd op kansen van voorkomen) run length codering Hufman codering Arithmetische codering ■ toepassingen: video editing
9
9 lossy codering onomkeerbaar proces de gedecodeerde data is niet gelijk aan de originele data kwaliteit is afhankelijk van de compressie methode vb bron codering
10
10 hybrid coding ■ combineert entropie met bron codering ■ gebruikt in bijna alle gangbare video codecs JPEG MPEG-1 MPEG-2 MPEG-4
11
11 compressie ratio ■ sterk bepaald door de kwaliteit van de video input data: ruis is moeilijk te coderen (daarom ook worden oude films “opgeknapt” voordat ze op DVD worden gezet) resolutie (spatieel en temporeel) quantisatie (bits per pixel)
12
12 ontwerp keuzes ■ lossy versus lossless ■ compressie factor ■ fixed of variable compressie factor ■ bestand tegen transmissiefouten ■ complexiteit van codec vergelijk DVD versus WebCam
13
13 resolutie verminderen
14
14 resolutie verminderen 1 4 1664
15
15 aantal kleuren verminderen 24 bit (16777200 different colors)
16
16 aantal kleuren verminderen 8 bit (256 different colors) Compression factor 3
17
17 aantal kleuren verminderen 6 bit (64 different colors) Compression factor 4
18
18 aantal kleuren verminderen 4 bit (16 different colors) Compression factor 6
19
19 aantal kleuren verminderen 1 bit (2 different colors) Compression factor 24
20
20 PCM (pulse code modulation) ■ Quantize the signal level into a fixed number of bits Q f f'
21
21 prediction coding ■ meaningful signals are often highly predictable: from the behaviour in the past, the future signal values can be aproximated
22
22 prediction coding f(n) =f(n)-f(n-1) f(n) =f(n-1)+ f(n)
23
23 difference coding ■ M is a memory module (time delay) d(n)=f(n)-f(n-1) Q f d' M + - d
24
24 predictive coding f M + - d + f M +
25
25 predictive coding f M + - + f' M + Q
26
26 predictive coding f M + - + f' M + Q
27
27 Neighboring Pixels are Correlated Locally there is little variation in color. If you know one pixel intensity, you can make a fair prediction about its neighbors
28
28 DPCM on Images Variance = 2700 Variance = 340 Differential Pulse Code Modulation
29
29 Original (in Gray Value)
30
30 DPCM - Q: 4 bit/pixel
31
31 DPCM - Q: 3 bit/pixel
32
32 DPCM - Q: 2 bit/pixel
33
33 DPCM - Q: 1 bit/pixel You may not like this picture, but compare to this one …
34
34 PCM - Q: 1 bit/pixel
35
35 DPCM - Q: 1 bit/pixel
36
36 MPEG video codering ■ Kleur codering ■ Spatiele resolutie vermindering ■ Prediction Coding ■ Bron codering ■ Entropy Coding
37
37 MPEG Kleur ■ RGB kanalen zijn sterk gecorreleerd ■ Decorrelatie in YCbCr kleur systeem: Y = 0.299 R + 0.587 G + 0.114 B Cb = B - Y Cr = R - Y ■ Quantizatie in YUV kleursysteem veelal 16 bits voor YUV tezamen
38
38 MPEG resolutie ■ Sample Y at full resolution ■ Sample U and V at reduced resolution example: 4:2:2 Video Coding Y Y Y Y Y U. U. U V. V. V Y Y Y Y Y U. U. U V. V. V Y Y Y Y Y U. U. U V. V. V ■ This works because of the way the human eye works
39
39 prediction coding ■ de pixel waardes f(x,y,t) voor vaste x,y kunnen met prediction coding worden gecodeerd ■ waarom zal dit niet goed werken in de praktijk?
40
40 prediction coding ■ om weinig verandering van waarde f te krijgen in difference signal moeten we het pixel 'volgen' in de tijd: MOTION COMPENSATION ■ Motion compensation per pixel (optical flow) is te duur voor video: blocks!
41
41 motion compensation ■ macro blok van 16x16 pixels ■ search window is niet vastgelegd in standaard wat voor invloed heeft dit op kwaliteit van de codec?
42
42 bron codering ■ het differene signaal (van het motion compensated signaal) wordt met een JPEG achtig algorithme gecodeerd ook in difference signaal kunnen we perceptueel zonder al te verlies de nadruk leggen op de lagere frequenties evenals in JPEG worden ook hier de AC coefficienten van de DCT runlength gecodeerd en wordt een entropy coding (Hufman) gebruikt voor de bit allocatie
43
43 MPEG encoder
44
44 MPEG decoder
45
45 GOPS ■ Don't do difference coding for a long period of time ! why not?
46
46 GOPS ■ Don't do difference coding for a long period of time ! (robustness and random access) ■ At regular intervals encode a video frame with JPEG: the I-FRAMES ■ In between the I-frames predictive coding can be used MPEG distinguishes: P-frames (predict from the past) B-frames ('predict' from past and future...)
47
47 video compressie standards ■ Broadcast (high bit rate) MPEG-1 MPEG-2 ■ Video conferentie (low bit rate) H.261 H.262 ■ Interactief MPEG-4
48
48 H.261 ■ ontworpen voor video telefoon en video conferentie over ISDN ■ bitrate: n x 64kbps ■ QCIF (172x144) ■ CIF (352x288) ■ Codering DCT a la JPEG Blok gebaseerde motion compensatie
49
49 H.263 ■ low bit rate applicaties ■ 10 – 384 kbps ■ SQCIF (128x96) – 16CIF (1408x1152) ■ codering lijkt op H.261
50
50 MPEG-1 ■ ontworpen voor VHS video kwaliteit op CD-ROM ■ 1.5 Mbps ■ codering als H.261 met random access van frames snel vooruit / achteruit
51
51 MPEG-2 ■ ontworpen voor 'broadcast' kwaliteit ■ HDTV ■ 2 Mbps en hoger ■ gebruikt in o.a. DVD
52
52 nadelen ■ geen universeel formaat voor zowel locale opslag als streaming ■ geen interactie ■ MPEG-4: meer dan alleen video... ■ MPEG-7: ? ■ and more..
Verwante presentaties
© 2024 SlidePlayer.nl Inc.
All rights reserved.