ELIS – Multimedia Lab Enkele trends in multimedia Foutbestendigheid en adaptiviteit in H.264/AVC (AVC = Advanced Video Coding) Wesley De Neve, Peter Lambert Rik Van de Walle Multimedia Lab vakgroep Elektronica en Informatiesystemen faculteit Ingenieurswetenschappen Universiteit Gent – IBBT

2/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Overzicht Inleiding H.264/AVC –basisprincipes videocodering –situering standaard –foutbestendigheid –adaptiviteit XML-gedreven adaptatie Demo Conclusies

3/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Overzicht Inleiding H.264/AVC –basisprincipes videocodering –situering standaard –foutbestendigheid –adaptiviteit XML-gedreven adaptatie Demo Conclusies

4/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Situering (1/2) Wereld van multimediale informatie –tekst –afbeeldingen –geluid –video

5/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Situering (2/2) Raadplegen multimediale informatie –via verschillende types toestellen PC PDA digitale TV mobiele telefoon –via verschillende types netwerken bedraad (xDSL, kabel,...) draadloos (WiFi, UMTS,...)

6/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Probleemstelling Aanbieders van multimediale informatie –willen een zo groot mogelijk publiek bereiken Eindgebruikers –willen transparante toegang tot multimediale informatie Probleem –diversiteit bemoeilijkt consumptie multimediale informatie verschillende mediaformaten, toestellen en netwerken aanbieders eindgebruikers diversiteit

7/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Doelstelling Realisatie van universele multimediatoegang –ongeacht het gebruikte toestel –ongeacht het gebruikte netwerk –ongeacht tijd en locatie Door gebruik te maken van –foutbestendige bitstromen –schaalbare bitstromen en een complementair adaptatiesysteem eindgebruikers adaptatiesysteem aangepaste bitstroom aanbieders schaalbare bitstroom

8/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 ruimtelijke schaalbaarheid originele schaalbare videostroom temporele schaalbaarheid Schaalbare videostromen Eigenschappen –laten eenvoudige aanpassingen toe bv. beeldsnelheid, resolutie, kwaliteit via knip- en plakbewerkingen in het gecomprimeerd domein –hebben een gelaagde structuur hoe meer lagen kunnen verwerkt worden, hoe beter de kwaliteit kwaliteitsschaalbaarheid

9/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Overzicht Inleiding H.264/AVC –basisprincipes videocodering –situering standaard –foutbestendigheid –adaptiviteit XML-gedreven adaptatie Demo Conclusies

10/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Overzicht Inleiding H.264/AVC –basisprincipes videocodering –situering standaard –foutbestendigheid –adaptiviteit XML-gedreven adaptatie Demo Conclusies

11/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Basisprincipes videocodering Digitale video –discrete opeenvolging van beelden Voorbeeld: 2 uur film op televisieresolutie (720x576) –2 x 3600 (sec.) x 25 (beelden) x 720x576 x 3 bytes = ~223 Gigabytes Nood aan videocompressie! 3 bytes per pixel RGB = (160,116,84)

12/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Basisprincipes videocodering Digitale videocodering –stelt deze massa aan gegevens compact voor Uitbuiten van redundantie in digitale video –naburige pixels hebben gelijkaardige waarden –opeenvolgende beelden zijn sterk gelijkaardig –enkel de relatieve verschillen (voorspellingen) worden gecodeerd Gevolg –gecodeerde digitale videodata bevatten veel afhankelijkheden –problemen indien data verloren gaan tijdens transmissie bv. netwerkproblemen, netwerkcapaciteit ontoereikend, … sleutelbeeld B-verschilbeeldP-verschilbeeldB-verschilbeeld tijd...

13/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Overzicht Inleiding H.264/AVC –basisprincipes videocodering –situering standaard –foutbestendigheid –adaptiviteit XML-gedreven adaptatie Demo Conclusies

14/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Situering H.264/AVC-standaard H.264/AVC – Advanced Video Coding (MPEG-4 Part 10) –internationale standaard voor digitale videocodering 1998: H.26L-project van VCEG (ITU-T) 2001: samenwerking tussen MPEG en VCEG (onstaan JVT) 2003: gestandaardiseerd door ISO/IEC en ITU-T –doelstellingen verbeteren van de compressie-efficiëntie –tot tweemaal beter doen dan vorige standaarden –relatief t.o.v. H.262/MPEG-2 Video, H.263, en MPEG-4 Visual netwerkvriendelijke representatie –gericht op mobiele (draadloze) netwerken en het Internet –aandacht voor foutbestendigheid eenvoudige syntaxspecificatie –gemakkelijk te implementeren door bedrijven

15/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Situering H.264/AVC-standaard H.264/AVC – Advanced Video Coding –toepassingen videoconferentie digitale cinema digitale televisie online videodiensten opslag op DVD –één van de verplicht te ondersteunen codeerformaten op HD-DVD en Blu-Ray Disc –momenteel heel wat implementaties beschikbaar bv. Apple Quicktime, Nero Digital, x264, …

16/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Compressie-efficiëntie Vergelijking van H.264/AVC met andere recente videocodecs –Windows Media Video 9 ontwikkeld door Microsoft ingediend voor standaardisatie bij SMPTE –standaard VC-1 (SMPTE 421M) VC-1 is verplicht bij de nieuwe generatie DVD's –DivX 5.1 ontwikkeld door DivXNetworks, Inc. gebaseerd op MPEG-4 Visual –ontstaan als 'hack' op de Microsoft MPEG-4 Version 3 video codec wordt aanzien als de 'MP3' van de video

17/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Compressie-efficiëntie Vergelijking van H.264/AVC met andere recente video codecs –XviD ontstaan als open source project –broncode is gratis gebaseerd op MPEG-4 Visual –MC-EZBC Motion-Compensated Embedded Zero-tree Block Coding geen 'commerciële' codec gebaseerd op wavelets volledig schaalbaar een bitstroom kan heel eenvoudig aangepast worden zodat de resolutie, beeldsnelheid of kwaliteit vermindert

18/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Compressie-efficiëntie Relatie tussen visuele kwaliteit en graad van compressie Meten van videokwaliteit –subjectief: met testpubliek duur, tijdrovend –objectief: aan de hand van formules eenvoudig uit te voeren, maar geen 100% garantie voor overeenkomst met 'werkelijke' kwaliteit Hier enkel objectieve metingen –twee metrieken PSNR: Peak Signal-to-Noise Ratio JND: Just Noticeable Difference –twee videostromen worden beeld per beeld vergeleken –gemiddelde score voor elke videostroom

19/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Compressie-efficiëntie PSNR – illustratie Relatie tussen compressie en kwaliteit: Rate-Distortion curves –basis voor vergelijking van videocodecs origineel 3733 bytes 38,3 dB 2030 bytes 33,4 dB 787 bytes 26,4 dB

20/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Compressie-efficiëntie Rate-Distortion curves bitsnelheid laaghoog Codec A Codec B 22 dB (slecht) 42 dB (goed) 32 dB (gemiddeld) 1 JND (goed) 6 JND (slecht) 3 JND (gemiddeld)

21/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Compressie-efficiëntie Overzicht test –6 testsequenties van 300 beelden –2 resoluties: 176x144 en 352x288 –30 bitsnelheden 20, 40, … 100, 200, …, 2600 kbits/s –totaal 1800 videostromen Veel aandacht voor de constructie van een correcte vergelijking –parameters encoders –operaties elimineren die impact hebben op kwaliteitsmetingen bv. conversies tussen kleurenruimtes

22/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Compressie-efficiëntie Resultaten –H.264/AVC presteert over de ganse lijn duidelijk beter dan alle andere codeerschema's –gemiddelde winst van H.264/AVC t.o.v. DivX 5.1: 40%

23/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Overzicht Inleiding H.264/AVC –basisprincipes videocodering –situering standaard –foutbestendigheid –adaptiviteit XML-gedreven adaptatie Demo Conclusies

24/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Foutrobuustheid H.264/AVC bevat heel wat mogelijkheden voor robuuste codering –een vereiste van bij het begin van de ontwikkeling –error resilience (foutbestendigheid/foutrobuustheid) impact transmissiefouten op visuele kwaliteit minimaliseren verlies van data 'minder erg' maken encoderaspect (normatief) –error concealment (foutverhulling) verbergen van fouten gemakkelijker maken decoderaspect (niet-normatief; punt van concurrentie voor bedrijven) Foutbestendigheid in H.264/AVC –Flexible Macroblock Ordering – FMO weinig ondersteund door commerciële implementaties bv. Elecard ondersteunt FMO type 1 –datapartitionering (zie uitleg adaptiviteit)

25/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Foutrobuustheid Flexible Macroblock Ordering –laat toe om macroblokken in willekeurige volgorde te coderen –concept slice-groepen vormt uitbreiding op traditionele 'slices' –sterke verbetering foutrobuustheid verhoogde efficiëntie van mogelijke foutverberging Voorbeeld (FMO type 1)

26/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Foutrobuustheid Flexible Macroblock Ordering –laat toe om macroblokken in willekeurige volgorde te coderen –concept slice-groepen vormt uitbreiding op traditionele 'slices' –sterke verbetering foutrobuustheid verhoogde efficiëntie van mogelijke foutverberging Voorbeeld (FMO type 1)

27/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Foutrobuustheid Verbeterde foutverberging in vergelijking met traditionele slices traditionele slices FMO beide gevallen: 5% data verloren

28/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Foutrobuustheid Gebruik van FMO leidt tot een lagere compressie-efficiëntie –afstand tussen macroblokken vergroot (zie dambordpatroon) slechtere voorspellingen –creatie van extra grenzen (slices, slice-groepen) verbreken van context voor entropiecodering

29/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Overzicht Inleiding H.264/AVC –basisprincipes videocodering –situering standaard –foutbestendigheid –adaptiviteit XML-gedreven adaptatie Demo Conclusies

30/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Adaptatiemogelijkheden Eerste versie H.264/AVC –codering en extractie van interessegebieden flexibele macroblokordening (FMO) –kwaliteitsschaalbaarheid (ruwe vorm) datapartitionering –temporele schaalbaarheid hiërarchische codeerpatronen Scalable Video Coding (SVC) –toevoeging ondersteuning voor ruimtelijke schaalbaarheid kwaliteitsschaalbaarheid –betrokken bedrijven Thomson, Nokia, Microsoft, Samsung,.... kwaliteits- schaalbaarheid. ruimtelijke schaalbaarheid SVC (2007). flexibele macroblokordening. datapartitionering. temporele schaalbaarheid H.264/AVC (2003)

31/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 ROI-gebaseerde adaptiviteit Interessegebieden of ROIs –Region of Interest –deel van het beeld dat interessanter of belangrijker is dan andere delen van het beeld bv. bewegende personen bij videobewaking –automatisch bepaald bij moderne toepassingen –hier werden alle ROIs handmatig bepaald op voorhand

32/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 ROI-gebaseerde adaptiviteit Mogelijkheden van ROI-codering –ROI-codering gebruiken als basis voor adaptatie –voorbeeld enkel de achtergrond aanpassen of verwijderen het verminderen van de benodigde bandbreedte H.264/AVC heeft geen expliciete voorzieningen om interessegebieden te coderen Doelstelling is het ontwikkelen van methodes in H.264/AVC voor –ROI-codering –ROI-gebaseerde adaptatie

33/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 ROI-gebaseerde adaptiviteit FMO laat toe om macroblokken in willekeurige volgorde te coderen FMO type 2 definieert rechthoekige gebieden –bruikbaar voor interessegebieden slice-groep 0 slice-groep 1 slice-groep 2 SPSPPSNALU … … afzonderlijk gecodeerde parameters met o.a. configuratie FMO

34/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 ROI-gebaseerde adaptiviteit Methode voor ROI-codering in de context van H.264/AVC –laat toe om maximaal 7 interessegebieden te coderen –heeft een beperkte kost in termen van extra bits typisch 2% –laat dynamisch veranderende ROIs toe grootte, aantal, positie –is volledig conform de H.264/AVC-standaard Gecodeerde data van ROI en achtergrond daadwerkelijk gescheiden –extra mogelijkheden voor transmissie, adaptatie en robuustheid

35/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 ROI-gebaseerde adaptiviteit Het feit dat ROIs nu afzonderlijk gecodeerd zitten in de videostroom laat toe om de stroom selectief te adapteren –ontwikkeling methodes om ROI-codering uit te buiten –raamwerk om deze adaptaties uit te voeren in ware tijd Adaptatie op basis van –netwerkcapaciteit, schermresolutie, rekenkracht van toestel, … videoserver toestel adaptatienode ROI-gecodeerde videostroom aangepaste videostroom

36/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 ROI-gebaseerde adaptiviteit Methode 1: verschillende kwaliteitsniveaus binnen en buiten ROIs –eerder traditioneel gebruik van ROIs analoge functionaliteit in bv. JPEG2000 –kwaliteit wordt bepaald door de encoder kennis van ROIs kan gebruikt worden om de bits beter te verdelen tussen ROIs en achtergrond –een breed gamma van bitsnelheden kan bereikt worden door de kwaliteit van de achtergrond te variëren –voorbeeld: vermindering van bitsnelheid met 48%

37/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 ROI-gebaseerde adaptiviteit Methode 2: weglaten van de achtergrond –adaptatienode moet voor elk pakket uitmaken of het tot één van de ROIs behoort –deze beslissing is mogelijk door een berekening op basis van gegevens in de zgn. slice header nummer van het eerste macroblok van elke slice de pakketten moeten vrij diep geanalyseerd worden –nadeel: aangepaste bitstroom is niet langer conform H.264/AVC decoder ervaart dit als pakketverlies nood aan foutverberging SPSPPSNALU … … SPSPPSNALU …

38/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 ROI-gebaseerde adaptiviteit Methode 2: voorbeeld

39/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 ROI-gebaseerde adaptiviteit Methode 3: Invoegen van placeholder slices –achtergrondslices vervangen door andere gecodeerde data in plaats van ze te verwijderen analoge verwerking in een adaptatiemodule –placeholder slices zijn een soort dummy-beelden die eigenlijk geen gecodeerde videodata bevatten de decoder moet gewoon data uit een vorig beeld herhalen heel compacte representatie zeer goed omschreven en eenvoudige verwerking –voordelen de geadapteerde videostroom blijft volledige conform de standaard decoder weet niet dat de bitstroom aangepast werd aanzienlijke daling in bitsnelheid minder benodigde rekenkracht

40/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 ROI-gebaseerde adaptiviteit Methode 3: Invoegen van placeholder slices – illustratie –originele videostroom –aangepaste videostroom –achtergrond blijft dezelfde voor een aantal opeenvolgende beelden visuele artefacten indien veel beweging

41/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 ROI-gebaseerde adaptiviteit Methode 3: Invoegen van placeholder slices – voorbeeld veel beweging 54% minder bits 40% snellere decodering statische achtergrond en camera 40% minder bits 8% snellere decodering

42/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 laag A laag B Datapartitionering Functionaliteit –foutbestendigheid videostroom verhogen (tegen pakketverlies) –ruwe vorm van kwaliteitsschaalbaarheid opdeling van videostroom in 3 lagen van belangrijkheid inspelen op schommelingen beschikbare netwerkbandbreedte laag A laag B laag C

43/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Hiërarchische codeerpatronen Functionaliteit –organiseren gecodeerde beelden in lagen van afhankelijkheden –temporele schaalbaarheid inspelen op schommelingen beschikbare netwerkbandbreedte beperken decodeercomplexiteit B5B5 B8B8 B6B6 B7B7 24 Hz B3B3 B4B4 12 Hz B2B2 6 Hz I0I0 P1P1 3 Hz

44/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Overzicht Inleiding H.264/AVC –basisprincipes videocodering –situering standaard –foutbestendigheid –adaptiviteit XML-gedreven adaptatie Demo Conclusies

45/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 XML-gedreven adaptatie Universele multimediatoegang –foutbestendige bitstromen –schaalbare bitstromen en een complementair adaptatiesysteem Tekstuele beschrijvingen –worden gebruikt voor het aansturen van het adaptatiesysteem –bevatten informatie over de structuur van een schaalbare bitstroom –nemen de vorm aan van XML-documenten Eng. eXtensible Markup Language eindgebruikers adaptatiesysteem aangepaste bitstroom aanbieders schaalbare bitstroom beschrijving

46/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Principes XML-gedreven adaptatie I-beeld B-beeld P-beeld t Bitstream Syntax Description (BSD) gecomprimeerde bitstroom aangepaste bitstroom geschikt voor consumptie in een gebruiksomgeving onderhevig aan beperkingen (bv. PDA met beperkte rekenkracht)

47/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Motivatie XML-gedreven adaptatie (1/3) Beschrijvingen verbergen de complexiteit van de opbouw van een schaalbare bitstroom –laten toe om op een eenvoudige manier na te denken over een schaalbare bitstroom in termen van pakketten en lagen payloadheader … … videostroom opgebouwd uit “bits en bytes” videostroom opgebouwd uit “pakketten en lagen”

48/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Motivatie XML-gedreven adaptatie (2/3) Beschrijvingen verschuiven de complexiteit van het adaptatieproces van het gecomprimeerd domein naar het XML domein –hergebruik software voor verwerking XML-documenten –integratie met andere metadatastandaarden (bv. MPEG-7) maken zogenaamde “intelligente” adaptaties mogelijk bv. selecteren van sportnieuws in een nieuwsuitzending

49/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 eindgebruiker aanbieder SVC- videostroom JPEG afbeelding BSAC- audiostroom Motivatie XML-gedreven adaptatie (3/3) Beschrijvingen maken de ontwikkeling van een formaatonafhankelijk adaptatiesysteem voor schaalbare bitstromen mogelijk adaptatiecomponent voor SVC aangepaste videostroom digitale video (bv. SVC) afbeeldingen (bv. JPEG 2000) adaptatiecomponent voor JPEG 2000 aangepaste afbeelding digitale audio (bv. MPEG-4 BSAC) adaptatiecomponent voor MPEG-4 BSAC aangepaste audiostroom formaatonafhankelijk adaptatiesysteem SVC- videostroom + BSD BSAC- audiostroom + BSD JPEG afbeelding + BSD

50/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Beschikbare technologieën MPEG-21 BSDL –Bitstream Syntax Description Language –onderdeel van het MPEG-21-multimediaraamwerk beoogt het transparent uitwisselen van multimediale informatie – XFlavor –Formal Language for Audio-Visual Object Representation, extended with XML features –openbronproject met vrij beschikbare broncode en documentatie – BSDL en XFlavor hebben verschillende voorzieningen voor het –omzetten van de bitstroomstructuur naar een XML-beschrijving –aanmaken van een aangepaste bitstroom via een getransformeerde XML-beschrijving

51/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Efficiënte BSD-creatie met BFlavor technologiecreatie BSDdetail BSD MPEG-21 BSDL traag, geheugenintensief compact, hoog niveau XFlavor snel, geheugenefficiënt gedetailleerd, laag niveau BFlavor (BSDL + XFlavor) –aanpassing van XFlavor voor snelle en geheugenefficiënte creatie van compacte BSDs, conform met MPEG-21 BSDL – BFlavor snel, geheugenefficiënt compact, hoog niveau

52/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Geoptimaliseerde BSD-gedreven adaptatieketting aangepaste bitstroom BSDL’s BSDtoBin Parser I P schaalbare bitstroom I B B P getransfor- meerde BSD XSLT BSD BSDL’s BintoBSD Parser BFlavor-gedreven parser 1. BSD-creatie: vervang BSDL’s BintoBSD Parser door BFlavor twee fundamentele verbeteringen: STX 2. BSD-transformatie: vervang XSLT door STX (al bestaande technologie) geoptimaliseerde adaptatieketting: 1. BSD-creatie: BFlavor 2. BSD-transformatie: STX 3. creatie aangepaste bitstroom: BSDL’s BSDtoBin

53/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 BSD-gedreven uitbuiting temporele schaalbaarheid B5B5 B8B8 B6B6 B7B7 24 Hz beelden in de bovenste laag worden verwijderd => halvering van de beeldsnelheid B3B3 B4B4 12 Hz B2B2 6 Hz I0I0 P1P1 3 Hz

54/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Prestatiemetingen snelheid: 91 beelden/s grootte: 33 MB snelheid: 233 beelden/s tekstuele grootte: 43 MB gecomprimeerd: 326 KB snelheid: 167 beelden/s tekstuele grootte: 22 MB gecomprimeerd: 154 KB creatie BSD, transformatie BSD, creatie aangepaste bitstroom minimale snelheid: 91 beelden/s gezamenlijk geheugengebruik: 3.5 MB redundantie tekstuele BSDs: 100% resolutie: 848x352 beeldsnelheid: 24 Hz grootte: 43 MB geheugengebruik: 0.7 MB geheugengebruik: 1.2 MB geheugengebruik: 1.6 MB getransfor- meerde BSD BSD-transformatie met STX schaalbare bitstroom BSD BFlavor-gedreven parser aangepaste bitstroom BSDL’s BSDtoBin Parser resolutie: 848x352 beeldsnelheid: 12 Hz

55/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Overzicht Inleiding H.264/AVC –basisprincipes videocodering –situering standaard –foutbestendigheid –adaptiviteit XML-gedreven adaptatie Demo Conclusies

56/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Overzicht Inleiding H.264/AVC –basisprincipes videocodering –situering standaard –foutbestendigheid –adaptiviteit XML-gedreven adaptatie Demo Conclusies

57/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Conclusies (1/2) Universele toegang tot multimediale informatie –gebruik van foutbestendige bitstromen geschikt voor gebruik in foutgevoelige netwerken –gebruik van schaalbare bitstromen eenvoudig aan te passen aan beperkingen gebruikscontext –gebruik van een beschrijvingsgedreven adaptatiesysteem daadwerkelijk aanpassen van schaalbare bitstromen H.264/AVC –opkomende standaard voor digitale videocompressie doet tot tweemaal beter in termen van compressie-efficiëntie bv. gemiddeld 40% beter dan DivX 5.1 (MPEG-4 Visual) –overzicht mogelijkheden foutbestendigheid flexibele macroblokordening (FMO) datapartionering

58/58 ELIS – Multimedia Lab Enkele trends in multimedia - Foutbestendigheid en adaptiviteit in H.264/AVC Wesley De Neve, Peter Lambert, Rik Van de Walle 17 april 2007 Conclusies (2/2) H.264/AVC –overzicht mogelijkheden tot adaptatie FMO voor codering en extractie van interessegebieden datapartitionering voor ruwe vorm van kwaliteitsschaalbaarheid hiërarchische codeerpatronen voor temporele schaalbaarheid Scalable Video Coding (SVC) XML-gedreven adaptie –beweegredenen laat toe om na te denken in hoog-niveauconcepten hergebruik van bestaande software voor verwerking XML-documenten mogelijkheid tot integratie met andere metadatastandaarden laat ontwikkeling toe van formaatonafhankelijke adaptatielogica –mogelijk met MPEG-21 BSDL, XFlavor en BFlavor