the Dutch Guild of Multi-Media Engineers 09-10-2008

Multi Channel Audio voor (HD) Video the Dutch Guild of Multi-Media Engineers Peter Schut Chief Technical Officer – Axon Digital Design 09-10-2008

Waarom deze presentatie Omdat Hank van de Loo mij weer wist te strikken voor een klusje bij ‘de Guild’ Audio is het ondergeschoven kind in de video industrie Vooral met de introductie van HD gaat er het een en ander veranderen Vooral meerkanaals audio is een uitdaging waar vele extra zaken onder controle gehouden moeten worden. 09-10-2008

PCM, het SD-SDI embedded tijdperk Dolby E Agenda PCM, het SD-SDI embedded tijdperk Dolby E Metadata RP2020 Dolby Digital DialNorm Upmixing Dolby Digital plus AAC+ (Dolby Pulse) 09-10-2008

PCM de originele embedded domein standaard 15 jaar geleden bestond embedded audio uit 4 PCM kanalen, (2x AES/EBU – groep 1) Dit was de standaard hoofdzakelijk gevormd door de Sony Digi-Betacam Het NOB was een ‘early adaptor’ met een MCR en infrastructuur volledig embedded. De trade-off opgedragen door Gerrit de Nooijer was 5000 gulden back to back, anders was een separate audio laag interessanter Vandaag de dag is embedded audio de normaalste zaak van de wereld 09-10-2008

Dolby E 09-10-2008

Er ontstond een vraag naar meer audio kanalen De Digi-Beta triggerde met zijn limiet van 4 audio kanalen een nieuwe uitdaging. Dolby E was een aardig alternatief om meerdere audio kanalen in een bestaande infrastructuur te gebruiken De compatibiliteit met metadata voor meer kanalen surround was een additionele plus, maar in eerste instantie niet de belangrijkste reden van het gebruik van Dolby E 09-10-2008

Dolby E is een AES/EBU compatibel signaal Wat is Dolby E Dolby E is een AES/EBU compatibel signaal De meeste AES/EBU transport apparatuur is transparant (no SRC) Het heeft meestal video framerate van 25 of 30Hz Het is meestal 20 bits @ 48kHz 8 mono kanalen passen in een Dolby E stroom Extra features Zeer hoge kwaliteit die meerdere encodeer en decodeer slagen toelaat. Zeer robuust bij schakelen in video Zeer uitgebreide metadata en tijdcode 09-10-2008

Encoderen en decoderen Tot 10 encodeer/decodeer slagen Naadloos switchen Sync T/C Audio Encode Metadata M u x 4 AES pairs D e m Decode 09-10-2008

Door de ruime data rates is Dolby E redelijk transparant Dolby E data rates Door de ruime data rates is Dolby E redelijk transparant Bit Depth 24 bits 20 bits 16 bits Program Config 5.1 + stereo four stereo 5.1 three stereo Channel Data Rate 308 kbps 274 kbps 257 kbps 228 kbps 286 kbps 243 kbps 09-10-2008

Dolby E bij editen of schakelen Elk Dolby E frame correspondeert met een video frame Een ‘guard band’ voorziet in een safe area voor schakelen in de stroom of tussen 2 stromen. 09-10-2008

Dolby E bij editen of schakelen Bij PCM zal het schakelen in de stroom de audio samples verminken De Dolby E ‘guard-band’ beschermt de audio data 09-10-2008

Dolby E naadloze crossfade Cross fades worden automatisch door de decoder ondersteund door een overlap functie van 5ms Seamless splice 09-10-2008

Dolby E Metadata De Dolby E metadata bevat (consumer-) informatie om de Dolby Digital encoder in de transmissie te sturen Deze metadata zal uiteindelijk de set-top box of surround decoder instellen Dolby E Decoder Dolby Digital Encoder metadata 09-10-2008

Deze metadata is een geintegreerd onderdeel van Dolby E Dolby E Metadata Deze metadata is een geintegreerd onderdeel van Dolby E Dolby E encoders en decoders kunnen die metadata manipuleren Encoders kunnen omgaan met errors in metadata Als een decoder geen Dolby E ziet maar PCM, kan hij naar een preset omschakelen die de juiste metadata genereert Er zijn twee metadata categorieën Consumer metadata voor de transmissie van Dolby Digital (plus) Professionele metadata voor het transmissie systeem 09-10-2008

Dolby E Metadata velden Consumer metadata fields: Channel configuration Dialogue normalization value Dynamic range compression values Other Dolby Digital control parameters Professional metadata fields: Program configuration Video frame rate SMPTE time code Channel gain words Channel meter values 1 set per program 1 set per Dolby E stream 1 set per channel 09-10-2008

Dolby E encoding en decoding kent een frame vertraging Dolby E Latency Dolby E encoding en decoding kent een frame vertraging Het decoderen kan in principe korter, maar zal nooit laag genoeg zijn om het te kunnen verwaarlozen Om deze reden, een video frame delay 09-10-2008

Voor de metadata is er nu ook een alternatief: To E or not to E? Dolby E was in eerste instantie nodig omdat de gebruikte apparatuur niet compatibel was met meer dan 2 AES/EBU stromen Ten 2e was het gebruik van metadata een enorm voordeel in deze ‘multi-channel’ toepassingen Het nadeel zijn de encodeer en decodeer slagen die speciale hardware vergen, en de bijkomende vertragingen van een frame per coding slag. Apparatuur kan nu vaak wel 8 mono kanalen of meer aan, dus waarom nog Dolby E? Voor de metadata is er nu ook een alternatief: RP2020 09-10-2008

Embedded data pakketten bevatten deze metadata Nadeel: RP2020 RP2020 is een standaard die voorziet in het transporteren van Metadata binnen de blanking van het video signaal. Het gebruikt deze VBI ruimte op een manier vergelijkbaar met tijdcode in de HD wereld. Embedded data pakketten bevatten deze metadata Nadeel: Veel apparatuur niet transparant Geen harde koppeling tussen audiodata en metadata Op dit moment nog niet echt praktisch toepasbaar 09-10-2008

Dolby Digital 09-10-2008

Analoge audio Dolby Digital bij film 35mm Film: Dolby Digital soundtrack Tussen de sprocket gaten Analoge audio 09-10-2008

Cinema Home Bioscoop - Thuis Gedefinieerd luister volume Gekalibreerd op 85dBc front, 82dBc rear Gebruiker bepaalt volume Afspeel apparatuur kan volledige dynamiek aan Minimale standaards zij gedefinieerd Alles mogelijk tussen een koptelefoon en vloerstaande speakers 5.1 audio wordt altijd als 5.1 afgespeeld 7.1 digitale home theaters tot draagbare mono TVs 09-10-2008

Data over audio data die beschrijft en controleert Dolby audio metadata Data over audio data die beschrijft en controleert Is een onderdeel van elke Dolby E en Dolby Digital stroom (ook Dolby Digital plus en binnenkort Dolby Pulse) Compatibel met > 1 miljard afspeel apparaten DOLBY DIGITAL DECODER ENCODER USER SET-UP AUDIO DATA DATA STREAM METADATA 09-10-2008

Welke specs moest Dolby Digital hebben? Het leveren van een betere kwaliteit! Een betere frequentie karakteristiek Groter dynamisch bereik De gemiddelde luidheid zou constant moeten zijn!!! Meer aan het einde van deze presentatie Compatibel met alle reeds bestaande afspeel apparatuur Mono TV’s Stereo TV’s Pro-Logic home cinema's Maar ook Digitale home cinema's 09-10-2008

Het leveren van een betere kwaliteit! Dolby Digital encoding algoritme is 24bit S/N voor Dolby Digital is >110dB 09-10-2008

Compatibel met alle reeds bestaande afspeel apparatuur Een aansluiting voor alle opties System Connection Mono TV RF Input Stereo TV SCART Pro-Logic home cinema Line level RCA ingangen Digital home cinema Co-Axial of Optical digital input (tegenwoordig ook HDMI) 09-10-2008

Een consumenten receiver DTV Analogue TV RF Out Line Digital Audio System 09-10-2008

Het downmix proces + + + + ? L R Lo Ro INSIDE DECODER C C mix LS S mix RS S mix LFE ? NOT USED 09-10-2008

Verandert niet de gecodeerde code Dynamiek controle Verandert niet de gecodeerde code Gain wordt berekend in de encoder, maar wordt toegepast in de decoder Alle kanalen worden samen behandeld Verschillende type programma's hebben verschillende DRC karakteristieken Attack/release times Compression slopes/thresholds 09-10-2008

Dynamiek controle Full Range Signal Line Level Outputs RF Output dBFS -10 -20 -30 -40 -50 -60 -70 -80 09-10-2008

Downmix voor alle uitgangen DOLBY DIGITAL ENCODER A SINGLE BITSTREAM DELIVERED TO MANY RECEIVERS PASS THROUGH SET-TOP BOX 5.1 HOME THEATER Lt / Rt DOWNMIX PRO LOGIC HI-FI VCR STEREO STEREO, HEADPHONES MONO TV RF REMOD 09-10-2008

Is dit een stereo mix matrix encoded? Audio production information Andere metadata Channel mode en LFE Is dit 5.1 or stereo? Dolby Surround mode Is dit een stereo mix matrix encoded? Audio production information Mix level Room type Zie ‘A Guide to Dolby Metadata’ verkrijgbaar op www.dolby.com voor alle details 09-10-2008

Upmixing 2.0 naar 5.1 09-10-2008

Hiervoor is een upmixing proces gemaakt In transmissie is het schakelen tussen 2.0 (stereo PCM) en 5.1 een lastige zaak. Hiervoor is een upmixing proces gemaakt Deze zorgt voor een constante 5.1 transmissie, zelfs als de bron 2.0 is Linear Acoustic is een van de pioneers op dit vlak Binnenkort ook verkrijgbaar bij Axon  09-10-2008

Upmixing 09-10-2008

Dolby Digital Plus 09-10-2008

Zowel een professioneel als consumer formaat Dolby Digital plus Zowel een professioneel als consumer formaat Voor de consument de manier om 7.1 in transmissie of op een optische drager te krijgen (BlueRay) Hogere compressie, of betere kwaliteit bij gelijke bandbreedte Metadata structuur gelijk aan Dolby Digital Dolby Digital plus gaat hand in hand met MPEG4/H264 Verplicht in Frankrijk bij HD transmissie Kan meerdere audio stromen bevatten (audio description) Makkelijk te transcoderen naar AC3 voor compatibiliteit 09-10-2008

AAC+ (omgedoopt naar Dolby Pulse) 09-10-2008

Dolby Pulse is AAC in een Dolby Digital plus jasje Door de aankoop van Coding Technologies is de zeer efficiënte AAC+ nu in handen van Dolby Dolby Pulse is AAC in een Dolby Digital plus jasje Net geïntroduceerd op IBC We zullen zien ….. 09-10-2008

DialNorm 09-10-2008

De gemiddelde luidheid zou constant moeten zijn !!! dBFS Leq(A) Leq(A) is een lange termijn gemiddelde meting van de luidheid van geluid Leq(A) gebruikt A-weighting om de frequentie curve van het oor te simuleren Oorspronkelijke gebruikers: samplen het programma een paar seconden Passen het volume aan tot het goed is Dolby Digital gebruikt Dialogue Normalisation (DialNorm) om verschillen te corrigeren bij het afspelen 09-10-2008

Wat is DialNorm? -24 -20 dBFS 0 dBFS -10 dBFS -30 dBFS -40 dBFS AVERAGE DIALOGUE SIGNAL PEAKS Digital Full Scale -50 dBFS -24 09-10-2008

Wat is DialNorm? -20 dBFS 0 dBFS -10 dBFS -30 dBFS -40 dBFS DIALOGUE LOUDNESS AT -31 dBFS Digital Full Scale -50 dBFS WITH DIALOG NORMALIZATION PROGRAM LEVEL SHIFTED -7 dB AVERAGE DIALOGUE SIGNAL PEAKS 09-10-2008

Enkele typische audio signalen -27 ACTION FILM DRAMA SPORTS CLASSICAL ROCK NEWS ADS -24 -21 -20 -10 -7 AVERAGE DIALOGUE SIGNAL PEAKS 0 dBFS -10 dBFS -20 dBFS -30 dBFS -40 dBFS Here the different types of program material are labeled with the appropriate “dialnorm” value which is sent to the receiver along with the program material. Giving each program its on value of dialnorm allows it to be produced and recorded or transmitted with the optimum amount of headroom for the specific program material, This allows the best usage of the recording or transmission medium, without compromising the program. 09-10-2008

Hoe worden die uitgezonden? ACTION FILM DRAMA SPORTS CLASSICAL ROCK NEWS ADS AVERAGE DIALOGUE SIGNAL PEAKS 0 dBFS -10 dBFS -20 dBFS -30 dBFS -40 dBFS Here the different types of program material are labeled with the appropriate “dialnorm” value which is sent to the receiver along with the program material. Giving each program its on value of dialnorm allows it to be produced and recorded or transmitted with the optimum amount of headroom for the specific program material, This allows the best usage of the recording or transmission medium, without compromising the program. 09-10-2008

Enkele typische audio signalen -27 ACTION FILM DRAMA SPORTS CLASSICAL ROCK NEWS ADS -24 -21 -20 -10 -7 AVERAGE DIALOGUE SIGNAL PEAKS 0 dBFS -10 dBFS -20 dBFS -30 dBFS -40 dBFS Here the different types of program material are labeled with the appropriate “dialnorm” value which is sent to the receiver along with the program material. Giving each program its on value of dialnorm allows it to be produced and recorded or transmitted with the optimum amount of headroom for the specific program material, This allows the best usage of the recording or transmission medium, without compromising the program. 09-10-2008

Uitgezonden met Dolby Digital ACTION FILM DRAMA SPORTS CLASSICAL ROCK NEWS ADS AVERAGE DIALOGUE SIGNAL PEAKS 0 dBFS -10 dBFS -20 dBFS -30 dBFS -40 dBFS Here the different types of program material are labeled with the appropriate “dialnorm” value which is sent to the receiver along with the program material. Giving each program its on value of dialnorm allows it to be produced and recorded or transmitted with the optimum amount of headroom for the specific program material, This allows the best usage of the recording or transmission medium, without compromising the program. 09-10-2008

Dank U peter.schut@axon.tv 09-10-2008