Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar Tel: 09/ Fax: 09/

© W. Philips, Universiteit Gent, versie: 11/10/ b. 2 Copyright notice This powerpoint presentation was developed as an educational aid to the renewed course “Image processing” (Beeldverwerking), taught at the University of Gent, Belgium as of This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom, provided that the following conditions are observed: 1.If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, ” in a font size of at least 10 point on each slide; 2.You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a file); 3. If you modify the presentation, you should clearly state so in the presentation; 4.You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation should not intend to make or make a profit from the activity for which you use or distribute the presentation; 5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author. In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also applies to the modified work (i.e., you may not charge for it). “Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to students or employees for self-teaching purposes,... Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s consent. A fee may be charged for such use. Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may contain bugs that might corrupt the data or the operating system on your computer. If you use this presentation, I would appreciate being notified of this by . I would also like to be informed of any errors or omissions that you discover. Finally, if you have developed similar presentations I would be grateful if you allow me to use these in my course lectures. Prof. dr. ir. W. Philips Department of Telecommunications and Information ProcessingFax: University of GentTel: St.-Pietersnieuwstraat 41, B9000 Gent, Belgium

Kleuren, en hun synthese

© W. Philips, Universiteit Gent, versie: 11/10/ b. 4 Uitgangssignalen van de kegeltjes: (op de “log” na) Kleursynthese door additieve kleurmenging Besluit: in principe (als A inverteerbaar is) kan men elk gewenst stel zenuwsignalen ( r 1, r 2, r 3 ) en dus elke kleurindruk nabootsen door een gepaste ( R, G, B ) aan te leggen De primairen zijn volledig bepaald door hun spectra I R ( f ), I G ( f ) en I B ( f ) Als A inverteerbaar is

© W. Philips, Universiteit Gent, versie: 11/10/ b. 5 cym Subtractieve kleurmenging Subtractieve kleurmenging werkt met wit licht waarvan een deel wordt weggefilterd door gekleurde, transparante lagen cyaan filter: laat groen en blauw door, absorbeert rood magenta filter:laat rood en blauw door, absorbeert groen geel filter: laat rood en groen door, absorbeert blauw (witte) lichtbron filters uitgestraald spectrum: mcy Multiplicatief proces: de transmissiespectra zijn (frequentieafhankelijke) verzwakkingsfactoren die met elkaar vermenigvuldigd worden De verzwakking neemt toe met de diktes c, m en y van de inktlagen

© W. Philips, Universiteit Gent, versie: 11/10/ b. 6 Kleursynthese: samenvatting Additieve kleurmenging: het nabootsen van kleuren d.m.v. superpositie van een aantal lichtbronnen spectrum is de som van de spectra van de bronnen Voorbeelden: TV-monitoren, druktechnieken met dekkende inkt, …. Subtractieve kleurmenging: het nabootsen van kleuren door het wegfilteren van een deel van het spectrum van wit licht d.m.v. opeenvolgende filters multiplicatief proces: lichtspectrum is product van de transmissiespectra van de filters (en het spectrum van het wit licht) Voorbeelden: fotografie, drukprocédés met niet-dekkende (transparante) inkten Opmerkingen: typische drukprocédés zijn hybried (subtractief/additief) en gebruiken bijkomende inkten (b.v. zwart)

© W. Philips, Universiteit Gent, versie: 11/10/ b. 7 De kleuraanpassingsfuncties r( f ), g( f ) en b( f ) zijn de kleuraanpassingsfuncties de waarden van R, G, en B die men moet aanleggen om een spectrale (monochromatische) lichtbron met frequentie f exact na te bootsen Belang: met de kleuraanpassingsfuncties kan men berekenen welke waarden van R, G, en B men moet aanleggen om een willekeurige lichtbron met spectrum I( f ) na te bootsen: ze hangen uiteraard af van de primairen I R ( f ), I G ( f ) en I B ( f ) 1. Regel R, G, B af tot zelfde kleurindruk wordt verkregen 2. Definieer: r( f 0 ) = R, g( f 0 ) = G, b( f 0 )= B Experiment: 3. Herhaal voor andere f 0 Monochromatische bron

© W. Philips, Universiteit Gent, versie: 11/10/ b. 8 Willekeurige lichtbron Origineel spectrumGereproduceeerd spectrum =

© W. Philips, Universiteit Gent, versie: 11/10/ b. 9 Willekeurige lichtbron Een lichtspectrum is de lineaire superpositie van monospectrale lichtbronnen kegeltjes respons voor monospectrale bron nagebootste (exact gelijke) kegeltjes respons met additieve kleurmenging benodigde R voor reproductiebenodigde G benodigde B

© W. Philips, Universiteit Gent, versie: 11/10/ b. 10 Gamutproblemen bij de CIE-RGB-primairen nm golflengte 700 nm tristimuluswaarden 436 nm 546 nm Kleuraanpassingsfuncties bij RGB Probleem: het experiment lukt niet bij sommige frequenties Voorbeeld: met de CIE RGB- primairen kan men een spectrale bron met = 500 nm niet nabootsen De kleuraanpassingsfuncties kunnen in dit geval toch nog worden gemeten! Reden: om de gepaste kegeltjes- signalen te veroorzaken zouden R = -0.09, G = 0.09, en B= 0.05 moeten zijn en men kan de licht- intensiteit niet negatief maken

© W. Philips, Universiteit Gent, versie: 11/10/ b. 11 Kleuraanpassingsexperiment Eerste poging: probeer de lichtbron X na te bootsen door een gepaste superpositie van R, G en B Tweede poging: indien de eerste poging niet lukt, plaats dan één of meerdere van de bronnen R, G en B langs de kant van X en kies R, G en B zodat de superpositie van b.v. X en R visueel niet kan worden onderscheiden van de superspositie van G en B eerste poging tweede poging

© W. Philips, Universiteit Gent, versie: 11/10/ b Gamutproblemen De verzameling van de nabootsbare kleuren, d.w.z., de kleuren met positieve coördinaten R,G,B, noemt men de gamut van het weergavesysteem: De gamut hangt af van de gekozen primaire kleuren Verschillende weergavetechnieken hebben verschillende gamuts: een TV-scherm kan b.v. niet dezelfde kleuren weergeven als een laserjet  dit is een belangrijk probleem in de drukwereld Kegeltjessignalen reprodu- ceerbaar met de gamut: Lichtbronnen met één of meerdere negatieve RGB coordinaten zijn niet reproduceerbaar De corresponderende “kleuren” behoren niet tot de gamut

© W. Philips, Universiteit Gent, versie: 11/10/ b. 13 Kleurenruimten en kleurtransformaties Afgezien van het Gamut-probleem, vormen de kleuren die men met een bepaald stel primairen kan voorstellen een driedimensionale kleurenruimte Bij elk stel primairen hoort een ander stel kleurcoördinaten kegeltjesrespons coördinaten in ruimte 1 coördinaten in ruimte 2 Transformatie tussen kleurenruimten: Opmerking: de matrixkan worden bepaald door van drie goedgekozen kleuren de RGB1 en RGB2 coordinaten te bepalen (met een kleuraanpassingsexperiment)

© W. Philips, Universiteit Gent, versie: 11/10/ b. 14 Standaarden voor kleurspecificatie Probleem: hoe kan men een kleur (niet een lichtspectrum!) op een objectieve manier specificeren? Oplossing: standaardiseer de primairen specificeer de kleurcoördinaten t.o.v. deze primairen Probleem: geen enkel stel primairen heeft een voldoend groot gamut om alle kleuren te reproduceren I( f )r( f ) I( f ) foto- detector in feite is een standaardprocedure voor het meten van kleuren praktischer dan een procedure voor het reproduceren ervan (geen mens nodig om te beoordelen of de kleur dezelfde is!) Betere oplossing: standaardiseer de kleuraanpassingsfuncties kleuraanpassingsfuncties r( f ), g( f ), b( f ) kunnen worden gerealiseerd als optische (kleuren-) filters, tenminste als ze positief zijn!  men definieert meteen ook een meetapparaat:

© W. Philips, Universiteit Gent, versie: 11/10/ b. 15 De XYZ-kleurenruimte De CIE heeft een stel kleuraanpassingsfuncties x( f ), y( f ) en z( f ) gedefinieerd met de volgende vereisten: XYZ-coördinaten van een bron I(f)  x ( f ), y ( f ) en z ( f ) positief voor alle f  Y is een luminantiemaat realiseerbaar als optische filters Voor uniform wit licht is X=Y=Z Bronnen met dezelfde Y worden door het oog als even helder waargenomen

© W. Philips, Universiteit Gent, versie: 11/10/ b. 16 wordt de CIE-luminantie genoemd De CIE-luminantie Opmerking: uit de vereisten volgt automatisch dat y( f ) evenredig is met de spectrale gevoeligheid S 2 ( f ) van de “luminantie”-kegeltjes (deze die gevoelig zijn voor geelgroen); zie appendix (zelfstudie) log( Y ) is evenredig met de door het menselijk oog waargenomen helderheid I’

© W. Philips, Universiteit Gent, versie: 11/10/ b. 17 De xyz-kleurencoördinaten spectrale (monochromatische) kleuren 660 nm 700 nm 500 nm 400 nm Men definieert xyz- chromaticiteitscoördinaten, die onafhankelijk zijn van de intensiteit: % rood % groen De xy-ruimte is convex  alle kleuren liggen binnen het “hoefijzer”! (zie appendix: zelfstudie) x y X=Y=Z HDTV wit Gamut van HDTV HDTV rood HDTV groen HDTV blauw

© W. Philips, Universiteit Gent, versie: 11/10/ b. 18 Pantone kleuren Gamut kleurenmonitor Gamut CMYK-printer De xy-kleurendriehoek Opmerkingen bij druktechnieken gebruikt men regelmatig bijkomende inkten om het gamut uit te breiden (pantone, goud,…) de spectrale kleuren liggen aan de rand: waarom? de kleuren in deze figuur kunnen niet kloppen!

© W. Philips, Universiteit Gent, versie: 11/10/ b. 19 Kleurtint en saturatie (HSV-ruimte) Bij constante helderheid Y wordt de kleurindruk volledig bepaald door de chromaticiteitscoördinaten x en y Definities Value: Helderheid:  Y Hue: Kleurtint:  Saturation: Saturatie: r (de afstand tot “wit”) Opmerking: er bestaan ook andere definities van H, S en V, b.v. gebaseerd op genormaliseerde RGB -coördinaten i.p.v. CIE-coördinaten x y

© W. Philips, Universiteit Gent, versie: 11/10/ b. 20 Saturatie-aanpassing De-saturatie origineel gede-satureerd X=Y=Z x y kleur

© W. Philips, Universiteit Gent, versie: 11/10/ b. 21 Saturatie-aanpassing Saturatie origineel 100% gesatureerd X=Y=Z x y kleur

© W. Philips, Universiteit Gent, versie: 11/10/ b. 22 Kleurtintaanpassing Tintaanpassing correspondeert met een rotatie origineel Tintaanpassing rood  cyaan X=Y=Z x y kleur

© W. Philips, Universiteit Gent, versie: 11/10/ b. 23 De MacAdam-ellipsen De xy-ruimte is sterk niet uniform: de afstand in deze ruimte correspondeert niet met het waargenomen kleurverschil MacAdam-ellipsen: kleuren binnen deze ellipsen kan men niet onderscheiden 600 nm 540 nm 460 nm 500 nm y x Opmerking: de werkelijke ellipsen zijn veel kleiner!

© W. Philips, Universiteit Gent, versie: 11/10/ b. 24 De L * a * b * kleurenruimte Spectraal filter y(f) Spectraal filter z(f) Spectraal filter x(f) De L * a * b * -ruimte is veel uniformer: X 0, Y 0 en Z 0 zijn de XYZ- coördinaten van welbepaald wit referentielicht (achtergrondlicht), cfr.: luminantie  log( Y ) Let op: dit zijn benaderende formules!

© W. Philips, Universiteit Gent, versie: 11/10/ b De L * a * b * kleurenruimte... X 0, Y 0 en Z 0 zijn de XYZ-coördinaten van welbepaald wit referentielicht in de praktijk worden ze meestal gelijk gekozen aan de intensiteit van het blad papier waarop de kleuren gedrukt worden  X/X 0, Y/Y 0 en Z/Z 0 zijn dan de reflectantie van de gedrukte kleurvlakken omwille van de compensatie-effecten in het visueel systeem (cfr. uitgebreide wet van Weber) is het ook logischer om met deze relatieve intensiteiten te werken De L*a*b* ruimte is perceptueel uniformer, maar de uniformiteit is minder goed bij zeer donkere en zeer heldere intensiteiten Derde-machtswortel (L*a*b*) v.s. “log” (visueel systeem) verklaring: de “log” volgt uit de wet van Weber, maar de wet van Weber is een zeer ruwe benadering die geen rekening houdt met b.v. omgevingslicht

© W. Philips, Universiteit Gent, versie: 11/10/ b De L * a * b * kleurenruimte... a* positief =rood negatief =groen b* negatief =blauw positief =geel L* nul positief

© W. Philips, Universiteit Gent, versie: 11/10/ b. 27 De L * a * b * -ruimte is perceptueel uniform: In de L * a * b * -ruimte zijn de MacAdams-ellipsen cirkels...De L*a*b* kleurenruimte intensiteitsverschil: kleurverschil: Perceptueel verschil tussen twee bronnen: kleinst waarneembaar luminantieverschil is altijd  L*  1

© W. Philips, Universiteit Gent, versie: 11/10/ b. 28 Monitoren Monitoren met een cathodestraalbuis hebben een niet-lineaire karakteristiek: de lichtintensiteit is evenredig met een macht van het ingangssignaal  is typisch 2 à 3 Vereiste signalen voor getrouwe reproductie van I(f) : met r ( f ), g ( f ), b ( f ) de kleur- aanpassingsfuncties corres- ponderend met I r ( f ), I g ( f ), I b ( f )

© W. Philips, Universiteit Gent, versie: 11/10/ b. 29 camera’s Men maakt de spectrale gevoeligheden S c,i ( f ) van de camera ongeveer gelijk aan de kleuraanpassingsfuncties r( f ), g( f ) en b( f ) van de monitor De signalen s r, s g, s b die de camera produceert moeten compatibel zijn met de signalen s r ’, s g ’, s b ’ ’ die de monitor nodig heeft om I( f ) te reproduceren camera- signalen Vereiste monitor- signalen met  compatibiliteit wordt dan verkregen mits kan enkel voor die frequenties waarvoor de kleuraanpassingsfuncties positief zijn!

© W. Philips, Universiteit Gent, versie: 11/10/ b. 30 Gamma-correctie Bij conventie compenseert men steeds aan de opnamezijde (camera, scanner,…) monitorcamera Gammacompensatie is nodig omdat camerabuizen een lineaire karakteristiek hebben en cathodestraalbuizen een niet-lineaire karakteristiek Besluit: nodig voor getrouwe weergave: spectrale gevoeligheden camera = kleuraanpassingsfuncties monitor camerauitgang en gammacompensatie: niet lineaire transformatie van de camerasignalen en men veronderstelt een standaard  -waarde

© W. Philips, Universiteit Gent, versie: 11/10/ b. 31 RGB-fout Digitalisering van grijswaarden en kleuren... ADC= Uniforme kwantisatie: Perceptuele fout: monitorcamera  -corr. ADCDAC DAC= inverse schaling:

© W. Philips, Universiteit Gent, versie: 11/10/ b. 32 Digitalisering van grijswaarden en kleuren... Kwantisatie veroorzaakt fouten de perceptuele fout (gemeten in Lab ruimte) is niet op alle plaatsen in de kleurenruimte even groot monitorcamera  -corr. bij kwantisatie van R,G,B is een grotere nauwkeurigheid nodig (10 à 12 bit) ADCDAC Opmerkingen: indien de beelden nog moeten worden bewerkt kunnen meer bits nodig zijn (b.v. 10 à 12 bit voor medische beelden) de maximale perceptuele fout moet voldoende klein blijven  deze bepaalt de vereiste bitdiepte van de ADC en DAC 8 bit nauwkeurigheid is voldoende bij kwantisatie van de  - gecorrigeerde signalen de minimale bitdiepte (voor een gegeven “worst-case” perceptuele fout) wordt verkregen als men digitaliseert in de L * a * b * -kleurenruimte

© W. Philips, Universiteit Gent, versie: 11/10/ b. 33 Besluiten voor beeldverwerking Digitale beelden zijn normaal reeds gammagecorrigeerd  de pixelwaarden zijn dus R’G’B’-waarden en niet RGB-waarden Meestal laat men de accenten weg Verschillende weergavesystemen hebben verschillende gamuts  WYSIWYG is nooit 100% bereikbaar Men moet kleur- en intensiteitsverschillen beoordelen in een perceptueel uniforme kleurenruimte De L * a * b * -ruimte is ideaal hiervoor Men gebruikt echter dikwijls iets van de vorm Dergelijke beelden worden goed weergegeven op een monitor, maar zonder tegencompensatie niet op b.v. een LCD-scherm

Kleurkwantisatie

© W. Philips, Universiteit Gent, versie: 11/10/ b. 35 Ware kleur vs. Pseudo-kleur Bij kleurenbeelden heeft men typisch 24 (3x8) bit per pixel Naar scherm rgb “Ware kleur” weergave i  i rgb  Naar scherm “Pseudo-kleur” weergave Sommige grafische kaarten hebben slechts een schermgeheugen 8 bit per pixel  De pixels in het schermgeheugen zijn indices in een kleurentabel Dit is ook een vorm van datacompressie

© W. Philips, Universiteit Gent, versie: 11/10/ b. 36 Kleurkwantisatie: voorbeeld Ware-kleur 2 kleuren 4 kleuren8 kleuren64 kleuren8 kleuren, geditherd

© W. Philips, Universiteit Gent, versie: 11/10/ b. 37 Kleurkwantisatie met de mediaansnede... x x x x x x x x xx x a b Voorbeeld: 2D-kleuren a=0,…,255; b=0,…,255  mogelijke kleuren Mediaansnede ruimte opdelen in balken die naar de zelfde kleur worden gekwantiseerd doel: grootste fout minimaliseren, maar ook rekening houden met aantal keer dat die fout voorkomt alle kleuren in een balk vervangen door het zwaartepunt van de aanwezige kleuren in die balk Zwaartepunt: Iteratieve methode: om 1 extra kleur toe te laten, verdeel de langste balk in twee deelbalken door een snede loodrecht op de lengterichting en zodanig dat elke deelbalk evenveel pixels bevat (cfr. mediaan) indien mogelijk, krimp de deelbalken

Bijkomend materiaal zelfstudie

© W. Philips, Universiteit Gent, versie: 11/10/ b Kleurkwantisatie met de mediaansnede Principe: De kleurenkubus wordt door een vlak verdeeld in twee balken met elk ongeveer de helft van de pixels Die balken worden recursief verder gesplitst op analoge manier De balk met de grootste zijde krijgt telkens prioriteit bij het opsplitsen Alle pixels in een balk krijgen tenslotte dezelfde Lab-waarde L a b Opmerking: in de praktijk minimaliseert men meestal de maximale afstand in de RGB-ruimte, maar dat is niet optimaal! (waarom?)

© W. Philips, Universiteit Gent, versie: 11/10/ b. 40 wordt de CIE-luminantie genoemd moet onafhankelijk van f 0 zijn per definitie van y(f) De CIE-luminantie 1  )( 02 fS )( 02 2  fS r )( 02 fS Opmerking: uit de vereisten volgt automatisch dat y( f ) evenredig is met de spectrale gevoeligheid S 2 ( f ) van de “luminantie”-kegeltjes (deze die gevoelig zijn voor geelgroen) log( Y ) is evenredig met de “waargenomen” helderheid I’ I’ Spectraal filter geelgroen spatiaal filter helderheid - - I(f) )( )( 0 ff fI    Bewijs:

© W. Philips, Universiteit Gent, versie: 11/10/ b. 41 Convexiteit van de xy-ruimte spectrale kleuren 660 nm 700 nm 500 nm 400 nm Stelmet en  de kleur van de superpositie van twee bronnen ligt op het lijnstuk tussen de kleuren van de bronnen Stel Alle kleuren kunnen worden beschouwd als een superpositie van spectrale kleuren  ze liggen dus binnen het “hoefijzer”! x y en  de xy -ruimte is convex

© W. Philips, Universiteit Gent, versie: 11/10/ b x y CIE-xyz: doordenkertjes De CIE XYZ-primairen zijn fysisch niet realiseerbaar want ze liggen buiten het hoefijzer Bij het standardiseren van kleuraanpas- singsfuncties heeft men weinig vrijheid: men kan aantonen dat voor om het even welk stel primairen de kleur- aanpassingsfuncties r( f ), g( f ), b( f ) bij elke frequentie lineaire combinaties zijn van de spectrale gevoeligheden S i ( f ) van de kegeltjes De XYZ-primairen Opmerking: sommige stellen primairen hebben dezelfde kleuraanpassings- functies b.v.:

© W. Philips, Universiteit Gent, versie: 11/10/ b Digitalisering van grijswaarden en kleuren De R’G’B’-ruimte is niet perceptueel uniform wel uniformer dan RGB!) de perceptuele fout hangt niet alleen af van  R’,  G’,  B’, maar ook van R’, G’, B’ RGB  L*a*b* cameraADC monitor  -corr. DAC L*a*b*  RGB de slechtst mogelijke situatie bepaalt de vereiste kwantisatie- nauwkeurigheid voor andere R’, G’, B’ waarden is deze nauwkeurigheid echter nodeloos groot  men verspilt dus bits Uniforme kwantisatie vereist het minst aantal bits in de L * a * b * -ruimte Perceptuele fout: optimaal digitaal systeem (niet gebruikt)

© W. Philips, Universiteit Gent, versie: 11/10/ b. 44 Bij een kleurensysteem past men  -correctie afzonderlijk toe op R, G en B : De YUV-kleurenruimte Bij de zwart-wit TV paste men  -correctie toe op het intensiteitssignaal L zwart-wit monitor zwart-wit camera Om een zekere compatibiliteit te behouden met zwart-wit TV zendt men bij kleurenTV nu een luminantiesignaal Y’ uit als ruwe benadering voor L’ RGBRGB R’ G’ B’ matrix Y’ wordt dus berekend uit de gecompenseerde signalen! nadeel: Y ’  L ’: toch geen exacte intensiteitsreproductie op zwartwit-TV reden: enkel (goedkope) lineaire signaalverwerking nodig in ontvanger uitgezonden signalen