Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar Tel: 09/ Fax: 09/

© W. Philips, Universiteit Gent, versie: 7/10/ d. 2 Copyright notice This powerpoint presentation was developed as an educational aid to the renewed course “Image processing” (Beeldverwerking), taught at the University of Gent, Belgium as of This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom, provided that the following conditions are observed: 1.If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, ” in a font size of at least 10 point on each slide; 2.You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a file); 3. If you modify the presentation, you should clearly state so in the presentation; 4.You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation should not intend to make or make a profit from the activity for which you use or distribute the presentation; 5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author. In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also applies to the modified work (i.e., you may not charge for it). “Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to students or employees for self-teaching purposes,... Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s consent. A fee may be charged for such use. Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may contain bugs that might corrupt the data or the operating system on your computer. If you use this presentation, I would appreciate being notified of this by . I would also like to be informed of any errors or omissions that you discover. Finally, if you have developed similar presentations I would be grateful if you allow me to use these in my course lectures. Prof. dr. ir. W. Philips Department of Telecommunications and Information ProcessingFax: University of GentTel: St.-Pietersnieuwstraat 41, B9000 Gent, Belgium

Spatiale en temporele aspecten beeldopname en weergave

© W. Philips, Universiteit Gent, versie: 7/10/ d. 4 Overzicht Optische beeldvorming lenzen, puntspreidingsfuncties… Fouriertransformaties en distributies Spatiale bemonstering cameramodel, aliasing bemonsteringstheorie, roosters, reciproke roosters, beeldreconstructie uit monsters Praktische aspecten voor beeldverwerking resolutie van camera’s en weergavesystemen bemonsteringsstrategie kleurencamera’s Temporele bemonstering

Optische beeldvorming

© W. Philips, Universiteit Gent, versie: 7/10/ d. 6 p 0 ( x,y ) De lens Beeld 1Beeld 2Optisch systeem h 0 ( x,y ) Definitie: de puntspreidingsfunctie of impulsrespons h ( x,y ) is de reactie op een puntbron   ( x, y ) met eenheidsamplitude in ( x, y ) = (0, 0) Eigenschappen (benadering!) Plaatsinvariantie (bij benadering):  ( x-x 0,y-y 0 )  h ( x-x 0,y-y 0 ) Lineariteit: a 0  ( x-x 0,y-y 0 ) + a 1  ( x-x 1,y-y 1 )  a 0 h ( x-x 0,y-y 0 ) + a 1 h ( x-x 1,y-y 1 ) h ( x,y )   ( x,y ) Experiment beeld 1= puntje dat steeds kleiner wordt maar ook helderder zodat totaal lichtvermogen=1 bij elke puntgrootte: in de limiet convergeert beeld 2 naar de impulsrespons h ( x,y )

© W. Philips, Universiteit Gent, versie: 7/10/ d. 7 Beeldvorming van een willekeurig beeld Beeld 1Beeld 2Optisch systeem Een willekeurig beeld b i ( x, y ) kan worden beschouwd als een superpositie van puntbronnen b i ( x’,y’ )   ( x-x’,y-y’ ) met sterkte b i ( x’, y’ ) b i ( x,y ) b o ( x,y ) (convolutie) Plaatsinvariantie lineariteit  beeld 2 is de som (integraal) van gewogen responsen van puntbronnen ''dydx)','(yxb i       ),(yxb o ''dydx)','(yxb i       ),(yxb i  )','(yyxxh  )','(yyxx 

© W. Philips, Universiteit Gent, versie: 7/10/ d. 8 De 2D fouriertransformatie Definitie: Inverse transformatie: complexwaardig! bijdrage (k,l)-de freq. interval Elk beeld kan beschouwd worden als de som van oneindig veel, maar ook oneindig zwakke sinusoidale frequentiecomponenten Dergelijke integralen bestaan wel in de zin van de distributies Voorbeeld: b ( x,y )=1bestaat niet Beperking: de integralen bestaan soms niet, b.v. voor functies met oneindige energie

© W. Philips, Universiteit Gent, versie: 7/10/ d. 9 Belangrijke eigenschappen convolutie lineariteit verschuiving schaling Belangrijkste eigenschap: convolutie in plaatsdomein is equivalent met vermenigvuldiging in frequentiedomein

© W. Philips, Universiteit Gent, versie: 7/10/ d. 10 De dirac-distributie  redelijke definitie voor de inverse FT van   ( x,y ) : IFT{   ( x,y ) }=1  redelijke definitie voor de FT van b  ( x,y )=1: FT{1}=   ( f x, f y ) x y 1/  1 p 0 ( x,y ) Definitie Dirac impuls: voor elke “voldoend brave” functie f ( x,y ) is per definitie In het bijzonder: Betekenis van FT{1}=   ( f x, f y ) de functie f ( x,y ) = 1 kan beschouwd worden als de limiet van functies f n ( x,y ) die wel een FT hebben, n.l. F n ( f x, f y ) en waarbij

© W. Philips, Universiteit Gent, versie: 7/10/ d. 11 Fouriergetransformeerden en distributies   ( x,y ) f ( x,y ) FT{ f ( x,y )} 1 1 ( fx, fy )( fx, fy )

© W. Philips, Universiteit Gent, versie: 7/10/ d. 12 Opmerkingen x 1 1 p0(x)p0(x) Eén-dimensionale definitie: Let op met “rekenregels” wat is   ( x )   ( x )?  resultaat is niet gedefineerd! niet correct: geldt enkel voor functies, maar niet voor  ( x ) f ( x ) opmerking: ook met producten als   ( x )   ( y ) kunnen problemen ontstaan Eigenschap: f ( x,y )   ( x-a,y-b ) =f ( a,b )   ( x-a,y-b )

Optische beeldvorming

© W. Philips, Universiteit Gent, versie: 7/10/ d. 14  Optisch systeem verandert beeldspectrum B ( f x, f y ) op eenvoudige manier Het gedraagt zich als een lineair filter dat B ( f x, f y ) vermenigvuldigt met een factor die afhangt van de spatiale frequentie ( f x, f y ) Beeldvorming van een willekeurig beeld Beeld 1Beeld 2Optisch systeem b i ( x,y ) h ( x,y ) B i ( f x, f y ) filter B o ( f x, f y ) =B i ( f x, f y ) H ( f x, f y ) complexwaardig  amplitude- schaling en fazeverdraaiing

© W. Philips, Universiteit Gent, versie: 7/10/ d. 15 De stelling van Parseval Stelling van Parseval:  De fouriertransformatie bewaart de totale energie in het beeld energie in plaatsdomeinenergie in frequentiedomein Definitie: is het energiespectrum van het beeld Interpretatie: is de bijdrage van het frequentiegebied [ f x, f x +df x ]  [ f y, f y +df y ] tot de totale beeldenergie Een filter verzwakt/versterkt de energie bij bepaalde spatiale frequenties:

© W. Philips, Universiteit Gent, versie: 7/10/ d. 16 Opmerkingen In de optica zijn de PSFs (puntpspreidingsfunctie) h ( x,y )  0 dit komt omdat lichtvermogen niet negatief kan zijn in de beeldverwerking (analoog of digitaal) kunnen lineaire filters worden geïmplementeerd waarbij h ( x,y ) wel  0 kan zijn We gebruiken de termen vermogen (energie/tijdseenheid) en energie soms door elkaar een digitaal beeld komt tot stand door het lichtvermogen op een bepaalde oppervlakte gedurende een bepaalde tijd te meten  elk beeldpunt bevat een bepaalde energie microscoop confocale microscoop Klassieke microscoop/telescoop: eerder schijfvormige PSF; diffraction- limited optics -> eerder gaussiaanse PSF x h ( x, 0) x

© W. Philips, Universiteit Gent, versie: 7/10/ d. 17 Overzicht Optische beeldvorming lenzen, puntspreidingsfuncties… Fouriertransformaties en distributies Spatiale bemonstering cameramodel, aliasing bemonsteringstheorie, roosters, reciproke roosters, beeldreconstructie uit monsters Praktische aspecten voor beeldverwerking resolutie van camera’s en weergavesystemen bemonsteringsstrategie kleurencamera’s Temporele bemonstering

Spatiale bemonstering

© W. Philips, Universiteit Gent, versie: 7/10/ d. 19 Een pixelsensor meet de beeldintensiteit in de omgeving van ( x k,y l ) Model voor een camera Camera: CCD (Charged- coupled device) pixelmatrix x, k y, l gewichtsfunctie, b.v. w ( x,y )=1 voor | x |<  en | y |<  en 0 daarbuiten Beeld 1Optisch systeem b i ( x,y ) Opmerking: h ( x,y ) b 0 ( x,y )  wiskundig model: lineair filter, gevolgd door “ideale” bemonstering

© W. Philips, Universiteit Gent, versie: 7/10/ d. 20 b kl =b ( x k,y l ) Welke informatie gaat er verloren? Het lineair filter verzwakt hoge spatiale frequenties (laagdoorlaatfilter)  het beeld wordt waziger, fijne details gaan verloren De bemonstering behoudt enkel de waarden van b ( x,y ) op discrete posities ( x k, y l )  aliasing (frequentieverwarring): hoogfrequente componenten kunnen worden omgezet in laagfrequente componenten Opmerkingen meest courant: uniforme bemonstering: x k =k , y l =l  lineair filter lens uitmiddeling over pixel ideale bemonstering b i ( x,y ) b ( x,y ) (bemonsteringsmatrix V ) algemener: bemonstering op een rooster (“lattice”)

© W. Philips, Universiteit Gent, versie: 7/10/ d. 21 Bemonsterde beelden… Voordeel: functie van x en y, zoals origineel beeld b ( r ) i.p.v. reeks getallen Definitie: “ideaal” bemonsterd beeld als distributie met eenvoudig verband met niet-bemonsterd beeld: Notaties (algemene bemonstering): Let op: b ( r )=( b i * h * w )( r ) is het beeld na in rekening brengen van lenskarakteristiek: impulsrespons h (r) pixelvorm: w (r)

© W. Philips, Universiteit Gent, versie: 7/10/ d. 22 Bemonsterde beelden… Definitie: “ideaal” bemonsterd beeld als distributie Zonder bewijs: met Verband tussen de Fourier-spectra: B s ( f )= B ( f ) * D V ( f ) met f =( f x,f y ) t en D V ( f ) de FT van  V ( f ) :

© W. Philips, Universiteit Gent, versie: 7/10/ d. 23  men kan dan B ( f x ) terugberekenen uit B s ( f x ) door de frequenties weg te filteren 1D- Voorbeelden   /2   /2   /2   /2  aliasing Geen aliasing als voor

© W. Philips, Universiteit Gent, versie: 7/10/ d. 24 Bemonstering en aliasing Tussen de monsterpunten in kan er van alles gebeuren Aliasing: een hoogfrequent signaal kan na bemonstering niet meer onderscheiden worden van een laagfrequent signaal

© W. Philips, Universiteit Gent, versie: 7/10/ d Bemonsterde beelden alias-termen (replica’s) Bemonsteringsstelling: Indien de replica’s niet overlappen kan B ( f ) gereconstrueerd worden uit B s ( f ) Voldoende voorwaarde: Belangrijke opmerkingen de replica’s zijn gelokaliseerd rond de punten f k =U k met U= ( V -1 ) t f k =U k heet het reciprook rooster van het bemonsteringsrooster x k = V k Het spectrum van het bemonsterd beeld is periodiek: voor gehele l

© W. Philips, Universiteit Gent, versie: 7/10/ d. 26 2D voorbeelden: Rechthoekig rooster xx yy Bemonsteringsrooster Reciprook rooster van rechthoekig rooster is ook rechthoekig Afstanden in het reciprook rooster zijn omgekeerd evenredig met deze in het bemonsteringsrooster  bij fijnere spatiale bemonstering liggen replica’s verder uit elkaar Opmerking: aantal monsters per oppervlakte-eenheid: 1/(  x  y )=1/|det( V )| posities van de replica-termen B ( f-Uk ) in frequentiedomein  y  x Reciprook rooster fxfx fyfy x y

© W. Philips, Universiteit Gent, versie: 7/10/ d. 27 k t = (1, 0), (2, 0), … k t = (1, 1), (2, 1), … 2D voorbeelden: Hexagonaal rooster xx yy Bemonsteringsrooster Aantal monsters per oppervlakte-eenheid: 1/(  x  y )=1/|det( V )|  evenveel als in het vorige rooster Algemene opmerking: De matrix V (en dus ook U ) is niet uniek x y Alle V ’= VM met det( M )=±1 en m ij geheel beschrijven het zelfde rooster Reciprook rooster  y  x fxfx fyfy

© W. Philips, Universiteit Gent, versie: 7/10/ d. 28 replica’s Bemonstering zonder aliasing in 2D Praktische beelden hebben een bandbeperkt spectrum (o.a. door verwaziging in de lens en uitmiddeling over camerapixels fxfx fyfy drager origineel spectrum (frequenties waar B ( f )≠0) Reciprook van rechthoekig rooster  x  y  x  y Indien de punten van het reciprook rooster voldoende ver uit elkaar liggen zal er geen aliasing optreden  punten van bemonsteringsrooster liggen voldoende dicht bij elkaar fxfx fyfy Reciprook van hexagonaal rooster

© W. Philips, Universiteit Gent, versie: 7/10/ d. 29 Typische beeldspectrum De energie van typische beelden is geconcentreerd bij lage f x en f y Frequentieschaal: in “cycles per inch” (cpi), representatief voor weergave op een scherm met resolutie 100 “dots per inch” (dpi) Frequentieinhoud hangt ook af van captatieresolutie (lens+pixelgrootte) Lenna Spectrum van de Y-component (log-grijssschaal; zwart=groot fx=0fx=0 f x = 50 f x =- 50 f y = 50 fy=0fy=0 f y =- 50

Spatiale en temporele aspecten beeldopname en weergave

© W. Philips, Universiteit Gent, versie: 7/10/ d. 31 Overzicht Optische beeldvorming lenzen, puntspreidingsfuncties… Fouriertransformaties en distributies Spatiale bemonstering cameramodel, aliasing bemonsteringstheorie, roosters, reciproke roosters, beeldreconstructie uit monsters Praktische aspecten voor beeldverwerking resolutie van camera’s en weergavesystemen bemonsteringsstrategie kleurencamera’s Temporele bemonstering

Beeldreconstructie uit monsterwaarden

© W. Philips, Universiteit Gent, versie: 7/10/ d. 33 Theoretische reconstructie… Besluit: reconstructie is mogelijk als replica’s niet overlappen, n.l. door B s ( f ) te vermenigvuldigen met goed gekozen R ( f ) (  lineair filter) fxfx fyfy drager origineel spectrum (frequenties waar B ( f ) ≠0) Reciprook rooster  x  y drager bemonsterd spectrum (frequenties waar B s ( f ) ≠0) fxfx fyfy R ( f ) =1 R ( f ) ≠0 R ( f )=0 Filterkarakteristiek R ( f ) R ( f ) = 1 waar B ( f ) ≠0 R ( f ) = 0 waar B ( f-Uk ) ≠0

© W. Philips, Universiteit Gent, versie: 7/10/ d. 34 … Theoretische reconstructie Dirac-reconstructie, te interpreteren als weergave op fictief scherm met oneindig kleine beeldpixels op de roosterpunten r=Vk en die een lichtvermogen uitstralen evenredig met de monsters b k dirac- reconstructie monster- waarden b k spectrum: B s ( f ) Anti-alias filter verzwakt (verwijdert) de replica’s in B s ( f ) zodat B s ( f ) overblijft v.b. een lens die het beeld wazig maakt volgens R ( f ) karakteristiek optisch anti- alias filter spectrum: B s ( f ) R ( f )

© W. Philips, Universiteit Gent, versie: 7/10/ d. 35 …Praktische reconstructie w ( r ) =w ( x,y ) = 1 voor | x |<  en | y |<  en 0 daarbuiten Praktische beeldschermen hebben pixels met eindige afmetingen en produceren dus b k w ( r-Vk ) i.p.v. b k |det ( V )|  ( r-Vk ) grijswaarde= b k met Besluit: de invloed van de niet oneindig kleine pixelgrootte is te modelleren als een convolutie

© W. Philips, Universiteit Gent, versie: 7/10/ d. 36  modelleren als lineair filter met impulsrespons h ( r ) en frequentiekarakteristiek H ( f ) Beeldreproductiesystemen bevatten soms lenzen (b.v. projector) Het oog filtert ook een deel van het frequentie-spectrum weg Praktische reconstructie Weergave met eindige pixels monster- waarden b k spectrum: cB s ( f ) W ( f ) w ( r ) =w ( x,y ) = 1 voor | x |<  en | y |<  en 0 daarbuiten Scherm- en/of oog-optica spectrum: cB s ( f ) W ( f ) H ( f ) Besluit: cW ( f ) H ( f ) moet dienen als benadering voor R ( f )  weinig keuze voor R ( f )  men moet overblijvende imperfecties aanvaarden grijswaarde= b k

© W. Philips, Universiteit Gent, versie: 7/10/ d. 37 Reconstructie=interpolatie Bovenstaande formule kan ook geïnterpreteerd worden als een interpolatieformule die b o ( r ) voor een willekeurige r berekend uit monsterwaarden b k Als we bovendien rekening houden met lenzen (projector en oog) blijft deze observatie gelden, maar met andere interpolatiecoëfficiënten Deze formule kan ook geïnterpreteerd worden als een superpositie van interpolatiepulsen ( w * h )( r-Vk ), geschaald in amplitude met b k

© W. Philips, Universiteit Gent, versie: 7/10/ d. 38 Overzicht Optische beeldvorming lenzen, puntspreidingsfuncties… Fouriertransformaties en distributies Spatiale bemonstering cameramodel, aliasing bemonsteringstheorie, roosters, reciproke roosters, beeldreconstructie uit monsters Praktische aspecten voor beeldverwerking resolutie van camera’s en weergavesystemen bemonsteringsstrategie kleurencamera’s Temporele bemonstering

Praktische aspecten en gevolgen Camera’s en weergavesystemen

© W. Philips, Universiteit Gent, versie: 7/10/ d. 40 Invloed van de cameraresolutie Stel dat we de resolutie (aantal pixels / mm) van het beeld halveren Alternatief 1: zelfde pixelgrootte, maar grotere tussenafstanden x, k y, l voorbeeld 1 x, k y, l voorbeeld 2 Alternatief 2 (realistischer): grotere pixels en grotere tussenafstand extra laagdoorlaatfilteren  minder risico op aliasing en bovendien betere lichtgevoeligheid (grote pixel vangt meer licht) beeldspectrum aan de ingang van de camera verandert niet maar de afstand tussen de reciproke roosterpunten halveert  risico op aliasing

© W. Philips, Universiteit Gent, versie: 7/10/ d. 41 Voorbeeld 1: simulatie kleine camerapixels 256  256 monsters 128  128 monsters door weglaten even rijen en kolommen, nadien vergroot door pixelherhaling Aliasing Hoogfrequente componenten in hemd links rechts Aliasing zet de hoge frequenties links om in lage frequenties rechts 0  / 2 / 2  / 2  ’= ’2’2  ’ / 2  ’=  ’   /2 cpi   cpi

© W. Philips, Universiteit Gent, versie: 7/10/ d. 42  ’   /2 cpi Voorbeeld 2: simulatie normale camerapixels 256  256 monsters 128  128 monsters, door uitmiddelen van 2x2 pixels, nadien vergroot door pixelherhaling Hoogfrequente componenten in hemd links rechts 0  / 2 / 2  / 2  ’= ’/2’/2  ’ / 2  ’=   cpi

© W. Philips, Universiteit Gent, versie: 7/10/ d. 43 Voorbeeld 2: opmerkingen Op de vorige slide meet eén grote pixel in het 128x128 beeld (ongeveer) het gemiddelde van 4 pixels in het 256x256 beeld  extra laagdoorlaatfiltering, waardoor frequentiecomponenten boven a ’/ 2 (de helft van de nieuwe bemonsteringsfrequentie) sterk verzwakt worden  de aliasing blijft beperkt, maar (de rest van) het beeld wordt waziger

© W. Philips, Universiteit Gent, versie: 7/10/ d. 44 Aliasing in 2D: invloed rooster en spectrum Voorbeeld: beeld met zeer hoge horizontale frequentiecomponenten       fxfx fyfy fxfx fyfy drager origineel spectrum (frequenties waar B ( f ) ≠0) Bij het hexagonaal bemonsteringsrooster overlappen de replica’s niet, terwijl ze bij het rechthoekig rooster met zelfde aantal pixels wel overlappen Conclusie: door de vorm van de drager van het spectrum en het bemonsteringsrooster op elkaar af te stemmen kan men aliasing minimaliseren Reciprook van rechthoekig rooster Reciprook van hexagonaal rooster

© W. Philips, Universiteit Gent, versie: 7/10/ d. 45 Voronoi-cel replica van Voronoi-cel De Voronoi-cel Voronoi-cel: alle punten die dichter bij het roosterpunt f = 0 liggen dan bij om het even wel ander roosterpunt     fxfx fyfy fxfx fyfy   De Voronoi-cel defineert een “tiling” van de frequentieruimte de replica’s van de cel rond andere roosterpunten overlappen niet maar bedekken wel de volledige frequentieruimte

© W. Philips, Universiteit Gent, versie: 7/10/ d. 46 replica van Voronoi-cel De Voronoi-cel     fxfx fyfy Voronoi-cel   fxfx fyfy   Indien B ( f ) bandbeperkt is tot de Voronoi-cel, d.w.z. als B ( f )=0 buiten de Voronoi-cel  zeker geen aliasing In het voorbeeld beide Voronoi-cellen even groot en bieden dus evenveel “ruimte” voor het beeldspectrum de hexagonale cel laat meer horizontale hoge frequenties toe, ten koste van diagonale frequenties

© W. Philips, Universiteit Gent, versie: 7/10/ d. 47 Eenheidscellen Tiling is ook mogelijk met andere cellen dan de Voronoi-cel  we noemen deze éénheidscellen fxfx fyfy   fxfx fyfy Indien B ( f ) bandbeperkt is tot een éénheidscel  zeker geen aliasing Rechtse eenheidscel: maximale horizontale spatiale frequentie is 2/  1  dubbel zoveel als bij rechthoekige bemonstering met evenveel pixels Maar de maximale vertikale spatiale frequentie is maar de helft van deze bij rechthoekige bemonstering Besluit: de optimale keuze hangt af van de beeldinhoud

© W. Philips, Universiteit Gent, versie: 7/10/ d. 48 Kleurencamera’s De meeste Cmos en CCD- kleurencamera’s plaatsen R-G-B pixels naast elkaar, zodanig dat pixels sensoroppervlak zoveel mogelijk bedekken elke pixel bestaat uit een kleurfilter met daaronder een detector Veel gebruikt: bayer “colour filter array” g4g4 g6g6 g2g2 g7g7 g5g5 g5=(g2+g4+g6+g7)/4g5=(g2+g4+g6+g7)/4 r1r1 r3r3 r7r7 r9r9 r5r5 r2r2 r4r4 r2=(r1+r3)/2r2=(r1+r3)/2 r4=(r1+r7)/2r4=(r1+r7)/2 r5=(r1+r3+r7+r9)/4r5=(r1+r3+r7+r9)/4 twee keer zoveel groene pixels als rode en blauwe cfr. menselijk oog gebruikt groene kegeltjes voor luminantie en heeft ook een grotere spatiale resolutie in luminantie dan in chrominantie hexagonaal rooster voor groen; rechthoekig rooster aan halve resolutie voor rood en blauw Demosaicing: alle camera’s interpoleren de ontbrekende pixels in de R, G en B-beelden; eenvoudig voorbeeld: b1b1 b3b3 b7b7 b9b9 b5b5 b2b2 b4b4

© W. Philips, Universiteit Gent, versie: 7/10/ d. 49 Bayer colour filter array geïnterpoleerd gecapteerd beeld

© W. Philips, Universiteit Gent, versie: 7/10/ d. 50 Opmerkingen Het beeldspectrum na bemonstering hangt af van het beeldspectrum van de gecapteerde scène de lenskarakteristiek en de pixelkarakteristiek (oppervlakte en vorm) Beeldverwerking met hexagonale bemonsteringsroosters +de Voronoi-cel van het reciprook rooster is beter aangepast aan typische beeldspectra  goede bemonstering met minder pixels -weinig gebruikt, tenzij de beelden op een hexagonaal rooster worden gecapteerd of gereproduceerd -interpolatie van rechthoekig naar hexagonaal rooster kan artefacten introduceren  men vermijdt dit liefst In de praktijk wordt meestal een rechthoekig bemonsteringsrooster gebruikt er bestaan echter camera’s met andere pixelconfiguraties, b.v. met grotere pixeldensiteit in het centrum van het beeld (cfr. menselijk oog) bepaalde druktechnieken (gravuredruk) gebruiken hexagonaal rooster

© W. Philips, Universiteit Gent, versie: 7/10/ d. 51 Overzicht Optische beeldvorming lenzen, puntspreidingsfuncties… Fouriertransformaties en distributies Spatiale bemonstering cameramodel, aliasing bemonsteringstheorie, roosters, reciproke roosters, beeldreconstructie uit monsters Praktische aspecten voor beeldverwerking resolutie van camera’s en weergavesystemen bemonsteringsstrategie kleurencamera’s Temporele bemonstering

Bemonstering van video

© W. Philips, Universiteit Gent, versie: 7/10/ d. 53 Video Bemonsteringstheorie geldt ook voor video: 3 coördinaten ( x,y,t ) i.p.v. 2 Een pixelsensor meet de beeldintensiteit in de omgeving van ( x k,y l ) en middelt deze uit over een bepaald tijdsinterval (b.v. 20 ms) irrelevant voor scènes zonder beweging Naast spatiale aliasing kan nu ook temporele of spatio-temporele aliasing optreden; voorbeeld: westerns: draaiende huifkarwielen lijken achterstevoren te draaien interviews op TV: gestreepte of geruite jassen geven moiré 20ms 1 t

© W. Philips, Universiteit Gent, versie: 7/10/ d. 54 Demo Zie Vent_OUTvsIN.mpg linkerbeeld toont temporal aliasing in windmolentje (draait achterstevoor) dit is echter al een bewerkte sekwentie (temporele interpolatie)  artefacten bij de bewegende hand (schokkende beweging) Rechterbeeld toont dat beide artefacten kunnen worden vermeden met superresolutietechnieken die uit vier videosekwenties één goede maken Zie os/SpaceTimeSR/SuperRes_demos.html

© W. Philips, Universiteit Gent, versie: 7/10/ d. 55 Interlaced videoformaat Waarom? Historische redenen lage bandbreedte vereist (b.v. 5.5 Mhz)  beperking op het product van spatiale en temporele bemonsteringsfrequentie 5s5s 63.5  s 42  s 0 volt 0.5 volt 2 volt NTSC even lijnen Compromis: interlaced video: in de even beelden enkel de even lijnen doorsturen en in de oneven beelden enkel de oneven lijnen Opmerking: in analoge video wordt er horizontaal niet bemonsterd de nagloeitijd van fosoforen van CRT (Cathode Ray Tube) displays is vrij klein  hoge beeldverversingsfrequentie nodig (b.v Hz) hoge spatiale resolutie nodig voor statische scènes (b.v. 625 beeldlijnen)

© W. Philips, Universiteit Gent, versie: 7/10/ d. 56 Waarneembaar door visueel systeem bij oneindig korte nagloeitijd Bemonsteringsroosters 25Hz non-interlaced  t= 40 ms yy t y x (niet be- monsterd) non-interlaced: 25 volledige beelden van 625 lijnen per seconde  lijnen/sec Waarneembaar bij realistische nagloeitijd Stilstaande beelden zelfs met lage spatiale frequenties worden grosse modo als bewegende beelden gezien: flikker ftft fyfy 25 Hz 1/  y statisch beeld replica

© W. Philips, Universiteit Gent, versie: 7/10/ d. 57 Waarneembaar door visueel systeem bij oneindig korte nagloeitijd Waarneembaar bij realistische nagloeitijd Bemonsteringsroosters 50Hz interlaced  t= 40 ms yy t y x (niet be- monsterd) ftft fyfy 25 Hz 1/  y Interlaced: 50 halve beelden van lijnen per seconde  lijnen/sec Stilstaande beelden met niet al te hoge spatiale frequenties worden grosse modo als stilstaande beelden gezien: beperkte flikker statisch beeld replica

© W. Philips, Universiteit Gent, versie: 7/10/ d. 58 Besluit en opmerkingen Terminologie: frame=volledig beeld (625 lijnen) field=half beeld bestaand uit lijnen die samen worden getoond op het scherm (b.v. field van de even lijnen) Interliniëring wordt gebruikt om flikker te beperken zonder (veel) spatiale resolutie op te offeren bij een gegeven lijnfrequentie Opmerking: flikker kan ook beperkt worden door meer beelden per seconde te tonen (b.v. 100 i.p.v. 50 beelden/s) en als compensatie minder lijnen per beeld te plaatsen (b.v. 312 i.p.v. 625  gevaar voor spatiale aliasing 100 Hz televisie TV-toestel beschikt over een of meerdere “frame buffers” waarin oude fields worden bijgehouden ontbrekende fields worden geïnterpoleerd de beeldfrequentie van de weergave is hoger dan deze van het ontvangen signaal (b.v. 100Hz interlaced i.p.v. 50Hz interlaced)  helemaal geen flikker meer gewijzigd op: 15 October 2009