Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar Tel: 09/ Fax: 09/

© W. Philips, Universiteit Gent, versie: 19/10/ c. 2 Copyright notice This powerpoint presentation was developed as an educational aid to the renewed course “Image processing” (Beeldverwerking), taught at the University of Gent, Belgium as of This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom, provided that the following conditions are observed: 1.If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, ” in a font size of at least 10 point on each slide; 2.You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a file); 3. If you modify the presentation, you should clearly state so in the presentation; 4.You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation should not intend to make or make a profit from the activity for which you use or distribute the presentation; 5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author. In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also applies to the modified work (i.e., you may not charge for it). “Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to students or employees for self-teaching purposes,... Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s consent. A fee may be charged for such use. Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may contain bugs that might corrupt the data or the operating system on your computer. If you use this presentation, I would appreciate being notified of this by . I would also like to be informed of any errors or omissions that you discover. Finally, if you have developed similar presentations I would be grateful if you allow me to use these in my course lectures. Prof. dr. ir. W. Philips Department of Telecommunications and Information ProcessingFax: University of GentTel: St.-Pietersnieuwstraat 41, B9000 Gent, Belgium

Spatiale en temporele aspecten beeldopname en weergave

© W. Philips, Universiteit Gent, versie: 19/10/ c. 4 Overzicht Optische beeldvorming lenzen, puntspreidingsfuncties… Fouriertransformaties en distributies Spatiale bemonstering cameramodel, aliasing bemonsteringstheorie, roosters, reciproke roosters, beeldreconstructie uit monsters Praktische aspecten voor beeldverwerking resolutie van camera’s en weergavesystemen bemonsteringsstrategie kleurencamera’s Temporele bemonstering

Optische beeldvorming

© W. Philips, Universiteit Gent, versie: 19/10/ c. 6 p 0 ( x,y ) De lens Beeld 1Beeld 2Optisch systeem h 0 ( x,y ) Definitie: de puntspreidingsfunctie of impulsrespons h ( x,y ) is de reactie op een puntbron   ( x, y ) met eenheidsamplitude in ( x, y ) = (0, 0) Eigenschappen (benadering!) Plaatsinvariantie (bij benadering):  ( x-x 0,y-y 0 )  h ( x-x 0,y-y 0 ) Lineariteit: a 0  ( x-x 0,y-y 0 ) + a 1  ( x-x 1,y-y 1 )  a 0 h ( x-x 0,y-y 0 ) + a 1 h ( x-x 1,y-y 1 ) h ( x,y )   ( x,y ) Experiment beeld 1= puntje dat steeds kleiner wordt maar ook helderder zodat totaal lichtvermogen=1 bij elke puntgrootte: in de limiet convergeert beeld 2 naar de impulsrespons h ( x,y )

© W. Philips, Universiteit Gent, versie: 19/10/ c. 7 Beeldvorming van een willekeurig beeld Beeld 1Beeld 2Optisch systeem Een willekeurig beeld b i ( x, y ) kan worden beschouwd als een superpositie van puntbronnen b i ( x’,y’ )   ( x-x’,y-y’ ) met sterkte b i ( x’, y’ ) b i ( x,y ) b o ( x,y ) (convolutie) Plaatsinvariantie lineariteit  beeld 2 is de som (integraal) van gewogen responsen van puntbronnen ''dydx)','(yxb i       ),(yxb o ''dydx)','(yxb i       ),(yxb i  )','(yyxxh  )','(yyxx 

© W. Philips, Universiteit Gent, versie: 19/10/ c. 8 De 2D fouriertransformatie Definitie: Inverse transformatie: complexwaardig! bijdrage (k,l)-de freq. interval Elk beeld kan beschouwd worden als de som van oneindig veel, maar ook oneindig zwakke sinusoidale frequentiecomponenten Dergelijke integralen bestaan wel in de zin van de distributies Voorbeeld: b ( x,y )=1bestaat niet Beperking: de integralen bestaan soms niet, b.v. voor functies met oneindige energie

© W. Philips, Universiteit Gent, versie: 19/10/ c. 9 Belangrijke eigenschappen convolutie lineariteit verschuiving schaling Belangrijkste eigenschap: convolutie in plaatsdomein is equivalent met vermenigvuldiging in frequentiedomein

© W. Philips, Universiteit Gent, versie: 19/10/ c. 10  Optisch systeem verandert beeldspectrum B ( f x, f y ) op eenvoudige manier Het gedraagt zich als een lineair filter dat B ( f x, f y ) vermenigvuldigt met een factor die afhangt van de spatiale frequentie ( f x, f y ) Beeldvorming van een willekeurig beeld Beeld 1Beeld 2Optisch systeem b i ( x,y ) h ( x,y ) B i ( f x, f y ) filter B o ( f x, f y ) =B i ( f x, f y ) H ( f x, f y ) complexwaardig  amplitude- schaling en fazeverdraaiing

© W. Philips, Universiteit Gent, versie: 19/10/ c. 11 De stelling van Parseval Stelling van Parseval:  De fouriertransformatie bewaart de totale energie in het beeld energie in plaatsdomeinenergie in frequentiedomein Definitie: is het energiespectrum van het beeld Interpretatie: is de bijdrage van het frequentiegebied [ f x, f x +df x ]  [ f y, f y +df y ] tot de totale beeldenergie Een filter verzwakt/versterkt de energie bij bepaalde spatiale frequenties:

© W. Philips, Universiteit Gent, versie: 19/10/ c. 12 Opmerkingen In de optica zijn de PSFs (puntpspreidingsfunctie) h ( x,y )  0 dit komt omdat lichtvermogen niet negatief kan zijn in de beeldverwerking (analoog of digitaal) kunnen lineaire filters worden geïmplementeerd waarbij h ( x,y ) wel  0 kan zijn We gebruiken de termen vermogen (energie/tijdseenheid) en energie soms door elkaar een digitaal beeld komt tot stand door het lichtvermogen op een bepaalde oppervlakte gedurende een bepaalde tijd te meten  elk beeldpunt bevat een bepaalde energie microscoop confocale microscoop Klassieke microscoop/telescoop: eerder schijfvormige PSF; diffraction- limited optics -> eerder gaussiaanse PSF x h ( x, 0) x

© W. Philips, Universiteit Gent, versie: 19/10/ c. 13 De dirac-distributie  redelijke definitie voor de inverse FT van   ( x,y ) : IFT{   ( x,y ) }=1  redelijke definitie voor de FT van b  ( x,y )=1: FT{1}=   ( f x, f y ) x y 1/  1 p 0 ( x,y ) Definitie Dirac impuls: voor elke “voldoend brave” functie f ( x,y ) is per definitie In het bijzonder: Betekenis van FT{1}=   ( f x, f y ) de functie f ( x,y ) = 1 kan beschouwd worden als de limiet van functies f n ( x,y ) die wel een FT hebben, n.l. F n ( f x, f y ) en waarbij

© W. Philips, Universiteit Gent, versie: 19/10/ c. 14 Fouriergetransformeerden en distributies   ( x,y ) f ( x,y ) FT{ f ( x,y )} 1 1 ( fx, fy )( fx, fy )

© W. Philips, Universiteit Gent, versie: 19/10/ c. 15 Grafische weergave distributies Distributies kunnen niet als grafiek worden weergegeven  symbolische weergave met pijlen Voorbeeld: fxfx  1 2

© W. Philips, Universiteit Gent, versie: 19/10/ c. 16 Opmerkingen x 1 1 p0(x)p0(x) Eén-dimensionale definitie: Let op met “rekenregels” wat is   ( x )   ( x )?  resultaat is niet gedefineerd! niet correct: geldt enkel voor functies, maar niet voor  ( x ) f ( x ) opmerking: ook met producten als   ( x )   ( y ) kunnen problemen ontstaan Eigenschap: f ( x,y )   ( x-a,y-b ) =f ( a,b )   ( x-a,y-b )

© W. Philips, Universiteit Gent, versie: 19/10/ c. 17 Overzicht Optische beeldvorming lenzen, puntspreidingsfuncties… Fouriertransformaties en distributies Spatiale bemonstering cameramodel, aliasing bemonsteringstheorie, roosters, reciproke roosters, beeldreconstructie uit monsters Praktische aspecten voor beeldverwerking resolutie van camera’s en weergavesystemen bemonsteringsstrategie kleurencamera’s Temporele bemonstering

Spatiale bemonstering

© W. Philips, Universiteit Gent, versie: 19/10/ c. 19 Een pixelsensor meet de beeldintensiteit in de omgeving van ( x k,y l ) Model voor een camera Camera: CCD (Charged- coupled device) pixelmatrix x, k y, l gewichtsfunctie, b.v. w ( x,y )=1 voor | x |<  en | y |<  en 0 daarbuiten Beeld 1Optisch systeem b i ( x,y ) Opmerking: h ( x,y ) b 0 ( x,y )  wiskundig model: lineair filter, gevolgd door “ideale” bemonstering