Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar Tel: 09/ Fax: 09/

© W. Philips, Universiteit Gent, versie: 16/11/ b. 2 Copyright notice This powerpoint presentation was developed as an educational aid to the renewed course “Image processing” (Beeldverwerking), taught at the University of Gent, Belgium as of This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom, provided that the following conditions are observed: 1.If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, ” in a font size of at least 10 point on each slide; 2.You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a file); 3. If you modify the presentation, you should clearly state so in the presentation; 4.You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation should not intend to make or make a profit from the activity for which you use or distribute the presentation; 5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author. In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also applies to the modified work (i.e., you may not charge for it). “Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to students or employees for self-teaching purposes,... Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s consent. A fee may be charged for such use. Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may contain bugs that might corrupt the data or the operating system on your computer. If you use this presentation, I would appreciate being notified of this by . I would also like to be informed of any errors or omissions that you discover. Finally, if you have developed similar presentations I would be grateful if you allow me to use these in my course lectures. Prof. dr. ir. W. Philips Department of Telecommunications and Information ProcessingFax: University of GentTel: St.-Pietersnieuwstraat 41, B9000 Gent, Belgium

© W. Philips, Universiteit Gent, versie: 16/11/ b. 3 Overzicht Degradatiemodel Lineaire restauratie in het Fourierdomein Invers filter + toepassing (unsharp masking) Toepassing invers filter: Homomorfisch filter (contrastaanpassing) Het Wiener filter (theoretisch optimaal filter) Modelgebaseerde beeldrestauratie: algemene principes Bayesiaanse technieken: statistische modellen Regularisatie: penalisatie van niet-gewenste lokale beeldstructuren Cartoon-modellen: “beelden bestaan uit egale gebieden gescheiden door randen” Markov random velden Total variation Lineaire en niet-lineaire diffusie: vooral bedoeld als voorbewerking voor beeldanalyse

Lineaire en niet lineaire diffusie

© W. Philips, Universiteit Gent, versie: 16/11/ b. 5 Lineaire diffusie Eigenschap gaussiaans filter: h t+t ’ ( x,y ) = ( h t ’  h t )( x,y )  2 maal toepassen van een filter met t=a  filter met t= 2 a Beeld filteren met gaussiaanse PSF met  2 = 2 t De beelden b t ( x,y ) = ( b  h t )( x,y ) voldoen aan de lineaire diffusievergelijking met Toepassing: berekenen van alle b t ( x,y ) met t=nt 0 via een cascade van filters h a ( x,y ) n= 1 n= 2 n= 3 … De implementatie via een cascade is veel sneller dan rechtstreekse berekening (veel groter filtermasker nodig voor t=na dan voor t=a en n maal toepassen van filter met t=a  filter met t=na

© W. Philips, Universiteit Gent, versie: 16/11/ b. 6 Lineaire diffusie en “scale-space” De beelden b t ( x,y ) met t= 2 n a = “scale-space” ontbinding van b ( x,y ) Eigenschappen: bij toenemende t de beelden hebben allemaal dezelfde gemiddelde waarde origineel beeld n= 1 n= 10 n= 20 Toepassing: multischaal-analyse detecteer grote objecten in de heel wazige beelden detecteer kleinere objecten in de scherpe beelden Toepassing: ruisonderdrukking de verschilbeelden b t ( x,y ) -b t-a ( x,y ) hebben gelijkaardige beelden als de wavelet- detailbeelden  shrinkage-gebaseerde technieken ze worden steeds waziger en worden steeds meer “details” door de verwaziging weggeveegd de ruis wordt zwakker en zwakker n= 30

© W. Philips, Universiteit Gent, versie: 16/11/ b. 7 Isotrope niet-lineaire diffusie Bedoeling: uitschakeling van het diffusieproces in de omgeving van beeldranden, d.w.z. berekenen van een cartoon-model  ruisonderdrukking in egale gebieden, maar behoud van randen Perona Malik: voor grote gradiënten:voor kleine gradiënten: Perona Malik:  de diffusie wordt “gestopt” aan beeldranden omdat de gradiënt g daar groot is Bijzondere gevallen:  lineaire diffusie want c ( g ) = 1 met en Algemeen schema (Perona en Malik)

© W. Philips, Universiteit Gent, versie: 16/11/ b. 8 Anisotrope niet-lineaire diffusie… Bedoeling: de diffusie aan de beeldranden niet volledig uitschakelen, maar daar uitmiddelen volgens een richting parallel aan de rand  ruisonderdrukking in egale gebieden, en aan randen Algemeen schema met C (. ) een vierkante matrix Perona Malik 2: Perona Malik 1: Bijzondere gevallen: Opmerking: wij beperken ons tot diagonale C (. ), maar dat hoeft niet!

© W. Philips, Universiteit Gent, versie: 16/11/ b. 9 …Anisotrope niet-lineaire diffusie… Algemeen schema met C (. ) een vierkante matrix Voor voldoend kleine a geldt (zonder bewijs) b t+a ( x ’,y ’)  ( b t  h t,x ’,y ’ )( x,y ) Interpretatie: spatiaal adaptief (niet-stationair) filter lokaal, d.w.z. in de omgeving van een bepaald punt ( x ’, y ’) verandert één diffusiestap (overgang t  t+a ) het beeld als een gaussiaans filter waarbij de vorm van de PSF zich aanpast aan de randsterkte en randoriëntatie, n.l. aan c x ( x ’, y ’) en c y ( x ’, y ’) met b.v.

© W. Philips, Universiteit Gent, versie: 16/11/ b. 10 …Anisotrope niet-lineaire diffusie Voor voldoend kleine a geldt (zonder bewijs) b t+a ( x ’,y ’)  ( b t  h t,x ’,y ’ )( x,y ) Voorbeeld 1: eerder egaal gebied  |g x |  0 en |g y |  0  c x ( x ’, y ’)  1 en c y ( x ’, y ’)  1 Voorbeeld 2: sterke vertikale rand  |g x | zeer groot en |g y |  0  c x ( x ’, y ’)  0 en c y ( x ’, y ’)  1 x y x y h t,x ’,y ’ =constante  isotrope filtering (in alle richtingen evenveel)  anisotrope filtering (enkel in de vertikale richting) met b.v.

© W. Philips, Universiteit Gent, versie: 16/11/ b. 11 Origineel CT beeld Voorbeeld: Perona-Malik 1 Anisotrope niet-lineaire diffusie behoudt de grote objectstructuren Ruis en kleine structuren verdwijnen Veel iteraties nodig voor een “goed” resultaat Perona-Malik 1 ; n= 10 Perona-Malik 1 ; n= 30

© W. Philips, Universiteit Gent, versie: 16/11/ b. 12 Origineel CT beeld Voorbeeld: Perona-Malik 2 Perona-Malik 2 ; n= 10 In dit geval minder iteraties nodig om de ruis evenveel te onderdrukken en minder randverwaziging Er wordt nog veel onderzoek verricht naar de optimale methode

© W. Philips, Universiteit Gent, versie: 16/11/ b. 13 Bibliografie Voorbeelden van wetenschappelijke artikels (aan te vullen) Homomorfisch filter Markov random velden Total variation ruisonderdrukking Guy Gilboa, Nir Sochen, Yehoshua Y. Zeevi, "Texture Preserving Variational Denoising Using an Adaptive Fidelity Term", Proc. VLSM 2003, Nice, France, Oct Lineaire, niet-lineaire en anisotrope diffusie. Weickert. Linear scale space has first been proposed in Japan. Journal of Mathematical Imaging and Vision, 10(3): , May P. Perona, J. Malik, "Scale-space and edge detection using anisotropic diffusion", PAMI 12(7), pp , 1990