Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar Tel: 09/ Fax: 09/
© W. Philips, Universiteit Gent, versie: 4/11/ b. 2 Copyright notice This powerpoint presentation was developed as an educational aid to the renewed course “Image processing” (Beeldverwerking), taught at the University of Gent, Belgium as of This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom, provided that the following conditions are observed: 1.If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, ” in a font size of at least 10 point on each slide; 2.You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a file); 3. If you modify the presentation, you should clearly state so in the presentation; 4.You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation should not intend to make or make a profit from the activity for which you use or distribute the presentation; 5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author. In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also applies to the modified work (i.e., you may not charge for it). “Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to students or employees for self-teaching purposes,... Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s consent. A fee may be charged for such use. Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may contain bugs that might corrupt the data or the operating system on your computer. If you use this presentation, I would appreciate being notified of this by . I would also like to be informed of any errors or omissions that you discover. Finally, if you have developed similar presentations I would be grateful if you allow me to use these in my course lectures. Prof. dr. ir. W. Philips Department of Telecommunications and Information ProcessingFax: University of GentTel: St.-Pietersnieuwstraat 41, B9000 Gent, Belgium
Beeldrestauratie
© W. Philips, Universiteit Gent, versie: 4/11/ b. 4 Overzicht Degradatiemodel Lineaire restauratie in het Fourierdomein Invers filter + toepassing (unsharp masking) Toepassing invers filter: Homomorfisch filter (contrastaanpassing) Het Wiener filter (theoretisch optimaal filter) Modelgebaseerde beeldrestauratie: algemene principes Bayesiaanse technieken: statistische modellen Regularisatie: penalisatie van niet-gewenste lokale beeldstructuren Cartoon-modellen: “beelden bestaan uit egale gebieden gescheiden door randen” Markov random velden Total variation Lineaire en niet-lineaire diffusie: vooral bedoeld als voorbewerking voor beeldanalyse
Beeldrestauratie
Het Wiener filter
© W. Philips, Universiteit Gent, versie: 4/11/ b. 7 Wiener filter Veronderstelt statistische voorkennis over beeld en ruis, n.l. kennis van het verwacht vermogenspectrum van ideaal beeld en ruis: speciaal geval: witte ruis Minimaliseert de verwachte kwadratische afwijking tussen gerestaureerd beeld f (x,y)=(w b ’ )(x,y) en (onbekend) ideaal beeld b ( x,y ) door optimale keuze van w ( x,y ) Te optimaliseren variabelen Parseval kost minimaal Verkeerd! Slechte methode levert soms goed resultaat :->
© W. Philips, Universiteit Gent, versie: 4/11/ b. 8 Wiener filter: afleiding invers filter signaal-ruisverhouding van gedegradeerd beeld bij frequentie ( k,l ) Veronderstelling: beeld en ruis niet gecorreleerd: E( B k,l N k,l * )=0
© W. Philips, Universiteit Gent, versie: 4/11/ b. 9 Waarde gekozen via “trial and error” … Wiener filter Conclusie: Wiener filter benadert invers filter bij spatiale frequenties met hoge SNR verwijdert frequentiecomponenten met lage SNR invers filtersignaal-ruisverhouding van gedegradeerd beeld bij frequentie ( k,l ) Opmerkingen theorie geldt enkel als ruis en beeld niet gecorreleerd zijn modelleert de beeldeigenschappen maar in beperkte mate: er bestaan veel beelden met dit spectrum, waaronder veel niet-realistische is moeilijk te schatten veel gebruikte benadering:
© W. Philips, Universiteit Gent, versie: 4/11/ b. 10 Opmerking Motivatie voor de benadering is dan ruwweg in orde benadering: correct: Ruwe benadering: de overgang van (a) naar (b) is abrupt en treedt op bij 0 als H kl 0 alsen |H kl | voldoende groot (a) (b) de overgang van (c) naar (d) is ook abrupt en door keuze van K kan men ervoor zorgen dat die ook optreedt bij 0 als H kl 0 als K en |H kl | voldoende groot (c) (d) Stel witte ruis, d.w.z.
© W. Philips, Universiteit Gent, versie: 4/11/ b. 11 Voorbeeld: bewegingsvervaging Bewegingsvervaging=uitmiddelen in een bepaalde richting Veronderstelt gekende (exacte) puntspreidingsfunctie van de vervaging Origineel BewegingsvervagingGerestaureerd PSF
© W. Philips, Universiteit Gent, versie: 4/11/ b. 12 Voorbeeld: bewegingsvervaging Verkeerde voorkennis gebruiken is erger dan niks doen Correcte PSF Veronderstelde uitsmering 2x groter dan in werkelijkheid Veronderstelde uitsmering onder andere hoek dan in werkelijkheid
© W. Philips, Universiteit Gent, versie: 4/11/ b. 13 Overzicht Degradatiemodel Lineaire restauratie in het Fourierdomein Invers filter + toepassing (unsharp masking) Toepassing invers filter: Homomorfisch filter (contrastaanpassing) Het Wiener filter (theoretisch optimaal filter) Modelgebaseerde beeldrestauratie Bayesiaanse technieken: statistische modellen Regularisatie: penalisatie van niet-gewenste lokale beeldstructuren Cartoon-modellen: “beelden bestaan uit egale gebieden gescheiden door randen” Markov random velden Total variation Lineaire en niet-lineaire diffusie: vooral bedoeld als voorbewerking voor beeldanalyse
Modelgebaseerde beeldrestauratie
© W. Philips, Universiteit Gent, versie: 4/11/ b. 15 Bayesiaanse technieken Principe: modelleer voorkennis omtrent het ideaal beeld x (b.v. over pixelwaarden, fourier-coëfficiënten of waveletcoëfficiënten van een beeld) a.d.h.v. een “prior” distributie p x ( x) modelleer storingen (b.v. wazigheid en ruis) met een “conditionele” distributie p y|x ( y|x) prior distributie (beeldmodel) conditionele distributie (model van ruis en vervaging) distorsie p y|x ( y|x) Bayes schatter x y ideaal beeld opgenomen beeld gerestaureerd beeld voor een gegeven gemeten data y, bereken de meest waarschijnlijke ruisvrije data x die tot y aanleiding geeft regel van Bayes = MAP (maximum a posteriori probabiliy) regel
© W. Philips, Universiteit Gent, versie: 4/11/ b. 16 De regularisatieparameter >0 laat toe meer of minder belang te hechten aan voorkennis: weinig belang aan voorkennis: veel belang aan voorkennis: 0 Regularisatie Maximaliseernaar x datafit-term (model ruis en vervaging) minimaliseer regularisatieterm (voorkennis) regularisatieparameter Algemener: minimaliseer Opmerkingen -log( p y|x ( y|x) )≥0 en -log( p x ( x) )≥0 MAP is een bijzonder geval, n.l. voor =1
© W. Philips, Universiteit Gent, versie: 4/11/ b. 17 Triviaal voorbeeld… Stel beeld met 1 pixel; originele grijswaarde x; na degradatie: y Distorsiemodel: geen vervaging, enkel gaussiaanse additieve ruis; y=x+n waarbij de ruis n verwachtings-waarde 0 heeft en spreiding n Restauratieformule: metde signaalruisverhouding Opmerking: voor =0 en =1 is dit niets anders dan het Wiener filter voor een beeld met 1 pixel; het Wiener filter is dus een bijzonder geval Gaussiaans beeldmodel: grijswaarde schommelt rond met spreiding x
© W. Philips, Universiteit Gent, versie: 4/11/ b. 18 …Triviaal voorbeeld Restauratieformule: Interpretatie: bij weinig ruis ( s , of weinig belang aan voorkennis ( ) geen ruisonderdrukking bij veel ruis ( s , of veel belang aan voorkennis ( ) volledige onderdrukking van ruis en beeld Veralgemening voor een ideaal beeld met fouriercoëfficiënten B kl : Stel B kl ongecorreleerde gaussiaanse veranderlijken met en (gekend) en additieve witte gaussiaanse ruis met en = 1 (MAP-schatting) in dit geval is de MAP-schatting het Wiener filter dat ook de verwachte kwadratische fout minimaliseert
© W. Philips, Universiteit Gent, versie: 4/11/ b. 19 Wiener filter: Bayesiaanse interpretatie Het Wienerfilter kan gezien worden als een Bayesiaanse schatter als de ruis additief is als het beeld en de ruis elk een gaussiaanse statistiek hebben en bovendien: E ( B kl )=0 en beeld en ruis stationair zijn E ( B kl B k’l’ * )=0 en E ( N kl N k’l’ * )=0 voor ( k,l )≠( k’,l’ ) en beeld- en ruisdata onderling ongecorreleerd zijn: E ( B kl N kl * )=0 In dat geval wordt p x ( x) eenduidig bepaald door
© W. Philips, Universiteit Gent, versie: 4/11/ b. 20 Opmerkingen Het Wienerfiltermodel heeft als voordeel dat het kan aangepast worden aan één beeld of een klasse van beelden Voorbeeld:met B ’ kl de DFT van het gedegradeerd beeld, kan dienen als ruwe schatting van Kwaliteitstest voor een beeldmodel bouw randomgenerator volgens het priormodel en genereer er beelden mee Hebben deze beelden “realistische” eigenschappen? De kwaliteit van het Wiener beeldmodel is echter niet schitterend beelden met dezelfde | B kl | als een gegeven beeld maar met een verschillende faze zijn even waarschijnlijk voor het model maar ze zien er toch sterk verstoord uit
© W. Philips, Universiteit Gent, versie: 4/11/ b. 21 Beelden met het zelfde energiespectrum b 1 ( f x, f y ) |=b 2 ( f x, f y ) |=b 3 ( f x, f y ) | Er bestaan veel onrealistische beelden met een realistisch energiespectrum max. fazedraaiing: 180º |b 1 ( f x, f y ) | max. fazedraaiing: 90º |b 2 ( f x, f y ) | |b 3 ( f x, f y ) | max. fazedraaiing: 45º
© W. Philips, Universiteit Gent, versie: 4/11/ b. 22 Opmerking Beelden op vorig blad werden als volgt verkregen bereken de DFT van “claudia” breng een random fasedraaiingen aan aan elke DFT-coëfficiënt fasedraaiing gekozen volgens random distributie en zodanig dat de DFT-coëfficiënten nog steeds de DFT- coëfficiënten zijn van een reëelwaardig beeld. Het Wiener filter schat het onbekend ideaal beeld uit het gemeten beeld en voorkennis van het vermogenspectrum van een beeld de modellering van voorkennis is echter eerder zwak, want niet- realistische beelden
© W. Philips, Universiteit Gent, versie: 4/11/ b. 23 Markov Random Field (MRF) prior model Basisidee MRF in beelddomein beelden zijn hoofdzakelijk egaal: de intensiteit van een pixel wijkt zelden sterk af van zijn buren normalisatiesom van de clique-potentialen van alle cliques in het beeld objectranden komen minder voor; daar kan een pixel weliswaar sterk afwijken van sommige buren, maar niet van alle buren de prior moet afwijkingen tussen buurpixels “penaliseren” (een lage probabiliteit toekennen aan dergelijke afwijkingen) De probabiliteit van een beeld wordt gedefinieerd adhv. clique-potentialen een clique is een verzameling van pixels die allen buren zijn van elkaar de potentialen van alle mogelijke cliques in het beeld x worden gesommeerd en bepalen de a priori probabiliteit van het beeld x
© W. Philips, Universiteit Gent, versie: 4/11/ b. 24 soorten cliques Markov Random Field (MRF) prior model De soorten cliques hangen af van de definitie van “buurpixel” buren 4-geconnecteerde nabuurschap 8-geconnecteerde nabuurschap positieve potentiaal negatieve potentiaal Voorbeeld clique-potentialen Pixels met dezelfde kleur zijn meer waarschijnlijk en krijgen negatieve clique-potentiaal toegewezen Pixels met een verschillende kleur zijn minder waarschijnlijk en krijgen positieve potentiaal toegewezen
© W. Philips, Universiteit Gent, versie: 4/11/ b. 25 Voorbeeld: Ising model Ising model (hier uitgelegd voor binair beeld) 4-geconnecteerde nabuurschap clique potentialen (met ≥0 een parameter): xkxk xlxl xkxk xlxl Voorbeelden van beelden gegenereerd met Ising model toenemende Het Ising model genereert beelden van het “cartoon” type: eerder egale gebieden gescheiden door scherpe randen
Total variation ruisonderdrukking
© W. Philips, Universiteit Gent, versie: 4/11/ b. 27 Total variation ruisonderdrukking Principe: voor een gegeven ruizig beeld b ’( x,y ), zoek het ideaal beeld dat E tv mimimaliseert naar b ( x,y ), met datafit-termregularisatieterm(voorkennis) Onderliggend beeldmodel= “cartoon”model beelden bestaan uit grote egale gebieden met b ( x,y ) 0, gescheiden door beeldranden met grote b ( x,y ) bij beelden met ruis is | b ( x,y )| doorgaans groter dan bij het ideaal ruisvrij beeld De regularisatieterm meet de “total variation” (TV) van het beeld x b(x)b(x) x b(x)b(x) zelfde TV x b(x)b(x) grotere TV
© W. Philips, Universiteit Gent, versie: 4/11/ b. 28 Total variation ruisonderdrukking Voor witte gaussiaanse ruis met spreiding n, wordt de regularisatie- parameter soms berekend zodanig dat met de oppervlakte van de beelddrager (Principe van de “wet van de grote getallen”: gemeten variantie kan niet sterk afwijken van de “ensemble”-variantie) gemeten kwadratische fout tussen geschat ideaal beeld en gemeten beeld verwachte kwadratische fout tussen echt ideaal beeld en gemeten beeld Praktische methode: start met = 0 en berekendoor minimalisatie van E tv verhoog of verlaag naargelang de gemeten kwadratische fout te hoog of te laag uitkomt en herbereken herhaal tot de afwijking voldoende klein isTraag!
© W. Philips, Universiteit Gent, versie: 4/11/ b. 29 Total-variation: voorbeeld beeld met witte ruis = 20 Origineel beeld met optimale Regularisatieterm penaliseert niet alleen ruis, maar ook textuur gras wordt weggevaagd Toepassingen: ruisonderdrukking in beelden zonder textuur voorbewerking voor segmentatie
Lineaire en niet lineaire diffusie
© W. Philips, Universiteit Gent, versie: 4/11/ b. 31 Lineaire diffusie Eigenschap gaussiaans filter: h t+t ’ ( x,y ) = ( h t ’ h t )( x,y ) 2 maal toepassen van een filter met t=a filter met t= 2 a Beeld filteren met gaussiaanse PSF met 2 = 2 t De beelden b t ( x,y ) = ( b h t )( x,y ) voldoen aan de lineaire diffusievergelijking met Toepassing: berekenen van alle b t ( x,y ) met t=nt 0 via een cascade van filters h a ( x,y ) n= 1 n= 2 n= 3 … De implementatie via een cascade is veel sneller dan rechtstreekse berekening (veel groter filtermasker nodig voor t=na dan voor t=a en n maal toepassen van filter met t=a filter met t=na
© W. Philips, Universiteit Gent, versie: 4/11/ b. 32 Lineaire diffusie en “scale-space” De beelden b t ( x,y ) met t= 2 n a = “scale-space” ontbinding van b ( x,y ) Eigenschappen: bij toenemende t de beelden hebben allemaal dezelfde gemiddelde waarde origineel beeld n= 1 n= 10 n= 20 Toepassing: multischaal-analyse detecteer grote objecten in de heel wazige beelden detecteer kleinere objecten in de scherpe beelden Toepassing: ruisonderdrukking de verschilbeelden b t ( x,y ) -b t-a ( x,y ) hebben gelijkaardige beelden als de wavelet- detailbeelden shrinkage-gebaseerde technieken ze worden steeds waziger en worden steeds meer “details” door de verwaziging weggeveegd de ruis wordt zwakker en zwakker n= 30
© W. Philips, Universiteit Gent, versie: 4/11/ b. 33 Isotrope niet-lineaire diffusie Bedoeling: uitschakeling van het diffusieproces in de omgeving van beeldranden, d.w.z. berekenen van een cartoon-model ruisonderdrukking in egale gebieden, maar behoud van randen Perona Malik: voor grote gradiënten:voor kleine gradiënten: Perona Malik: de diffusie wordt “gestopt” aan beeldranden omdat de gradiënt g daar groot is Bijzondere gevallen: lineaire diffusie want c ( g ) = 1 met en Algemeen schema (Perona en Malik)
© W. Philips, Universiteit Gent, versie: 4/11/ b. 34 Anisotrope niet-lineaire diffusie… Bedoeling: de diffusie aan de beeldranden niet volledig uitschakelen, maar daar uitmiddelen volgens een richting parallel aan de rand ruisonderdrukking in egale gebieden, en aan randen Algemeen schema met C (. ) een vierkante matrix Perona Malik 2: Perona Malik 1: Bijzondere gevallen: Opmerking: wij beperken ons tot diagonale C (. ), maar dat hoeft niet!
© W. Philips, Universiteit Gent, versie: 4/11/ b. 35 …Anisotrope niet-lineaire diffusie… Algemeen schema met C (. ) een vierkante matrix Voor voldoend kleine a geldt (zonder bewijs) b t+a ( x ’,y ’) ( b t h t,x ’,y ’ )( x,y ) Interpretatie: spatiaal adaptief (niet-stationair) filter lokaal, d.w.z. in de omgeving van een bepaald punt ( x ’, y ’) verandert één diffusiestap (overgang t t+a ) het beeld als een gaussiaans filter waarbij de vorm van de PSF zich aanpast aan de randsterkte en randoriëntatie, n.l. aan c x ( x ’, y ’) en c y ( x ’, y ’) met b.v.
© W. Philips, Universiteit Gent, versie: 4/11/ b. 36 …Anisotrope niet-lineaire diffusie Voor voldoend kleine a geldt (zonder bewijs) b t+a ( x ’,y ’) ( b t h t,x ’,y ’ )( x,y ) Voorbeeld 1: eerder egaal gebied |g x | 0 en |g y | 0 c x ( x ’, y ’) 1 en c y ( x ’, y ’) 1 Voorbeeld 2: sterke vertikale rand |g x | zeer groot en |g y | 0 c x ( x ’, y ’) 0 en c y ( x ’, y ’) 1 x y x y h t,x ’,y ’ =constante isotrope filtering (in alle richtingen evenveel) anisotrope filtering (enkel in de vertikale richting) met b.v.
© W. Philips, Universiteit Gent, versie: 4/11/ b. 37 Origineel CT beeld Voorbeeld: Perona-Malik 1 Anisotrope niet-lineaire diffusie behoudt de grote objectstructuren Ruis en kleine structuren verdwijnen Veel iteraties nodig voor een “goed” resultaat Perona-Malik 1 ; n= 10 Perona-Malik 1 ; n= 30
© W. Philips, Universiteit Gent, versie: 4/11/ b. 38 Origineel CT beeld Voorbeeld: Perona-Malik 2 Perona-Malik 2 ; n= 10 In dit geval minder iteraties nodig om de ruis evenveel te onderdrukken en minder randverwaziging Er wordt nog veel onderzoek verricht naar de optimale methode
© W. Philips, Universiteit Gent, versie: 4/11/ b. 39 Bibliografie Voorbeelden van wetenschappelijke artikels (aan te vullen) Homomorfisch filter Markov random velden Total variation ruisonderdrukking Guy Gilboa, Nir Sochen, Yehoshua Y. Zeevi, "Texture Preserving Variational Denoising Using an Adaptive Fidelity Term", Proc. VLSM 2003, Nice, France, Oct Lineaire, niet-lineaire en anisotrope diffusie. Weickert. Linear scale space has first been proposed in Japan. Journal of Mathematical Imaging and Vision, 10(3): , May P. Perona, J. Malik, "Scale-space and edge detection using anisotropic diffusion", PAMI 12(7), pp , 1990