Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar 2011-2012

Presentatie over: "Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar 2011-2012"— Transcript van de presentatie:

1 Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar 2011-2012 philips@telin.UGent.be http://telin.UGent.be/~philips/beeldv/ Tel: 09/264.33.85 Fax: 09/264.42.95

2 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 2 Copyright notice This powerpoint presentation was developed as an educational aid to the renewed course “Image processing” (Beeldverwerking), taught at the University of Gent, Belgium as of 1998. This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom, provided that the following conditions are observed: 1.If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, 1998- 2002” in a font size of at least 10 point on each slide; 2.You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a file); 3. If you modify the presentation, you should clearly state so in the presentation; 4.You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation should not intend to make or make a profit from the activity for which you use or distribute the presentation; 5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author. In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also applies to the modified work (i.e., you may not charge for it). “Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to students or employees for self-teaching purposes,... Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s consent. A fee may be charged for such use. Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may contain bugs that might corrupt the data or the operating system on your computer. If you use this presentation, I would appreciate being notified of this by email. I would also like to be informed of any errors or omissions that you discover. Finally, if you have developed similar presentations I would be grateful if you allow me to use these in my course lectures. Prof. dr. ir. W. PhilipsE-mail: philips@telin.UGent.be Department of Telecommunications and Information ProcessingFax: 32-9-264.42.95 University of GentTel: 32-9-264.33.85 St.-Pietersnieuwstraat 41, B9000 Gent, Belgium

3 Beeldrestauratie

4 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 4 Overzicht Degradatiemodel Lineaire restauratie in het Fourierdomein Invers filter + toepassing (unsharp masking) Toepassing invers filter: Homomorfisch filter (contrastaanpassing) Het Wiener filter (theoretisch optimaal filter) Modelgebaseerde beeldrestauratie: algemene principes Bayesiaanse technieken: statistische modellen Regularisatie: penalisatie van niet-gewenste lokale beeldstructuren Cartoon-modellen: “beelden bestaan uit egale gebieden gescheiden door randen” Markov random velden Total variation Lineaire en niet-lineaire diffusie: vooral bedoeld als voorbewerking voor beeldanalyse

5 Het Wiener filter

6 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 6 Wiener filter Veronderstelt statistische voorkennis over beeld en ruis, n.l. kennis van het verwacht vermogenspectrum van ideaal beeld en ruis: speciaal geval: witte ruis Minimaliseert de verwachte kwadratische afwijking tussen gerestaureerd beeld f (x,y)=(w  b ’ )(x,y) en (onbekend) ideaal beeld b ( x,y ) door optimale keuze van w ( x,y ) Te optimaliseren variabelen Parseval kost minimaal  Verkeerd! Slechte methode levert soms goed resultaat :->

7 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 7 Wiener filter: verkeerde afleiding/juist resultaat invers filter signaal-ruisverhouding van gedegradeerd beeld bij frequentie ( k,l ) Veronderstelling: beeld en ruis niet gecorreleerd: E( B k,l N k,l * )=0

8 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 8 Waarde gekozen via “trial and error” … Wiener filter Conclusie: Wiener filter benadert invers filter bij spatiale frequenties met hoge SNR verwijdert frequentiecomponenten met lage SNR invers filtersignaal-ruisverhouding van gedegradeerd beeld bij frequentie ( k,l ) Opmerkingen theorie geldt enkel als ruis en beeld niet gecorreleerd zijn modelleert de beeldeigenschappen maar in beperkte mate: er bestaan veel beelden met dit spectrum, waaronder veel niet-realistische is moeilijk te schatten  veel gebruikte benadering:

9 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 9 Opmerking Motivatie voor  de benadering is dan ruwweg in orde benadering: correct: Ruwe benadering: de overgang van (a) naar (b) is abrupt en treedt op bij 0 als H kl  0 alsen |H kl | voldoende groot (a) (b) de overgang van (c) naar (d) is ook abrupt en door keuze van K kan men ervoor zorgen dat die ook optreedt bij 0 als H kl  0 als K en |H kl | voldoende groot (c) (d) Stel witte ruis, d.w.z.

10 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 10 Voorbeeld: bewegingsvervaging Bewegingsvervaging=uitmiddelen in een bepaalde richting Veronderstelt gekende (exacte) puntspreidingsfunctie van de vervaging Origineel BewegingsvervagingGerestaureerd PSF

11 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 11 Voorbeeld: bewegingsvervaging Verkeerde voorkennis gebruiken is erger dan niks doen Correcte PSF Veronderstelde uitsmering 2x groter dan in werkelijkheid Veronderstelde uitsmering onder andere hoek dan in werkelijkheid

12 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 12 Overzicht Degradatiemodel Lineaire restauratie in het Fourierdomein Invers filter + toepassing (unsharp masking) Toepassing invers filter: Homomorfisch filter (contrastaanpassing) Het Wiener filter (theoretisch optimaal filter) Modelgebaseerde beeldrestauratie Bayesiaanse technieken: statistische modellen Regularisatie: penalisatie van niet-gewenste lokale beeldstructuren Cartoon-modellen: “beelden bestaan uit egale gebieden gescheiden door randen” Markov random velden Total variation Lineaire en niet-lineaire diffusie: vooral bedoeld als voorbewerking voor beeldanalyse

13 Modelgebaseerde beeldrestauratie

14 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 14 Bayesiaanse technieken Principe: modelleer voorkennis omtrent het ideaal beeld x (b.v. over pixelwaarden, fourier-coëfficiënten of waveletcoëfficiënten van een beeld) a.d.h.v. een “prior” distributie p x ( x) modelleer storingen (b.v. wazigheid en ruis) met een “conditionele” distributie p y|x ( y|x) prior distributie (beeldmodel) conditionele distributie (model van ruis en vervaging) distorsie p y|x ( y|x) Bayes schatter x y ideaal beeld opgenomen beeld gerestaureerd beeld voor een gegeven gemeten data y, bereken de meest waarschijnlijke ruisvrije data x die tot y aanleiding geeft  regel van Bayes = MAP (maximum a posteriori probabiliy) regel

15 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 15 De regularisatieparameter >0 laat toe meer of minder belang te hechten aan voorkennis: weinig belang aan voorkennis: veel belang aan voorkennis: 0 Regularisatie Maximaliseernaar x datafit-term (model ruis en vervaging)  minimaliseer regularisatieterm (voorkennis) regularisatieparameter Algemener: minimaliseer Opmerkingen -log( p y|x ( y|x) )≥0 en -log( p x ( x) )≥0 MAP is een bijzonder geval, n.l. voor =1

16 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 16 Triviaal voorbeeld… Stel beeld met 1 pixel; originele grijswaarde x; na degradatie: y Distorsiemodel: geen vervaging, enkel gaussiaanse additieve ruis; y=x+n waarbij de ruis n verwachtings-waarde 0 heeft en spreiding  n Restauratieformule: metde signaalruisverhouding Opmerking: voor  =0 en =1 is dit niets anders dan het Wiener filter voor een beeld met 1 pixel; het Wiener filter is dus een bijzonder geval Gaussiaans beeldmodel: grijswaarde schommelt rond  met spreiding  x

17 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 17 …Triviaal voorbeeld Restauratieformule: Interpretatie: bij weinig ruis ( s , of weinig belang aan voorkennis ( )  geen ruisonderdrukking bij veel ruis ( s , of veel belang aan voorkennis ( )  volledige onderdrukking van ruis en beeld Veralgemening voor een ideaal beeld met fouriercoëfficiënten B kl : Stel B kl ongecorreleerde gaussiaanse veranderlijken met en (gekend) en additieve witte gaussiaanse ruis met en = 1 (MAP-schatting)  in dit geval is de MAP-schatting het Wiener filter dat ook de verwachte kwadratische fout minimaliseert

18 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 18 Wiener filter: Bayesiaanse interpretatie Het Wienerfilter kan gezien worden als een Bayesiaanse schatter als de ruis additief is als het beeld en de ruis elk een gaussiaanse statistiek hebben en bovendien: E ( B kl )=0 en beeld en ruis stationair zijn  E ( B kl B k’l’ * )=0 en E ( N kl N k’l’ * )=0 voor ( k,l )≠( k’,l’ ) en beeld- en ruisdata onderling ongecorreleerd zijn: E ( B kl N kl * )=0 In dat geval de vector x bestaat uit alle DFT coefficienten B k,l wordt p x ( x) eenduidig bepaald door

19 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 19 Opmerkingen Het Wienerfiltermodel heeft als voordeel dat het kan aangepast worden aan één beeld of een klasse van beelden Voorbeeld:met B ’ kl de DFT van het gedegradeerd beeld, kan dienen als ruwe schatting van Kwaliteitstest voor een beeldmodel bouw randomgenerator volgens het priormodel en genereer er beelden mee Hebben deze beelden “realistische” eigenschappen? De kwaliteit van het Wiener beeldmodel is echter niet schitterend beelden met dezelfde | B kl | als een gegeven beeld maar met een verschillende faze zijn even waarschijnlijk voor het model maar ze zien er toch sterk verstoord uit

20 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 20 Beelden met het zelfde energiespectrum b 1 ( f x, f y ) |=b 2 ( f x, f y ) |=b 3 ( f x, f y ) |  Er bestaan veel onrealistische beelden met een realistisch energiespectrum max. fazedraaiing: 180º |b 1 ( f x, f y ) | max. fazedraaiing: 90º |b 2 ( f x, f y ) | |b 3 ( f x, f y ) | max. fazedraaiing: 45º

21 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 21 Opmerking Beelden op vorig blad werden als volgt verkregen bereken de DFT van “claudia” breng een random fasedraaiingen aan aan elke DFT-coëfficiënt fasedraaiing gekozen volgens random distributie en zodanig dat de DFT-coëfficiënten nog steeds de DFT- coëfficiënten zijn van een reëelwaardig beeld. Het Wiener filter schat het onbekend ideaal beeld uit het gemeten beeld en voorkennis van het vermogenspectrum van een beeld de modellering van voorkennis is echter eerder zwak, want niet- realistische beelden

22 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 22 Markov Random Field (MRF) prior model Basisidee MRF in beelddomein beelden zijn hoofdzakelijk egaal: de intensiteit van een pixel wijkt zelden sterk af van zijn buren normalisatiesom van de clique-potentialen van alle cliques in het beeld objectranden komen minder voor; daar kan een pixel weliswaar sterk afwijken van sommige buren, maar niet van alle buren  de prior moet afwijkingen tussen buurpixels “penaliseren” (een lage probabiliteit toekennen aan dergelijke afwijkingen) De probabiliteit van een beeld wordt gedefinieerd adhv. clique-potentialen een clique is een verzameling van pixels die allen buren zijn van elkaar de potentialen van alle mogelijke cliques in het beeld x worden gesommeerd en bepalen de a priori probabiliteit van het beeld x

23 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 23 soorten cliques Markov Random Field (MRF) prior model De soorten cliques hangen af van de definitie van “buurpixel” buren 4-geconnecteerde nabuurschap 8-geconnecteerde nabuurschap positieve potentiaal negatieve potentiaal Voorbeeld clique-potentialen Pixels met dezelfde kleur zijn meer waarschijnlijk en krijgen negatieve clique-potentiaal toegewezen Pixels met een verschillende kleur zijn minder waarschijnlijk en krijgen positieve potentiaal toegewezen

24 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 24 Voorbeeld: Ising model Ising model (hier uitgelegd voor binair beeld) 4-geconnecteerde nabuurschap clique potentialen (met   ≥0 een parameter): xkxk xlxl xkxk xlxl Voorbeelden van beelden gegenereerd met Ising model toenemende  Het Ising model genereert beelden van het “cartoon” type: eerder egale gebieden gescheiden door scherpe randen

25 Total variation ruisonderdrukking

26 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 26 Total variation ruisonderdrukking Principe: voor een gegeven ruizig beeld b ’( x,y ), zoek het ideaal beeld dat E tv mimimaliseert naar b ( x,y ), met datafit-termregularisatieterm(voorkennis) Onderliggend beeldmodel= “cartoon”model beelden bestaan uit grote egale gebieden met  b ( x,y )  0, gescheiden door beeldranden met grote  b ( x,y ) bij beelden met ruis is |  b ( x,y )| doorgaans groter dan bij het ideaal ruisvrij beeld De regularisatieterm meet de “total variation” (TV) van het beeld x b(x)b(x) x b(x)b(x) zelfde TV x b(x)b(x) grotere TV

27 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 27 Total variation ruisonderdrukking Voor witte gaussiaanse ruis met spreiding  n, wordt de regularisatie- parameter  soms berekend zodanig dat met  de oppervlakte van de beelddrager (Principe van de “wet van de grote getallen”: gemeten variantie kan niet sterk afwijken van de “ensemble”-variantie) gemeten kwadratische fout tussen geschat ideaal beeld en gemeten beeld verwachte kwadratische fout tussen echt ideaal beeld en gemeten beeld Praktische methode: start met = 0 en berekendoor minimalisatie van E tv verhoog of verlaag naargelang de gemeten kwadratische fout te hoog of te laag uitkomt en herbereken herhaal tot de afwijking voldoende klein isTraag!

28 © W. Philips, Universiteit Gent, 1998-2012versie: 16/11/2011 07c. 28 Total-variation: voorbeeld beeld met witte ruis  = 20 Origineel beeld met optimale Regularisatieterm penaliseert niet alleen ruis, maar ook textuur  gras wordt weggevaagd Toepassingen: ruisonderdrukking in beelden zonder textuur voorbewerking voor segmentatie