Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar 2010-2011

Presentatie over: "Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar 2010-2011"— Transcript van de presentatie:

1 Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar 2010-2011 philips@telin.UGent.be http://telin.UGent.be/~philips/beeldv/ Tel: 09/264.33.85 Fax: 09/264.42.95

2 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 2 Copyright notice This powerpoint presentation was developed as an educational aid to the renewed course “Image processing” (Beeldverwerking), taught at the University of Gent, Belgium as of 1998. This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom, provided that the following conditions are observed: 1.If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, 1998- 2002” in a font size of at least 10 point on each slide; 2.You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a file); 3. If you modify the presentation, you should clearly state so in the presentation; 4.You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation should not intend to make or make a profit from the activity for which you use or distribute the presentation; 5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author. In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also applies to the modified work (i.e., you may not charge for it). “Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to students or employees for self-teaching purposes,... Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s consent. A fee may be charged for such use. Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may contain bugs that might corrupt the data or the operating system on your computer. If you use this presentation, I would appreciate being notified of this by email. I would also like to be informed of any errors or omissions that you discover. Finally, if you have developed similar presentations I would be grateful if you allow me to use these in my course lectures. Prof. dr. ir. W. PhilipsE-mail: philips@telin.UGent.be Department of Telecommunications and Information ProcessingFax: 32-9-264.42.95 University of GentTel: 32-9-264.33.85 St.-Pietersnieuwstraat 41, B9000 Gent, Belgium

3 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 3 Overzicht Plaats-frequentieanalyse en -ontbindingen Principes Redundante en niet-redundante subbanddecompositie Subbanddecomposities voor beelden Quadrature mirror filters (Daubechies) Verband met wavelets Ruisonderdrukking wavelet shrinkage multischaal technieken Bayesiaanse technieken en Markov-randomvelden Ruisonderdrukking bij video Opmerking: delen van deze presentatie zijn gebaseerd op het doctoraatsonderzoek van Aleksandra Pizurica

4 Waveletgebaseerde restauratie Ruisonderdrukking door shrinkage

5 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 5 Tijds-frequentieanalyse Elke waveletbedekt een gebied in de tijdsfrequentieruimte: elke wavelet is geconcentreerd in een bepaald tijdsinterval en in een bepaald frequentiebereik, n.l. de doorlaatband van het corresponderend reconstructiefilter frequentie tijd Tijdsresolutie in een band omgekeerd evenredig met bandbreedte volgnummer n j 1 2 3 De wavelets zijn de “atomen” van de tijdsfrequentieruimte Het product bandbreedte  duur is voor alle wavelets gelijk (onafh. van k en n )

6 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 6 Typische verdeling van de energie van een signaal in de tijdsfrequentieruimte Toepassing: ruisonderdrukking… Basisprincipe: 1. vele nuttige signalen en beelden bestaan uit gladde stukken, gescheiden door discontinuïteiten frequentie tijd de gladde gebieden produceren enkel signaal aan de laagdoorlaat filteruitgangen; (cfr. constructie van de Daubechies-filters) de discontinuïteiten produceren signaal aan alle filteruitgangen, maar slechts op bepaalde ogenblikken  de energie wordt “geconcentreerd in de tijdsfrequentie-ruimte”

7 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 7 Verdeling beeldenergie in waveletdomein Waveletcoëfficienten 0 Pieken corresponderen met beeldranden

8 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 8 …Toepassing: ruisonderdrukking… Basisprincipe: 2. de ruisenergie is wel gelijkmatig verdeeld in de tijdsfrequentie-ruimte frequentie tijd Typische verdeling van de energie van witte ruis in de tijdsfrequentie- ruimte  Op de plaatsen in de tijdsfrequentie-ruimte waar signaal aanwezig is zal de signaalenergie doorgaans veel sterker zijn dan de ruisenergie; op de andere plaatsen zal de (zwakke) ruisenergie het signaal overstemmen  door kleine waveletcoëfficiënten op 0 te zetten zal men hopelijk veel ruis verwijderen en hopelijk weinig nuttige signaalenergie

9 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 9 Ruis in het waveletdomein Waveletco ë fficiënten Pieken corresponderen met randen 0 ruisvrije coëfficiënten

10 Waveletgebaseerde restauratie Ruisonderdrukking door shrinkage

11 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 11 … Toepassing: ruisonderdrukking Wavelet thresholding: kleine waveletcoëfficiënten worden verondersteld enkel veroorzaakt te zijn door ruis en worden dus vervangen door nullen grote waveletcoëfficiënten worden verondersteld een zeer grote signaalcomponent te bevatten en veel minder ruis en worden ongemoeid gelaten vervang wavelet- coëfficiënten x met | x |<  door 0 (redundante) wavelet- transformatie beeld met ruis inverse discrete wavelet- transformatie verbeterd beeld Opmerkingen op de plaatsen waar bovenstaande hypothese niet voldaan is, gaat het mis door alle coëfficiënten op zelfde tijdstip, maar in verschillende frequentie- banden met elkaar te vergelijken zijn betere beslissingen mogelijk demo: stepdaub6.xls

12 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 12 Ruisonderdrukking: hard thresholding Waveletco ë fficiënten 0 T -T 0 Na “hard thresholding”

13 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 13 Hard and soft wavelet thresholding Hard-thresholding: kleine coëfficiënten worden vervangen door 0, grote coëfficiënten blijven ongewijzigd hard invoer coëff. x uitvoer coëff. “Universal threshold”: de drempel wordt evenredig gekozen aan de spreiding  van de ruis in de betreffende waveletband:  univ  c  met c j een theoretisch berekende constante, afhankelijk van de waveletband De keuze  univ  c  garandeert de laagst mogelijke distorsie tussen het gefilterd beeld en het (hypothetisch) ideaal beeld met I |x|≥ de indicatorfunctie (=1 voor |x|≥  en =0 voor |x|≥ ) Soft-thresholding: kleine coëfficiënten worden vervangen door 0, grote coëfficiënten worden een beetje kleiner  continue overgang van klein naar groot met sgn ( x ) het teken van x

14 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 14 Origineel na soft thresholding met  0. 5 univ na soft thresholding met  univ Soft thresholding: voorbeeld 1 Voorbeeld 1: niet-redundante (orthogonale) waveletontbinding Eigenschappen bij hogere drempel : meer ruisonderdrukking maar waziger beeld De universal threshold is theoretisch optimaal, maar in de praktijk kan het nuttig zijn er van af te wijken (scherper, maar ruiziger beeld)

15 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 15 Origineel Soft thresholding: voorbeeld 2 Voorbeeld 2: redundante (niet-orthogonale) waveletontbinding na soft thresholding met  0. 5 univ na soft thresholding met  univ Eigenschappen de redundante transformatie leidt tot betere resultaten (minder artefacten)

16 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 16 Opmerkingen Beperkingen van basisprincipe: kleine coëfficiënten zijn ruis, grote zijn “gewenst beeld” Aan beeldranden (grote coëfficiënten) wordt de ruis minder verwijderd dan in vlakke gebieden  artefacten langs de beeldranden Nuttige maar kleine coëfficiënten worden ook verwijderd; dit treedt vooral op in de hoogfrequente banden  wazigheid door verwijderen hoogfrequent informatie Let op: enkel de coëfficiënten van de detailbeelden worden gewijzigd; die van het laagdoorlaatbeeld veranderen niet Zachte vs. harde thresholding hard  grotere “ensemble”-variantie: voor een vaste ruisvariantie hangt gefilterd beeld meer af van de details van de ruis zacht  “bias” in het geschat beeld: de grote coëfficiënten worden gemiddeld gezien te klein geschat (in absolute waarde) Shrinkage=veralgemening van thresholding kleine coëfficiënten worden kleiner gemaakt, maar niet noodzakelijk op nul gezet

17 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 17 MAP-gebaseerde wavelet shrinkage MAP: Maximum A posteriori Probability: optimale schatting van ruisvrije coëfficiënt uit de gemeten (ruizige) coëfficiënt, rekening houdend met de eerste-orde distributie van de ruisvrije coëfficiënt de ruis hard invoer coëff. x uitvoer coëff. Typisch gedrag: langzame overgang van soft-thresholding (voor kleine coëfficiënten) naar hard-thresholding (voor grote coëfficiënten) met I |x|≥ de indicatorfunctie (=1 voor |x|≥  en =0 voor |x|≥ ) met sgn ( x ) het teken van x Optimale shrinkage (voorbeeld)

18 Waveletgebaseerde restauratie Multischaal technieken

19 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 19 Multischaal technieken Uitbuiten similariteit waveletbanden een grote coëfficiënt gaat gepaard met grote coëfficiënten op dezelfde plaats in andere detailbeelden van dezelfde soort (zelfde “boom”)  betere classificatie mogelijk van “nuttige” en “enkel-ruis” coëfficiënten Multischaal ruisonderdrukking bereken de rand- en textuurprobabiliteit uit een significantiemaat men kan zelfs berekenen hoe de coëfficiënten veranderen in functie van de schaal voor b.v. een ideale beeldrand, een lijn, … vermenigvuldig coëfficiënten met getal variërend van 0 tot 1 naargelang de randsignificantie (enkel ruis  0; duidelijke rand  1)

20 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 20 Multischaal significantiemaat Definitie: de significantiemaat s j ( x,y ) drukt uit hoe waarschijnlijk het is dat een grote waveletcoëfficiënt in die band op die ( x,y ) d.w.z. een rand in bepaalde waveletband j op positie ( x,y ) correspondeert met een echte beeldrand op positie ( x,y ) ( x,y ) j= 3 j= 2 j= 1 Significantie is dus bandafhankelijk: een vertikale rand is b.v. minder goed zichtbaar in een vertikaal gefilterde dan in een horizontaal gefilderde subband De significantiemaat wordt berekend op de “cone of influence” gecentreerd rond ( x,y ) (exact gecentreerd bij redundante transformatie; zoniet benaderd) “cone of influence”=alle waveletcoëfficiënten van dezelfde soort die beïnvloed worden door een eventuele rand door ( x,y ) C3(r)C3(r) C2(r)C2(r)

21 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 21 Opmerkingen APR en ACR worden berekend over beperkt aantal banden ( j=n…k- 1) Average Point Ratio (APR) Average Cone Ratio (ACR) Gebaseerd op de “cone of influence” voor positie r : alle coëfficiënten die door de pixel op positie r worden beïnvloed C2(r)C2(r) C3(r)C3(r) C1(r)C1(r) schaal 2 schaal 3 schaal 1 r Multischaal significantiematen: voorbeelden de formules vergen in de praktijk aanpassingen (deling door 0 mogelijk!) met w j ( r ) de wavelet- coëfficiënt in band j op positie r met deze definities zijn gebaseerd op theoretische inzichten over hoe coëf- ficiënten voor nuttige structuren en ruis variëren als functie van de schaal

22 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 22 Verschillende subbanden Voorbeeld: significantiemaat significant niet significant Significantiemaat Voordeel van multischaal significantiemaat: nauwkeuriger randdetectie  meer kans op een correcte beslissing over de aanwezigheid van beeld en dus over het al dan niet nulstellen van coëfficiënten

23 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 23 Overzicht Plaats-frequentieanalyse en -ontbindingen Principes Redundante en niet-redundante subbanddecompositie Subbanddecomposities voor beelden Quadrature mirror filters (Daubechies) Verband met wavelets Ruisonderdrukking wavelet shrinkage multischaal technieken Bayesiaanse technieken en Markov-randomvelden Ruisonderdrukking bij video

24 Waveletgebaseerde restauratie Bayesiaanse technieken en Markov random velden

25 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 25 coëfficiënten in een band, met significantie groter dan een bepaalde drempelwaarde Nut van incorporatie van een MRF-model Door ruis komt een hoge significantiemaat niet altijd overeen met een echt significante rand: geïsoleerde verkeerdelijk zeer significante coëfficiënten “gaten” in beeldranden, d.w.z. verkeerdelijk te lage significantie prior model  de MRF prior compenseert deze fouten door uit te drukken dat ze weinig waarschijnlijk zijn in ruisvrije beelden omdat echte randen “doorlopen”, d.w.z. zich continu verderzetten

26 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 26 MRF prior model voor waveletcoëfficiënten Basisidee MRF in waveletddomein objectranden  grote waveletcoëfficiënten randen verlopen continu  grote waveletcoëfficiënten hebben altijd enkele grote buren normalisatiesom van de clique-potentialen van alle cliques in het beeld vlakke gebieden  kleine waveletcoëfficiënten waveletcoëfficiënten omringd door kleine waveletcoëfficiënten liggen hoogstwaarschijnlijk in een vlak gebied en zijn dus zelf klein De probabiliteit van een detailbeeld wordt gedefinieerd adhv. clique- potentialen

27 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 27 soorten cliques Markov Random Field (MRF) prior model De soorten cliques hangen af van de definitie van “buurpixel” buren 4-geconnecteerde nabuurschap 8-geconnecteerde nabuurschap positieve potentiaal negatieve potentiaal Voorbeeld clique-potentialen Pixels met dezelfde kleur zijn meer waarschijnlijk en krijgen negatieve clique-potentiaal toegewezen Pixels met een verschillende kleur zijn minder waarschijnlijk en krijgen positieve potentiaal toegewezen

28 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 28 MRF-gebaseerde ruisonderdrukking… bereken significantiemaat (redundante) wavelet- transformatie beeld met ruis MAP posterior via MRF model w j ( x,y ) s j ( x,y ) Techniek van Malfait en Roose randen worden gemodelleerd als stochastische binaire veranderlijken, d.w.z. als label-beeld e j ( x,y ): e j ( x,y ) = 1 (rand in band j ) of -1 (geen rand) inverse discrete wavelet- transformatie Shrinkage: w j ’( x,y ) =w j ( x,y ) p j ( x,y ) verbeterd beeld p j ( x,y ) de significantiemaat kan multischaal zijn, maar kan ook heel eenvoudig zijn, b.v. s j ( x,y ) =|w j ( x,y ) | (bandafhankelijke significantiemaat!) als shrinkage-factor wordt gebruikt: de a posteriori kans p j ( x,y ) dat op positie ( x,y ) een beeldrand aanwezig is in subband j voorkennis over randen wordt gemodelleerd via binair Markov-randomveld voor e j ( x,y ) randsterkte wordt gemeten via significantiemaat s j ( x,y )

29 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 29 Modellering van de vereiste distributies: p s|e ( s|e ) volgt uit de theoretisch statistisch model voor de significantiemaat p e ( e ) wordt bepaald door een Markov-randomveldmodel MAP-formulering: stel e= de vector van de onbekende randlabels e j ( x,y ) van alle banden samen s= de vector van de bekende significanties s j ( x,y ) van alle banden samen …MRF-gebaseerde ruisonderdrukking Praktische methode om p j ( x,y ) te bepalen: random-search genereer op een random manier N randvectoren e met een “hoge” (=niet-verwaarloosbare) waarschijnlijkheid p e|s ( e|s ) tel het aantal keer P j ( x,y ) dat e j ( x,y ) = 1 in deze beelden  p j ( x,y )  P j ( x,y ) /N  regel van Bayes:

30 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 30 Opmerking Opmerking: de “shrinkage regel” w j ’( x,y ) =w j ( x,y ) p j ( x,y ) is heuristisch: geen bewijs dat ze optimaal is, maar ze voldoet aan de verwachtingen p j ( x,y )  -1  corresponderende waveletcoëfficiënt behoort bijna zeker niet tot een rand en moet op 0 gezet worden p j ( x,y )  1  corresponderende waveletcoëfficiënt behoort bijna zeker wel tot een rand en moet bewaard worden

31 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 31 Statistisch model voor de significantiemaat… Vereenvoudigende veronderstelling: de distributie van de significantiemaat s j ( x,y ) van een welbepaalde coëfficiënt hangt af van e j ( x,y ) d.w.z. of er al dan niet een significante rand is op plaats ( x,y ) in waveletband j maar niet van de details van de rand: oriëntatie, breedte, vorm … Uitgangspunt de waarde van de significantiemaat b.v. s j ( x,y ) wordt niet alleen beïnvloed door de aan- of afwezigheid van een significante rand maar ook door allerlei beeldafhankelijke factoren  modelleren als statistische grootheid met distributie p s|e ( s|e ) functie van 2 n veranderlijken voor een band met n coëfficiënten 1 functie van 2 veranderlijken en dus niet van e j ’ ( x ’,y ’) met ( x ’,y ’) ≠ ( x,y ) of j ’ ≠j binaire veranderlijke

32 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 32 …Statisch model voor de significantiemaat p s|r ( s|e ) kan vooraf gemeten worden op een groot aantal testbeelden zoek randen in al de beelden histogram van s op de randposities  p s|e ( s|e= 1) histogram van s op de niet-randposities  p s|e ( s|e= -1) APR 2-4 -4-20246 0 0.1 0.2 0.3 0.4 0.5 0.6 CONDITIONAL DENSITIES pure noise noisy edges Average Point Ratio p s|e ( s|e= -1) p s|e ( s|e= 1) ACR 2-4 -3-201234 0 0.2 0.4 0.6 0.8 1 CONDITIONAL DENSITIES pure noise noisy edges Average Cone Ratio p s|e ( s|e= 1) p s|e ( s|e= -1) Er bestaan echter ook technieken om p s|e ( s|e ) te schatten uit het ruizig beeld Welke significantiemaat is de beste? gewenst: lage ruisgevoeligheid: p s|e ( s|e= -1) en p s|e ( s|e= 1) moeten zo weinig mogelijk overlappen, zodat b.v. een grote s niet toevallig veroorzaakt wordt door ruis als er in werkelijkheid geen rand is

33 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 33 Markov Random Field (MRF) prior model normalisatiesom van de clique-potentialen van alle cliques in het beeld Veelgebruikt: isotroop model voor 8-geconnecteerde nabuurschap, met Ising model voor 2 e orde cliques en nulpotentiaal voor andere cliques Nadeel: isotroop model penaliseert randen te veel (zie volgende slide) met verkorte notatie e k = e ( x k,y k )

34 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 34 Nadeel isotroop MRF model… Bijdrage tot V tot ( e ) van alle cliques waartoe e k behoort: als e k =1 (rand=zwart in de figuur) 3 zwarte cliques met V=-  5 gemengde cliques met V=+   netto + 2  Een randbeeld zoals dit voorbeeld waarin e k =1 (randpixel) is dus exp(4  ) keer minder waarschijnlijk dan een randbeeld met e k =1 (geen randpixel) Beeld met e k =1 is hier echter realistischer: brede, aaneengesloten rand ekek als e k =-1 (geen rand=wit) 5 witte cliques met V=-  3 gemengde cliques met V=+   netto - 2  met

35 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 35 …Nadeel isotroop MRF model Toenemende  Isotroop MRF model: geschatte randen De MRF prior penaliseert sommige randen Indien  0 is de penalisatie zeer laag: p r ( e )  1, onafhankelijk van e  in dit geval bepaalt p s|r ( s|e ) of de rand al dan niet gedetecteerd wordt: beslissing: er is een rand  p s|e ( s|1 )> p s|e ( s|-1 ) Indien  zeer groot is  sommige randen verdwijnen omdat het MRF model ze ten onrechte weinig waarschijnlijk acht, maar minder ruis

36 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 36 Beter prior model Beschouw volledige omgevingen met potentiaal V k, omgeving van k met Motivatie: lage V k  ofwel e k = 1 en minstens één subomgeving N kl heeft veel randlabels e i = 1  omgeving k overlapt met een rand ofwel e k = -1 en elke subomgeving N kl bevat veel niet-randlabels e i = -1  omgeving k overlapt met een egaal gebied Definieer subomgevingen ( l= 0…4) subomgevingen N kl N k,2

37 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 37 Toenemende  Isotroop MRF model Verbeterd model Vergelijking

38 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 38 De random-search procedure genereert opeenvolgende randvectoren e ( k ) die steeds waarschijnlijker worden: p e|s ( e ( k ) |s )≥ p e|s ( e ( k-1 ) |s ) De random search procedure randen e (1) randen e (2) randen e (3) Initiële randen: e (0) Initiële randen e (0) worden b.v. verkregen door s j ( x,y ) te vergelijken met een drempelwaarde De randvectoren e ( k ) zijn op zichzelf echter niet belangrijk; ze worden gebruikt om er p j ( x,y ) uit te schatten

39 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 39 RMSE= Root mean squared error ideaal beeldInvoerbeeld PSNR=14.9 dBPSNR=24.8 dBPSNR=28.3 dB Spatiaal adaptief Wiener filter Nieuw MRF+wavelets Vergelijking tussen technieken Kwaliteitsmaat: “peak signal to noise ratio” ideaal beeldgerestaureerd beeld

40 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 40 Lokale Bayesiaanse technieken… multischaal significantiemaat (redundante) wavelet- transformatie beeld met ruis w j ( x,y ) s j ( x,y ) Verschil met MRF-gebaseerde technieken geen random search meer, maar rechtstreekse schatting van de ruisvrije waveletcoëfficiënten lokale Bayesiaanse estimator inverse discrete wavelet- transformatie verbeterd beeld w ’ j ( x,y ) intraschaal spatiale- activiteitsmaat a j ( x,y ) Vereenvoudigde versie: hou enkel rekening met a j ( x,y ) en niet met s j ( x,y ) geen gezamenlijk model voor alle waveletcoëfficiënten, maar conditioneel model voor één enkele coëfficiënt (niet optimaal)

41 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 41 Verschillen met MRFs a j ( x,y ) is ook groot voor andere beeldstructuren, b.v. textuur dit is goed want de shrinkage-regel zal typisch de ruisonderdrukking uitschakelen bij grote a j ( x,y ), d.w.z. niet alleen bij randen maar ook texturen MRF-gebaseerde technieken zullen texturen sneller onderdrukken …Lokale Bayesiaanse technieken De distributiewordt geschat adhv. het histogram van de waveletcoëfficiënten van de betreffende band Motivering: als het lokaal venster een rand bevat zal a j ( x,y ) typisch veel groter zijn dan als het venster alleen ruis bevat Mogelijke keuze voor de spatiale activiteitsindicator: (gemiddelde grootte van de wavelet- coëfficiënten in een lokaal venster) lokale Bayesiaanse technieken vragen veel minder rekentijd (belangrijk voor uitbreiding naar video) maar MRFs bieden meer ruimte tot uitbreiding

42 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 42 Voorbeelden: kleurbeelden… Methode: Afzonderlijke wavelettransformatie van de R-, G- en B-band lokale Bayesiaanse schatting, waarbij echter ook rekening wordt gehouden met correlaties tussen de R-, G- en B-waveletcoëfficiënten

43 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 43 …Voorbeelden: kleurbeelden

44 © W. Philips, Universiteit Gent, 1999-2011versie: 24/11/2010 08b. 44 Bibliografie Markov random velden en random search in het waveletdomein M. Malfait, D. Roose. Wavelet-based image denoising using a markov random eld a priori model, IEEE Trans. Image Proc., 6(4):549 565, april 1997. M. Malfait. Stochastic Sampling and Wavelets for Bayesian Image Analysis. Doctoraatsthesis K.U.Leuven, 1995. Verbeterde MRF-technieken in het waveletdomein A. Pižurica, W. Philips, I. Lemahieu and M. Acheroy. A Joint Inter- and Intrascale Statistical Model for Bayesian Wavelet Based Image Denoising. IEEE Trans. on Image Processing, vol. 11, no. 5, pp. 545-557, mei 2002. Bayesiaanse technieken in het waveletdomein A. Pižurica. Image Denoising Using Wavelets and Spatial Context Modeling. Doctoraatsthesis UGent, 2002.