Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar Tel: 09/ Fax: 09/

© W. Philips, Universiteit Gent, versie: 18/1/ d. 2 Copyright notice This powerpoint presentation was developed as an educational aid to the renewed course “Image processing” (Beeldverwerking), taught at the University of Gent, Belgium as of This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom, provided that the following conditions are observed: 1.If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, ” in a font size of at least 10 point on each slide; 2.You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a file); 3. If you modify the presentation, you should clearly state so in the presentation; 4.You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation should not intend to make or make a profit from the activity for which you use or distribute the presentation; 5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author. In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also applies to the modified work (i.e., you may not charge for it). “Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to students or employees for self-teaching purposes,... Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s consent. A fee may be charged for such use. Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may contain bugs that might corrupt the data or the operating system on your computer. If you use this presentation, I would appreciate being notified of this by . I would also like to be informed of any errors or omissions that you discover. Finally, if you have developed similar presentations I would be grateful if you allow me to use these in my course lectures. Prof. dr. ir. W. Philips Department of Telecommunications and Information ProcessingFax: University of GentTel: St.-Pietersnieuwstraat 41, B9000 Gent, Belgium

© W. Philips, Universiteit Gent, versie: 18/1/ d. 3 Overzicht Plaats-frequentieanalyse en -ontbindingen Principes Redundante en niet-redundante subbanddecompositie Subbanddecomposities voor beelden Quadrature mirror filters (Daubechies) Verband met wavelets Ruisonderdrukking wavelet shrinkage multischaal technieken Bayesiaanse technieken en Markov-randomvelden Ruisonderdrukking bij video

Waveletgebaseerde restauratie Tijdsfrequentie-ontbindingen

© W. Philips, Universiteit Gent, versie: 18/1/ d. 5 Principes… Beeldmodel van Fouriergebaseerde restauratie (Wienerfilter) “beelden bevatten vooral energie bij lage frequenties” x b(x)b(x) f x |B 1 ( f x )| f x |B 2 ( f x )| f x |B 3 ( f x )| f x |B ( f x )| Realistischer (lokaal) model: beelden bestaan uit de volgende componenten: grote egale gebieden: weinig variatie, “laagfrequent” gebieden met texturen: veel variatie, “hoogfrequent” randen tussen de gebieden: plotse variatie Elke component heeft een eigen typisch spectrum maar in het globaal spectrum worden de lokale spectra gemengd

© W. Philips, Universiteit Gent, versie: 18/1/ d. 6 Opmerkingen De figuren op de voorgaande slide zijn eerder kwalitatief bedoeld De figuren tonen |B ( f x )| maar |B ( f x )|≠ |B 1 ( f x )|+ |B 2 ( f x )|+ |B 3 ( f x )| het laatste spectrum is dus niet de som van de 3 andere maar pieken in B 1 ( f x ), B 2 ( f x ) en B 3 ( f x ) zullen ook aanleiding geven tot pieken in |B ( f x )|

© W. Philips, Universiteit Gent, versie: 18/1/ d. 7 …Principes Mogelijke verbetering: lokaal Wienerfilter splits beeld op in egale gebieden, textuurgebieden, randgebieden gebruik in elk gebied aangepast Wienerfilter Dit is te moeilijk fouriertransformatie kan enkel overweg met rechthoekige gebieden segmentatie (gebieden afbakenen) is moeilijk abrupte overschakeling van één filter naar een ander kan zichtbare artefacten geven … Beter alternatief: subbanddecompositie ipv. fouriertransformatie dit is equivalent met het ontwikkelen van het beeld in een lineaire combinatie van wavelet-basisfuncties Opmerking: we beperken ons hier tot ruisonderdrukking (geen verscherping)

© W. Philips, Universiteit Gent, versie: 18/1/ d. 8 Laagdoorlaat en hoogdoorlaatfilter origineellaagdoorlaathoogdoorlaat +  origineel beeld is hier de som van de gefilterde beelden

© W. Philips, Universiteit Gent, versie: 18/1/ d. 9 Laagdoorlaat en hoogdoorlaatfilter origineellaagdoorlaathoogdoorlaat Principe: hoge en lage frequenties scheiden door in parallel beeld te filterne met laag- en hoogdoorlaatfilter  In het hoogdoorlaatbeeld zijn gebieden met randen en texturen gemakkelijk te detecteren: het zijn gebieden met hoge energie Het hoogdoorlaat beeld toont hoe de energie in de hoogste frequentiebanden verspreid is in het plaatsdomein  bruikbaar voor “ruimtefrequentie-analyse”

© W. Philips, Universiteit Gent, versie: 18/1/ d. 10 Opmerkingen De filters in de vorige slide dienen om het principe te illustreren. Het zijn niet de courant gebruikte filters We beschouwen nu het ééndimensionaal geval: signalen i.p.v. beelden Om de gedachten te vestigen: de signalen zijn de rijen of kolommen van een beeld

© W. Philips, Universiteit Gent, versie: 18/1/ d s(t)s(t) Redundante subbandontbinding: Principe g(t)g(t) h(t)h(t) laagdoorlaat hoogdoorlaat Hoge en lage frequentiecomponenten in een signaal van elkaar scheiden, door twee filters  twee signalen: laagdoorlaat- en detailsignaal sg(t)sg(t) sh(t)sh(t) s(t)s(t) Voorwaarde: er mag geen informatie verloren gaan  bij elke frequentie moet G ( f )≠0 of H ( f )≠0 restauratie G’ ( f ) Reconstructieformule (niet uniek!): H’ ( f ) g ’( t ) h ’( t ) laagdoorlaat hoogdoorlaat  typisch kiest men |G ( f ) | 2 +|H ( f ) | 2 = 1

© W. Philips, Universiteit Gent, versie: 18/1/ d. 12 Niet-redundante subbandontbinding g(t)g(t) h(t)h(t) laagdoorlaatfilter, doorlaatband  |f |<f s / 4 hoogdoorlaatfilter, doorlaatband  |f |>f s / 4 De subbandontbinding is inherent “redundant”: 1 signaal wordt omgezet in 2 a0a1a2a3a4a5a6a7a0a1a2a3a4a5a6a7 b0b1b2b3b4b5b6b7b0b1b2b3b4b5b6b7 informatieverlies kan worden vermeden, maar de filters moeten aan strengere voorwaarden voldoen onderbemonsteren om de verdubbeling van het aantal monsters ongedaan te maken Niet-redundante subband-ontbinding: 2 2 a0a2a4a6a0a2a4a6 b0b2b4b6b0b2b4b6 sg(n)sg(n) sh(n)sh(n) n= 0 n= 1 t= 0 t= 1

© W. Philips, Universiteit Gent, versie: 18/1/ d. 13 Niet-redundante ontbinding: reconstructie Als reconstructie van het origineel signaal mogelijk is, kan men ze conceptueel in drie stappen doen 1. signalen weer op de originele bemonsteringsfrequentie brengen, waarbij de onbekende monsters door nullen worden vervangen 2. de twee signalen filteren met reconstructiefilters 3. het resultaat optellen Perfecte reconstructie, d.w.z. y ( t ) =x ( t ),  t is enkel mogelijk voor welbepaalde keuzes van de filters g ( t ), h ( t ), g ’( t ), h ’( t ) + h ’( t ) g ’( t ) s(t)s(t) a0a2a4a6a0a2a4a6 b0b2b4b6b0b2b4b6 a00a20a40a60a00a20a40a60 b00b20b40b60b00b20b40b60 2 2

© W. Philips, Universiteit Gent, versie: 18/1/ d. 14 Redundant vs. niet-redundant Niet redundante ontbinding +minder data  minder rekenwerk en geheugen (zowel voor de transformatie, als voor b.v. de toepassing zelf) -minder vrijheid in keuze van de filters voor perfecte reconstructie -geen translatie-invariantie: de subbandontbindingen van s ( t ) en s ( t-k ) zijn enkel voor k even verschoven versies van elkaar  moeilijkheden bij herkennen van beeldstructuren +de ontbinding kan een orthogonale transformatie zijn  ongecorreleerde ruis wordt omgezet in ongecorreleerde ruis  interessant op theoretisch vlak voor ruisonderdrukking Kwalitatief: redundante en niet-redundante decomposities hebben gelijkaardige eigenschappen In de praktijk niet-redundante ontbindingen vooral in beeldcompressie in beeldrestauratie meestal redundante ontbindingen

© W. Philips, Universiteit Gent, versie: 18/1/ d. 15 Aliasing in de niet-redundante ontbinding Door de onderbemonstering met een factor 2 worden hoogfrequente frequentiecomponenten ( f > f s /4) aan de uitgang van het laagdoorlaatfilter omgezet in laagfrequente frequentiecomponenten ( f < f s /4)  valse laagfrequentcomponenten in laagdoorlaatfilter idem voor het hoogdoorlaatfilter: aan de uitgang ervan kunnen we geen onderscheid meer zien tussen componenten met f > f s /4 en componenten met f < f s /4 frequenties waar aliasing optreedt Typische filterkarakteristieken laagdoorlaatfilter laat ruwweg de onderste helft van het frequentiebereik door hoogdoorlaatfilter laat ruwweg de bovenste helft door gewijzigd op: 18 January, 2012

© W. Philips, Universiteit Gent, versie: 18/1/ d. 16 Recursieve subbandontbindingen g(t)g(t) h(t)h(t) 2 2 lage frekwenties hoge frekwenties a g(t)g(t) h(t)h(t) 2 2 b g(t)g(t) h(t)h(t) 2 2 c d g ’( t ) h ’( t ) c d g ’( t ) h ’( t ) b x(t)x(t) g ’( t ) h ’( t ) a y(t)y(t) Perfecte reconstructie: de filters worden zo ontworpen dat y ( t ) =x ( t ) analysefilterbank reconstructiefilterbank

© W. Philips, Universiteit Gent, versie: 18/1/ d. 17 BF: bemonsteringsfrequentie (Hz) DB: ruwe schatting van de aanwezige (fysische) frequenties als fractie van f s, in de veronderstelling dat er geen aliasing optreedt Subbandontbinding: Voorbeeld BF: f s DB: | f |  [0, 0.5] DB: | f |  [0, 0.25]DB: | f |  [0.25, 0.5] DB: | f |  [0, 0.125]DB: | f |  [0.125, 0.25] BF: f s / 2 BF: f s / 4

© W. Philips, Universiteit Gent, versie: 18/1/ d. 18 Tijds-frequentieanalyse… De laagdoorlaat filters h ( t ) laten ruwweg de onderste helft van het frequentiespectrum door en de hoogdoorlaat filters g ( t ) de bovenste helft g(t)g(t) h(t)h(t) 2 2 g(t)g(t) h(t)h(t) 2 2 g(t)g(t) h(t)h(t) 2 2 x(t)x(t) Filters op een dieper niveau werken in op onderbemonsterde signalen en hebben daardoor een evenredig kleinere “effectieve” bandbreedte als f s de originele bemonsteringsfrequentie is, dan laat het hoogdoorlaat filter op diepte j ruwweg het frequentiebereik [ f s / 2 j+ 1, f s / 2 j ] door

© W. Philips, Universiteit Gent, versie: 18/1/ d. 19 Equivalente niet-recursieve filterbank De boom-gestructureerde filterbank is equivalent met individuele filters, gevolgd door zwaardere onderbemonstering g (3) ( n ) 8 g(n)g(n) g (2) ( n ) 2 4 x(n)x(n) h (3) ( n ) 8

© W. Philips, Universiteit Gent, versie: 18/1/ d. 20 Frequentiekarakteristieken filters … De filters voor de hoogste frequentiebanden hebben de hoogste bandbreedt De frequentiekarakteristieken overlappen sterk

© W. Philips, Universiteit Gent, versie: 18/1/ d. 21 … Frequentiekarakteristieken filters De frequentiekarakteristieken overlappen nog steeds sterk, maar vallen toch al iets sneller af Algemene eigenschap: des te groter m, des te steiler de karakteristieken afvallen

© W. Philips, Universiteit Gent, versie: 18/1/ d. 22 Opmerkingen De berekening via de filterboom is veel sneller dan via de parallelle filters in de boom werken de filters in op veel kortere signalen en hebben alle filters veel kleinere filtermaskers (de maskers van de equivalente parallelle filters zijn veel langer) De redundante subbandontwikkeling kan ook snel worden berekend via reen boomstructuur van filters dit gebeurt via het “à trous” algoritme op elk niveau zijn er nu andere filters nodig (omdat de bandbreedte moet halveren van niveau tot niveau) de impulsreponsen van deze filters zijn wel nauw verwant met h ( t ) en g ( t )

© W. Philips, Universiteit Gent, versie: 18/1/ d. 23 Het à trous algoritme (redundant geval) g(t)g(t) h(t)h(t) x(t)x(t) g1(t)g1(t) h1(t)h1(t) g2(t)g2(t) h2(t)h2(t) De filters in de redundante transformatie worden verkregen door nullen te plaatsen in de filters van de vorige niveaus (verifieer) Efficiënte berekening door rekening te houden met optreden nullen l (0) -l (1) l (2) -l (3) l (2)0 -l (3) l (0)0 -l (1)0 00 l (0) l (3)0 l (2)0

© W. Philips, Universiteit Gent, versie: 18/1/ d. 24 Opmerkingen De recursieve ontbinding de bandbreedte van de filters op diepere niveau’s wordt steeds kleiner bij niet-redundante ontbindingen wordt bandbreedtereductie gerealiseerd door dezelfde filters te laten inwerken op onderbemonsterde signalen bij redundante ontbindingen wordt de bandbreedtereductie gerealiseerd door verschillende filters met steeds lager wordende bandbreedte De uitgangssignalen van een filterpaar kan men nog verder opsplitsen m.b.v. dezelfde of een andere filterbank; bij klassieke subbandontbinding splitst men enkel het laagdoorlaat uitgangssignaal verder op Reden: vele praktische signalen zijn stuksgewijs glad; het hoogdoorlaat filter is zo ontworpen dat de respons op zulke signalen zo klein mogelijk is het hoogdoorlaat signaal bevat dus minder informatie dan het laagdoorlaat signaal en het is dus minder zinvol het nog eens op te splitsen

© W. Philips, Universiteit Gent, versie: 18/1/ d Niveau subbandontbinding van een beeld De wavelettransformatie wordt eerst toegepast op elke rij van het beeld Vervolgens wordt ze toegepast op elke kolom van het resulterend beeld Filteren van rijen Filteren van kolommen Dit is een scheidbare transformatie transformatie op rijen gevolgd door transformatie op kolommen of omgekeerd (zelfde resultaat)

© W. Philips, Universiteit Gent, versie: 18/1/ d. 26 L LL L H LH L L HL HH HH H Notaties De subbanden (detailbeelden) onderscheiden zich van elkaar door het aantal keer dat ze in horizontale en vertikale richting laagdoorlaat gefilterd werden LH LL LH LL LH LL hoogdoorlaat gefilterd in vertikale richting laagdoorlaat gefilterd in horizontale richting in horizontale richting 2x en in vertikale richting 1x laagdoorlaat gefilterd Let op: deze meer-niveau ontbinding is niet langer scheidbaar! maar het geeft niet, want iedere 1-nveau stap is op zich wel scheidbaar (reken- tijd ok!)

© W. Philips, Universiteit Gent, versie: 18/1/ d. 27 Voorbeeld Beeldenergie geconcentreerd in het laagdoorlaat (LLLL) beeld en in minder mate rond de randen in de detailbeelden 4 soorten detailbeelden, naargelang de laatste vertikale en horizontale filteroperatie LL-beeld: één beeld, hier LL LL HL-groep: H L, LH LL, LLH LLL, … LH-groep: L H, LL LH, LLL LLH, … HH-groep: H H, LH LH, LLH LLH, … Similariteit: detailbeelden van een groep lijken op elkaar; bij de niet- redundante transformatie hebben ze wel een verschillende resolutie (aantal pixels)