Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar Tel: 09/ Fax: 09/
© W. Philips, Universiteit Gent, versie: 24/11/ c. 2 Copyright notice This powerpoint presentation was developed as an educational aid to the renewed course “Image processing” (Beeldverwerking), taught at the University of Gent, Belgium as of This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom, provided that the following conditions are observed: 1.If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, ” in a font size of at least 10 point on each slide; 2.You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a file); 3. If you modify the presentation, you should clearly state so in the presentation; 4.You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation should not intend to make or make a profit from the activity for which you use or distribute the presentation; 5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author. In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also applies to the modified work (i.e., you may not charge for it). “Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to students or employees for self-teaching purposes,... Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s consent. A fee may be charged for such use. Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may contain bugs that might corrupt the data or the operating system on your computer. If you use this presentation, I would appreciate being notified of this by . I would also like to be informed of any errors or omissions that you discover. Finally, if you have developed similar presentations I would be grateful if you allow me to use these in my course lectures. Prof. dr. ir. W. Philips Department of Telecommunications and Information ProcessingFax: University of GentTel: St.-Pietersnieuwstraat 41, B9000 Gent, Belgium
© W. Philips, Universiteit Gent, versie: 24/11/ c. 3 Overzicht Plaats-frequentieanalyse en -ontbindingen Principes Redundante en niet-redundante subbanddecompositie Subbanddecomposities voor beelden Quadrature mirror filters (Daubechies) Verband met wavelets Ruisonderdrukking wavelet shrinkage multischaal technieken Bayesiaanse technieken en Markov-randomvelden Ruisonderdrukking bij video Opmerking: delen van deze presentatie zijn gebaseerd op het doctoraatsonderzoek van Vladimir Zlokolica en Aleksandra Pizurica en op het eindwerk van Bart Goossens
Waveletgebaseerde restauratie Restauratie van video
© W. Philips, Universiteit Gent, versie: 24/11/ c. 5 Probleem: bij beweging treden spookartefacten op de laatdoorlaat-frames
© W. Philips, Universiteit Gent, versie: 24/11/ c. 6 3D Wavelettransformatie (t+2D) Eerst temporele decompositie van het signaal, vervolgens spatiale (2D) decompositie Video-sequentie 1 e temporele decompositie 2 e temporele decompositie 3 e temporele decompositie LLH LH H Waveletcoëfficiëntenkubus LLL
© W. Philips, Universiteit Gent, versie: 24/11/ c. 7 3D Wavelet Denoising (Shrinkage) De techniek van Selesnick Sendur beschouwt video als een 3D-beeld en past eenvoudige shrinkage toe spatiale (2D) wavelettransformatie temporele wavelet- transformatie Shrinkage Invoer- sequentie Framebuffers Nadelen: vereist veel framebuffers om tijdelijke “oude” beelden of waveletcoëfficiënten van oude beelden te onthouden complexe hardware-implementatie inverse spatiale (2D) wavelettransformatie inverse temporele wavelettransformatie uitvoer- sequentie Framebuffers
© W. Philips, Universiteit Gent, versie: 24/11/ c. 8 Mogelijk probleem: spookartefacten Temporeel laagdoorlaat filteren (b.v. door per ongeluk nul maken van waveletcoëfficiënten die niet mogen nul worden) spookartefacten
© W. Philips, Universiteit Gent, versie: 24/11/ c. 9 3D+bewegingscompensatie (MC-3D DWT) Temporele wavelettransformatie: bewegingstrajecten volgen bewegingstrajecten bepalen m.b.v. bewegingsschatting Temporele wavelettransformatie niet toepassen op pixels op dezelfde plaats maar op pixels op het zelfde traject
© W. Philips, Universiteit Gent, versie: 24/11/ c. 10 Temporeel recursief filter… Gefilterde waveletband van vorig beeld T Niet-gefilterde waveletband van huidig beeld X 1- X + Gefilterde waveletband van huidig beeld w r ( x,y,t ) w i ( x,y,t ) met 0≤ ≤1 bepaalt hoe sterk er uitgemiddeld word Recursieve uitmiddeling volgens bewegingstrajectorie: bewegings- vector Bewegingsestimatie: in geval van bewegende objecten zoek positie ( x ’,y ’) in vorig beeld die correspondeert met punt ( x,y ) in het huidig beeld
© W. Philips, Universiteit Gent, versie: 24/11/ c. 11 …Temporeel recursief filter Basisprincipe op korte termijn veranderen bewegende objecten niet veel (tenzij door belichtingsvariaties) uitmiddelen in de tijd wijzigt de objecten niet maar onderdrukt wel ruis filter met lang filtermasker 1 getal om te onthouden over het “verleden” De echte implementatie is complexer: ( x,y,t ) wordt afhankelijk gemaakt van ruisniveau niet meer filteren dan nodig van betrouwbaarheid van bewegingsschatting artefacten vermijden Niet alle ruis wordt verwijderd en de overblijvende ruis is bovendien spatiaal variant omdat niet overal evenveel gefilterd wordt recursief filter om bijhouden veel oude frames te vermijden bijkomend spatiaal adaptief filter nodig: aangepaste versie van Bayesiaans filter in het waveletdomein
© W. Philips, Universiteit Gent, versie: 24/11/ c. 12 2D-waveletfilter + recursief temporeel filter 2D-wavelettransformatie van elk beeld afzonderlijk Recursieve uitmiddeling in de tijd volgens de bewegingstrajectories Adaptief spatiaal-filter omdat de ruis na het temporeel filter niet langer spatiaal stationair is Temporeel recursief Filter (geen wavelets) Adaptief spatiaal filter Inverse 2D wavelet- transformatie 1 frame- buffer Bewegings- schatting invoer- sekwentie uitvoer- sekwentie 2D wavelet- transformatie zeer veel data per beeld T Ruisniveau- schatting geschat ruis- niveau voor vorig beeld weinig data per beeld
© W. Philips, Universiteit Gent, versie: 24/11/ c. 13 Voorbeelden videosekwenties
© W. Philips, Universiteit Gent, versie: 24/11/ c. 14 Evaluatie kwaliteit Voor het beoordelen van de kwaliteit is het dikwijls interessant de PSNR (beeld per beeld gemeten) uit te zetten als functie van de tijd sommige technieken doen het meestal goed maar hebben last met b.v. scènetransities Tennis: = 15 scènetransitie