Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar Tel: 09/ Fax: 09/

© W. Philips, Universiteit Gent, versie: 29/9/ a. 2 Copyright notice This powerpoint presentation was developed as an educational aid to the renewed course “Image processing” (Beeldverwerking), taught at the University of Gent, Belgium as of This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom, provided that the following conditions are observed: 1.If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, ” in a font size of at least 10 point on each slide; 2.You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a file); 3. If you modify the presentation, you should clearly state so in the presentation; 4.You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation should not intend to make or make a profit from the activity for which you use or distribute the presentation; 5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author. In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also applies to the modified work (i.e., you may not charge for it). “Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to students or employees for self-teaching purposes,... Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s consent. A fee may be charged for such use. Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may contain bugs that might corrupt the data or the operating system on your computer. If you use this presentation, I would appreciate being notified of this by . I would also like to be informed of any errors or omissions that you discover. Finally, if you have developed similar presentations I would be grateful if you allow me to use these in my course lectures. Prof. dr. ir. W. Philips Department of Telecommunications and Information ProcessingFax: University of GentTel: St.-Pietersnieuwstraat 41, B9000 Gent, Belgium

De lesgever

© W. Philips, Universiteit Gent, versie: 29/9/ a. 4 Coördinaten Vakgroep: Telecommunicatie en informatieverwerking Onderzoeksgroep: Beeldverwerking en -interpretatie Bureau: TELIN, verdieping T, Technicum, linker ingang, St.-Pietersnieuwstraat 41 Tel: Web:

© W. Philips, Universiteit Gent, versie: 29/9/ a. 5 Onderwijsactiviteiten Opleidingsonderdelen beeldverwerking optimalisatietechnieken Afstudeerwerken beeldverwerking

© W. Philips, Universiteit Gent, versie: 29/9/ a. 6 Onderzoeksactiviteiten Onderzoeksdomein: beeld-en videoverwerking restauratie videoanalyse en interpretatie kwantificeren kwaliteit beelden en algoritmen toepassingen: aardobservatie, bewaking, medische toepassingen… Onderzoeksgroep: Beeldverwerking en interpretatie 3 professoren en 3 gastprofessoren 5 post-docs en 1 technologie-ontwikkelaar 25-tal doctoraatsstudenten (inclusief Hogeschool gent) Samenwerkingsverbanden, b.v. academisch: IBBT, Stanford Ambient Intelligence Research Lab, … bedrijven en organisaties: Food and Drug Administration, TomTom, Picanol, Barco, Alcatel-Lucent, Grass Valley, Philips Medical Systems … spin-offs: GeoInvent, Gatewing

Inleiding Enkele onderwerpen in de beeldverwerking

© W. Philips, Universiteit Gent, versie: 29/9/ a. 8 Enkele voorbeelden Beeldrestauratie waveletgebaseerde ruisonderdrukking onderdrukking complexe artefacten (non-local averaging) superrresolutie, deinterlacing en interpolatie Beeldanalyse segmenteren en analyse van medische beelden tellen en analyse van nematodes Videoverwerking Gatewing en Mosaicing Positiebepaling op basis van video Detectie van gezichten en kijkhoekbepaling Mosaicking Gedistribueerde videoverwerking

© W. Philips, Universiteit Gent, versie: 29/9/ a. 9 Waveletgebaseerde ruisonderdrukking

© W. Philips, Universiteit Gent, versie: 29/9/ a. 10 Ruisonderdrukking

© W. Philips, Universiteit Gent, versie: 29/9/ a. 11 Superresolutie …20 beelden opgenomen met een videocamera origineel onze methode

© W. Philips, Universiteit Gent, versie: 29/9/ a. 12 bilinear deinterlacing SR one field Super resolution

© W. Philips, Universiteit Gent, versie: 29/9/ a. 13 ideaal beeld ideale sensoruitvoer = schatting van alle kleurcomponenten van alle pixels, gegeven de geobserveerde pixel kleurcomponenten Doelstelling masterthesis Kevin Anckaert = ontwerp van een estimator van het origineel beeld gegeven de met ruis bevattende beeldsensor uitvoer schatting demosaicing + ruisonderdrukking Denosaicking sensoruitvoer met ruis

© W. Philips, Universiteit Gent, versie: 29/9/ a. 14 Reconstructie van hoogfrequente luminantie: Informatie zit vervat in de ‘chrominantie’ subbanden residu van subbanden na reconstructie van chrominantie demosaicing ( basis ) lokaal adaptieve demosaicing reconstructie hoogfrequente luminantie Reconstructie hoogfrequente luminantie

© W. Philips, Universiteit Gent, versie: 29/9/ a. 15

© W. Philips, Universiteit Gent, versie: 29/9/ a. 16 Enkele voorbeelden Beeldrestauratie waveletgebaseerde ruisonderdrukking onderdrukking complexe artefacten (non-local averaging) superrresolutie, deinterlacing en interpolatie Beeldanalyse segmenteren en analyse van medische beelden tellen en analyse van nematodes Videoverwerking Gatewing en Mosaicing Positiebepaling op basis van video Detectie van gezichten en kijkhoekbepaling Mosaicking Gedistribueerde videoverwerking

© W. Philips, Universiteit Gent, versie: 29/9/ a. 17 Hoofdmodellen uit MRI-beelden Scalp Brain tissue (WM+GM) Brain Skull Fat

© W. Philips, Universiteit Gent, versie: 29/9/ a. 18 Segmenteren van medische beelden

© W. Philips, Universiteit Gent, versie: 29/9/ a. 19 C.Elegans detectie Green: CorrectRed: Incorrect Yellow: Real nematodes

© W. Philips, Universiteit Gent, versie: 29/9/ a. 20 Enkele voorbeelden Beeldrestauratie waveletgebaseerde ruisonderdrukking onderdrukking complexe artefacten (non-local averaging) superrresolutie, deinterlacing en interpolatie Beeldanalyse segmenteren en analyse van medische beelden tellen en analyse van nematodes Videoverwerking Gatewing en Mosaicing Positiebepaling op basis van video Detectie van gezichten en kijkhoekbepaling Mosaicking Gedistribueerde videoverwerking

© W. Philips, Universiteit Gent, versie: 29/9/ a. 21 Positiebepaling met camera’s Voertuig bepaalt zijn positie en snelheid door observatie wegdek Dient als correctie/aanvulling bij GPS In samenwerking met Tele-Atlas en Hogeschool Gent

© W. Philips, Universiteit Gent, versie: 29/9/ a. 22 Gezichtsdetectie en kijkhoekdetectie Samenwerking met MMlab

© W. Philips, Universiteit Gent, versie: 29/9/ a. 23 Gatewing Ugent spin-off (Peter Cosyn, Jan Vierendeels)

© W. Philips, Universiteit Gent, versie: 29/9/ a. 24 Mosaicing

© W. Philips, Universiteit Gent, versie: 29/9/ a. 25 Mosaicing Samenwerking met VITO

© W. Philips, Universiteit Gent, versie: 29/9/ a. 26 Enkele voorbeelden Beeldrestauratie waveletgebaseerde ruisonderdrukking onderdrukking complexe artefacten (non-local averaging) superrresolutie, deinterlacing en interpolatie Beeldanalyse segmenteren en analyse van medische beelden tellen en analyse van nematodes Videoverwerking Gatewing en Mosaicing Positiebepaling op basis van video Detectie van gezichten en kijkhoekbepaling Mosaicking Gedistribueerde videoverwerking

© W. Philips, Universiteit Gent, versie: 29/9/ a. 27 Multi-camera videoanalyse: occupancy map Occupance mapping: waar bevinden zich bewegende objecten? Resultaat uit doctoraat Linda Tessens en Marleen Morbée In samenwerking met Wireless Sensor Networks lab

© W. Philips, Universiteit Gent, versie: 29/9/ a. 28 Multicamera videoanalyse: positiebepaling

© W. Philips, Universiteit Gent, versie: 29/9/ a. 29 Environmental learning Niet: stoelen herkennen Wel: “een stoel is een plaats waar veel paden eindigen” Ruwe paden Position density plot with tracks Average occupancy table carpet chairs

© W. Philips, Universiteit Gent, versie: 29/9/ a. 30 Automatische cameraselectie Welke camera heeft het “beste” beeld? In samenwerking met Wireless Sensor Networks lab

© W. Philips, Universiteit Gent, versie: 29/9/2011 Base Station + Scan-line extractor Face detector Gedistribueerde videoanalyse + Faces score Faces score Smart Cam 1 Smart Cam 2Smart Cam bits bits Uitdaging: camera’s laten samenwerken zonder beelden uit te wisselen

De inhoud van de cursus

© W. Philips, Universiteit Gent, versie: 29/9/ a. 33 Overzicht van de cursus Beeldwaarneming en -reproductie Beeldrepresentatie en formaatconversie (beelden en video) Beeld- en videorestauratie grijswaarde- en kleuraanpassing ruisonderdrukking en verscherping Beeld- en videocompressie basisprincipes beeldcompressiestandaarden Primitieve technieken voor beeldanalyse Diverse: Toepassingen van computervisie Beeld- en videomodellen

Praktische regelingen

© W. Philips, Universiteit Gent, versie: 29/9/ a. 35 Cursusmateriaal De “powerpoint”-presentaties: de “officiële” versie is de avond voor de les beschikbaar op eventuele correcties, aangebracht na de les: wijzigingen worden aangeduid met een geel vierkantje belangrijke wijzigingen worden vermeld op de webpagina Syllabus taal: engels, maar enkele hoofdstukken zijn nog in het nederlands bedoeld als verduidelijking en aanvulling van de presentaties De cursustekst kan nu besteld worden Bestellen=betalen

© W. Philips, Universiteit Gent, versie: 29/9/ a. 36 Project thuis of in TELIN op te lossen in kleine groepen elke groep krijgt een andere opgave binnen een groep moet een duidelijke en evenredige taakverdeling worden afgesproken Project: computerproject (20 uur) Bedoeling: oplossen van een beeldverwerkingsprobleem, op een creatieve manier maar met bestaande technieken inleidingsles op het project: volgende week, 6/10 om 16 uur Wordt gekwoteerd op basis van verslag mondelinge verdediging van dit verslag

© W. Philips, Universiteit Gent, versie: 29/9/ a. 37 Evaluatiesysteem Project 1/3 van de punten Examen 2/3 van de punten schriftelijk en gesloten boek Opmerking geen project indienen of quasi pro-forma project indienen  niet-delibereerbare score (zie ECTS-fiche voor details) project kan niet hernomen worden in 2e zit (punten worden overgedragen) vroeg begonnen is half gewonnen hou contact met assistenten (via minerva)

© W. Philips, Universiteit Gent, versie: 29/9/ a. 38 Literatuur Boeken ++ R.C. Gonzalez and R.E. Woods. Digital Image Processing. Addison- Wessley, 3rd edition, Prentice Hall, ISBN W.K. Pratt. Digital Image Processing. John Wiley and Sons, ISBN J.C. Russ. The Image processing handbook. IEEE Press, 3 edition, ISBN A. Bovik. The Essential Guide to Video Processing. Academic Press, ISBN: R. Klette and P. Zamperoni. Handbook of image processing operators. John Wiley, ISBN Prijs/kwaliteit: +=redelijk ++=goed Software ++ xv (unix): visualisatie, kleuraanpassing, enkele filteroperaties ++ ImageMagick (unix): visualisatie, kleuraanpassing, enkele filteroperaties ++ gimp (unix): beeldmanipulatieprogramma + scilab (met sip image processing toolbox)