Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar Tel: 09/ Fax: 09/

© W. Philips, Universiteit Gent, versie: 7/12/ b. 2 Copyright notice This powerpoint presentation was developed as an educational aid to the renewed course “Image processing” (Beeldverwerking), taught at the University of Gent, Belgium as of This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom, provided that the following conditions are observed: 1.If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, ” in a font size of at least 10 point on each slide; 2.You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a file); 3. If you modify the presentation, you should clearly state so in the presentation; 4.You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation should not intend to make or make a profit from the activity for which you use or distribute the presentation; 5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author. In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also applies to the modified work (i.e., you may not charge for it). “Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to students or employees for self-teaching purposes,... Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s consent. A fee may be charged for such use. Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may contain bugs that might corrupt the data or the operating system on your computer. If you use this presentation, I would appreciate being notified of this by . I would also like to be informed of any errors or omissions that you discover. Finally, if you have developed similar presentations I would be grateful if you allow me to use these in my course lectures. Prof. dr. ir. W. Philips Department of Telecommunications and Information ProcessingFax: University of GentTel: St.-Pietersnieuwstraat 41, B9000 Gent, Belgium

Basisoperaties voor beeldanalyse

Hiërarchische segmentatie Vervolg

© W. Philips, Universiteit Gent, versie: 7/12/ b. 5 De methode van de minimum-kost snede… Notaties: V is de verzameling van alle knopen A is een verzameling van knopen en B=V \A is de verzameling van de andere knopen C ( X,Y ): de som van de kosten van alle takken die een knoop uit een verzameling X met een knoop uit een verzameling Y verbinden i j w(i,j)w(i,j) A B Methode van de minimum-kost snede (minimum cut): Zoek A en B=V \A zodat C ( A, B ) minimaal wordt Typische gewichtsfactoren, met x i het zwaartepunt en I i de gemiddelde intentensiteit van segment i : lage splitsingskost voor microsegmenten met sterk verschillende grijswaarde lage splitsingskost voor microsegmenten die ver van elkaar liggen

© W. Philips, Universiteit Gent, versie: 7/12/ b. 6 …Minimum-kost snede Nadeel: de “minimum-kost cut” methode favoriseert het afsplitsen van indivi-duele grote microsegmenten (ongebalanceerde hiërarchische opsplitsing) Segment k ligt ver van alle andere segmenten  snede A heeft veel lagere kost dan snede B Snede B echter beter vanuit het standpunt van hiërarchische opsplitsing in een gebied links met vele kleine microsegmenten een gebied rechts met enkel grote microsegmenten snede A snede B Voorbeeld: k

© W. Philips, Universiteit Gent, versie: 7/12/ b. 7 A B Minimum genormaliseerde-kost snede Beter criterium: genormaliseerde kost relatief aandeel van de takken vanuit A naar B in de kost van alle takken met één uiteinde in A idem, maar voor B ipv. A A B C ( A,V ) C ( A,B ) Voordeel: indien A slechts uit één knoop bestaat, is C ( A,B ) =C ( A,V )  C N ( A,B )≥1: snede geasso- cieerd aan geïsoleerd segment heeft automatisch vrij hoge kost met 0≤ C N ( A,B )≤2 en V= alle knopen

© W. Philips, Universiteit Gent, versie: 7/12/ b. 8 Voorbeelden: Normalized cut… Opmerkingen over dit soort “split”-technieken vrij traag kunnen gecombineerd worden met “merge”-technieken Origineel beeld Microsegmenten Eerste snede

© W. Philips, Universiteit Gent, versie: 7/12/ b. 9 … Voorbeelden: Normalized cut …

© W. Philips, Universiteit Gent, versie: 7/12/ b. 10 … Voorbeelden: Normalized cut Origineel beeld MicrosegmentenNa enkele cut-stappen

Appendix niet te kennen in

© W. Philips, Universiteit Gent, versie: 7/12/ b. 12 De Laplaciaan-randdetector en zadeloppervlakken: Principe: een beeld is een unie van Het teken van de Laplaciaan onderscheidt bergen van dalen bergen: en dalen: of

© W. Philips, Universiteit Gent, versie: 7/12/ b. 13 Zadeloppervlak

© W. Philips, Universiteit Gent, versie: 7/12/ b. 14 De Laplaciaan-randdectector: voorbeeld Principe: bereken voor iedere pixel het teken van de laplaciaan pixels met hetzelfde teken behoren tot hetzelfde segment Dikwijls filtert men eerst het beeld met een gaussiaans filter om ruis te onderdrukken

© W. Philips, Universiteit Gent, versie: 7/12/ b. 15 Niet-lineaire randdetectors We detecteren nu randen tussen pixels i.p.v. op pixels Niet-lineaire detectoren berekenen een statistische test de plausibiliteit dat de (meeste) pixels in a en de (meeste) pixels in b tot verschillend object behoren  deze plausibiliteit neemt de rol over van een partiële afgeleide Deze test moet herhaald worden voor verschillende oriëntaties ab

© W. Philips, Universiteit Gent, versie: 7/12/ b. 16 Randdetectie m.b.v. histogrammen... Verschillende texturen hebben dikwijls histogrammen met een verschillende vorm schors textiel 1 textiel 2bladeren

© W. Philips, Universiteit Gent, versie: 7/12/ b. 17 …Randdetectie m.b.v. histogrammen We proberen een overgang tussen twee texturen te detecteren door de histogrammen in de gebieden a en b te vergelijken ab N =aantal pixels in a =aantal pixels in b De randplausibiliteit G  0 als de histogrammen niet (sterk) verschillen Opmerking: men moet eerst de grijswaarden kwantiseren tot een voldoend klein aantal niveaus n ( n<<N, zoniet zal G altijd dicht bij 1 liggen t.g.v. ruis) Nadeel: vrij grote maskers nodig om tot een zinvol histogram te komen

© W. Philips, Universiteit Gent, versie: 7/12/ b. 18 Segmentatie m.b.v. 2D histogrammen... schors i j De tweedimensionale histogrammen (“co-occurrence matrices”) meten de tweede-orde statistiek van een beeld: Meestal gebruikt men P 1,0 (i,j), P 0,1 (i,j), en P 1,1 (i,j) Meestal werkt men niet met de histogrammen maar met een klein aantal parameters die men uit de histogrammen berekent Met deze parameters definieert men homogeniteitscriteria (bij segmentatie) of randsterktematen (bij randdetectie)

© W. Philips, Universiteit Gent, versie: 7/12/ b. 19 Voorbeelden De tweedimensionale histogrammen (“co-occurrence matrices) verschillen sterk naargelang de statistische en spatiale eigenschappen van de textuur schors textiel 1textiel 2bladeren

© W. Philips, Universiteit Gent, versie: 7/12/ b Segmentatie m.b.v. 2D histogrammen Mogelijke parameters: entropie: Hoe random is de textuur? inertie: Hoe hoogfrequent is de textuur? (hoe sterk verschillen naastliggende pixels) schors textiel 1textiel 2bladeren

© W. Philips, Universiteit Gent, versie: 7/12/ b. 21 Segmentatie door textuurclassificatie Voor iedere pixel berekent men de parameters van het locaal 2D-histogram Men vergelijkt deze met de parameters van voorbeeldtexturen De pixel wordt toekegend aan de klasse van de best-passende voorbeeldtextuur Men kan ook klasseren op basis van andere parameters (gemiddelde) RGB-waarden in kleurenbeelden Markov-parameters,...

© W. Philips, Universiteit Gent, versie: 7/12/ b. 22 Segmentatie m.b.v. Markov-parameters Markov textuurmodel: Een pixel kan gedeeltelijk worden voorspeld uit naburige pixels en is gedeeltelijk random Voor iedere voorbeeldtextuur v(x,y) schat men de Markov-parameters: De optimale parameters minimaliseren Voor iedere pixel in het te segmenteren beeld kiest men het model dat minimaliseert

© W. Philips, Universiteit Gent, versie: 7/12/ b. 23 Bibliografie Minimum-genormaliseerde-kost snede J. Shi en J. Malik. Normalized Cuts and Image Segmentation. IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 22, no. 8, augustus 2000, pp