Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar 2011-2012

Presentatie over: "Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar 2011-2012"— Transcript van de presentatie:

1 Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar 2011-2012 philips@telin.UGent.be http://telin.UGent.be/~philips/beeldv/ Tel: 09/264.33.85 Fax: 09/264.42.95

2 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 2 Copyright notice This powerpoint presentation was developed as an educational aid to the renewed course “Image processing” (Beeldverwerking), taught at the University of Gent, Belgium as of 1998. This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom, provided that the following conditions are observed: 1.If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, 1998- 2002” in a font size of at least 10 point on each slide; 2.You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a file); 3. If you modify the presentation, you should clearly state so in the presentation; 4.You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation should not intend to make or make a profit from the activity for which you use or distribute the presentation; 5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author. In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also applies to the modified work (i.e., you may not charge for it). “Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to students or employees for self-teaching purposes,... Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s consent. A fee may be charged for such use. Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may contain bugs that might corrupt the data or the operating system on your computer. If you use this presentation, I would appreciate being notified of this by email. I would also like to be informed of any errors or omissions that you discover. Finally, if you have developed similar presentations I would be grateful if you allow me to use these in my course lectures. Prof. dr. ir. W. PhilipsE-mail: philips@telin.UGent.be Department of Telecommunications and Information ProcessingFax: 32-9-264.42.95 University of GentTel: 32-9-264.33.85 St.-Pietersnieuwstraat 41, B9000 Gent, Belgium

3 Basisoperaties voor beeldanalyse

4 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 4 Inleiding Beeldanalyse begint dikwijls met het extraheren van objecten uit beelden Twee mogelijke aanpakken Segmentatie: men tracht pixels die tot eenzelfde object behoren te groeperen Randdetectie: men zoekt de randen tussen verschillende objecten Problemen Een object is niet altijd goed gedefinieerd Objecten zijn niet altijd gemakkelijk herkenbaar in beelden Opmerkingen: We beperken ons weer tot grijswaardenbeelden Het gebruik van kleur vergemakkelijkt segmentatie/randdetectie aanzienlijk Een aantal slides in deze presentatie zijn gebaseerd op het werk van Johan De Bock

5 Basisoperaties voor beeldanalyse Segmentatie

6 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 6 Segmentatie Doel: het beeld verdelen in zo groot mogelijke geconnecteerde (aaneenhangende) gebieden van pixels met gelijkaardige eigenschappen 2 gele gebieden 1 grijs gebied homogeniteitscriterium (gelijkaardigheidscriterium) grijswaardevariantie binnen het gebied kleiner dan  m, verschil tussen grootste en kleinste grijswaarde kleiner dan m,... maximaal: de unie van twee gebieden voldoet niet aan het homogeniteitscriterium oplossing is niet noodzakelijk uniek! x buren van x 4-geconnecteerdheid Een gebied is geconnecteerd als men elke twee pixels binnen het gebied door een pad van naburige pixels binnen het gebied met elkaar kan verbinden 3 gele gebieden 2 grijze gebieden x 8-geconnecteerdheid buren van x Het geel en grijs gebied “kruisen” elkaar (enkel mogelijk in 8-geconnecteerde topologie, maar niet realistisch)

7 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 7 Image Segmentation Het homogeniteitscriterium kan en moet soms heel complex zijn zwarte strepen op bruine tijger moet hier toch als homogeen beschouwd worden Het probleem is niet éénduidig gedefinieerd waar eindigt de zandgrond? schaduw achter de tijger: apart object of niet?` Gegeven beeldGewenste segmentatie

8 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 8 “Thresholding” Homogeniteitscriterium: Verdeel de grijswaardeschaal in een aantal intervallen [T i,T i+ 1 [ Homogeen  alle pixels liggen binnen hetzelfde interval met N i = aantal pixels met grijswaarde in [T i,T i+ 1 [  i = spreiding op de grijswaarde van deze pixels T1T1 T2T2 Keuze van de drempelwaarden T i als het histogram uit verschillende “modes” bestaat: manueel gekozen drempels tussen de modes beter: minimalisatie van de gemiddelde intragroepvariantie Thresholding kan maar goed werken als de histogrammen van de verschillende objecten niet sterk overlappen i= 0 i= 1 i= 2

9 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 9 …“Thresholding” Uitgangspunt minimalisatie intragroepvariantie stel dat elke object in het beeld egaal grijs is en ook de achtergrond en dat alle objecten een verschillende grijswaarde hebben 1010 2020 3030 T1T1 T2T2 i= 1 i= 2 i= 3 1010  2 >>0 3030 T1T1 T2T2 i= 1 i= 2 i= 3 11+22+33011+22+330  1  1 +  2  2 +  3  3  2  2 >>0  histogram bestaat uit smalle pieken, één per object  als de grenzen tussen de pieken liggen zijn alle  j heel klein en is de intragroepvariantie laag Deze veronderstellingen zijn realistisch in sommige toepassingen, b.v. industriële inspectie niet goed: object 3 wordt maar voor de helft herkend; de andere helft wordt bij object 2 gerekend

10 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 10 Thresholding: voorbeeld Thresholding is nuttig als men een klein aantal objecten met duidelijk verschillende intensiteit (of kleur) moet detecteren tegen een duidelijk verschillende achtergrond drempels 38, 120, 196 geconnecteerde gebieden (te bepalen met “flood-fill” techniek) randpixels (pixels met linker- of bovenburen die tot een ander segment behoren) Toepassing: industriële kwaliteitscontrole met gecontroleerde belichting (meestal tegenlicht)

11 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 11 Spatiaal-adaptieve thresholding Principe: spatiaal-variënde drempels T i ( x,y ) bereken optimale drempels T i,k voor een aantal beeldblokken gecentreerd rond ( x k, y k ) gebruik deze voor de centrale pixels: T i ( x k, y k )= T i,k Histogram Optimale drempel Bilineaire interpolatie bepaal voor de andere pixels ( x,y ) drempels T i ( x,y ) door interpolatie Zo houdt men rekening met spatiaal-veranderende beeldeigenschappen

12 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 12 Opmerkingen Bij thresholding kan men zeer eenvoudig bepalen of twee naburige pixels tot hetzelfde gebied behoren, n.l. door de klasindices i van de pixels te vergelijken bepaalt het criterium éénduidig de resulterende gebieden 13471347134713471347134713471347 13471347134713471347134713471347 Bij complexere homogeniteitscriteria is er meestal geen unieke oplossing is het moeilijk te bepalen of twee naburige pixels tot zelfde gebied behoren B.v. voor het criterium: “een gebied is homogeen  het verschil tussen de grootste en kleinste grijswaarde is lager dan of gelijk aan 2 werkt men via “region growing”: voor een reeds gedeeltelijk gevonden gebied, onderzoekt men één voor één de buurpixels en voegt ze aan het gebied toe zolang het homogeniteitscriterium dat toelaat Segmentatie niet uniek!

13 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 13 “Quadtree Split-and-merge” segmentatie “Splitting” stap: Verdeel het beeld in 4 gelijke vierkanten Verdeel ieder “niet voldoende homogeen” vierkant weer in 4 Stop als alle vierkanten voldoende “homogeen” zijn Het homogeniteitscriterium kan b.v. opleggen dat de grijswaardevariantie in het gebied kleiner moet zijn dan een bepaalde drempel “Merging” stap: Verenig aangrenzende gebieden als hun unie voldoende homogeen is Nadelen onnatuurlijke randen (enkel horizontale en vertikale segmenten) het resultaat van de merging hangt af van de volgorde waarin buurgebieden worden onderzocht op “samenvoegbaarheid”

14 Basisoperaties voor beeldanalyse Randdetectie

15 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 15 De gradiëntoperator Beeldranden zijn plaatsen waar de grijswaarde b ( x,y ) sterk varieert als functie van x en/of y  grote partiele afgeleiden  grote gradiënt: Andere benaderingen zijn mogelijk en leiden tot andere filtermaskers Benadering van de partiële afgeleiden door lineaire benadering: voor ( x,y ) rond ( x ’,y ’): b ( x,y )  b ( x ’,y ’) +c x ( x-x ’) +c y ( y-y ’) c x wordt bepaald zodanig dat de benadering in de naburige pixels zo goed mogelijk is in de zin van de kleinste kwadraten, in een bepaald venster rond ( x ’,y ’); b.v. in ( x ’-1, y ’), ( x ’, y ’) en ( x ’ + 1, y ’) lineair filter met filtermasker Resultaat voor een 3x1 venster:

16 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 16 Afleiding Opmerking: we hebben hier op voorhand c y = 0 gesteld. Dat mag in de berekening van de optimale c x. Waarom? b ( x- 1,y ) b ( x,y ) b ( x+ 1,y ) b ( x,y ) -c x b ( x,y ) +c x b ( x,y ) Pixels in het masker: Benadering: Fout: Afgeleide: Afgeleide=0 als b ( x,y )  b ( x ’,y ’) +c x ( x-x ’) x=x ’, y=y ’

17 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 17 Gradiëntgebaseerde randdetectie... Men zoekt segmenten van traag variërende grijswaarden Extra ruisonderdrukking met biomiaalfilter loodrecht op de richting van de partiële afleiding De Sobel-operator levert een minder ruisgevoelige gradiëntberekening: Sobeloperator:  aan de randen tussen deze segmenten is de beeldgradiënt groot ruisversterkingssfactor: 0.7 ruisversterkingsfactor: 0.4 Methode: bereken de norm van de gradiënt vergelijk de norm met een drempelwaarde

18 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 18... Gradiëntgebaseerde randdetectie... Waarom niet uitmiddelen in x - én y -richting? uitmiddeling x-richting  om randen niet te verzwakken! Zowel de gradiënt- als de sobeloperator geven exacte resultaten op alle lineair variërende intensiteitsprofielen vertikale zachte rand diagonale zachte rand Exact! Gradiënt en Sobel:

19 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 19...Gradiëntgebaseerde randdetectie Voor de discrete benaderingen en in het bijzonder voor de Sobel-operator is dit enkel waar voor lineair variërende intensiteitsprofielen b ( x,y )= ax+by+c De “echte” gradiënt is isotroop, d.w.z. de respons is onafhankelijk van de oriëntatie van de rand: is onafhankelijk van  De sobeloperator is isotroper voor rechte ideale stapranden dan de gradiëntoperator Gradiënt: Sobel: Gradiënt: minder verschil

20 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 20 Gradiëntgebaseerde randdetectie: Voorbeeld GradientbeeldSobel-operator Verschillende gradiëntmethoden geven geen spectaculair verschillende resultaten

21 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 21 Van gradiëntbeeld naar segmenten Principe Gradiëntpixels groter dan een drempel worden als randpixels beschouwd Niet-rand pixels behoren tot zelfde gebied als ze kunnen verbonden worden door een pad dat geen randpixels bevat Sobeldrempel = 36drempel = 22 Nadelen de randen zullen typisch breder dan 1 pixel zijn zwakke contouren worden onderbroken bij een te hoge drempel ruisgebieden kunnen ontstaan als de drempel te laag is

22 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 22 Sobel-operator: voorbeeld origineel Sobel Typische situatie: verschillende randen van eenzelfde object hebben een verschillende gradiëntsterkte  “lekken” tussen objecten Sobel

23 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 23 Sobel-operator: voorbeeld origineelSobel Typische situatie: verschillende randen van eenzelfde object hebben een verschillende gradiëntsterkte  “lekken” tussen objecten

24 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 24 Template-matching: De Kirch-operator Principe: met verschillende filters zoekt men randen met een verschillende oriëntaties maximum absolute waarde De maximale respons wordt gebruikt als randplausibiliteit

25 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 25 Contourverdunning Contourverdunning: meer dan 1 pixel brede randen worden verdund door randpixels toe te voegen aan naburige segmenten Eventueel kan men alle randpixels toewijzen aan een naburig gebied Mogelijke aanpak: “watershed segmentatie” Men associeert elke randpixel met het segment dat men bereikt door het steilst dalende pad te volgen in het gradiëntbeeld Interpretatie: indien men het gradiëntbeeld als berglandschap beschouwt dan correspondeert ieder segment met een dal en de randpixels op elke randpixel laat men een waterdruppel vallen en men wijst de randpixel toe aan het dal waarnaar de druppel vloeit

26 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 26 Watershed segmentatie

27 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 27 Contoursluiting T.g.v. zwakke gradiënten kunnen gaten ontstaan in de contouren Mogelijk kostcriterium: Men probeert de eindpunten van een open contour probeert te verbinden met een naburige contour Hiervoor beschouwt men alle mogelijke paden en men kiest het pad dat een kostcriterium minimaliseert Het criterium kan ook rekening houden met de gladheid van de verbindingspaden

28 Hiërarchische segmentatie

29 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 29 Segmentatie door “region splitting” Hiërarchische segmentatie via “split” technieken het beeld wordt eerst opgesplitst in een klein aantal grote gebieden met grenzen die zoveel mogelijk samenvallen met sterke objectranden de gebieden worden vervolgens zelf opgesplitst enz.  er ontstaat een hiërarchie van (potentiële) objecten

30 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 30 Segmentatie door “region merging” In algemene “merge” technieken wordt het beeld opgesplitst in een groot aantal kleine gebieden die intern zo homogeen mogelijk zijn de gebieden worden vervolgens samengevoegd tot grotere gebieden  er ontstaat een hiërarchie van (potentiële) objecten

31 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 31 Nut van hiërarchie van segmentaties Objectherkenning heeft meestal nood aan kenmerken op verschillende schalen detecteer eerst een auto zoek dan de nummerplaat herken de letters op de nummerplaat Veel voorkomende problemen bij segmentatie oversegmentatie: één object wordt opgesplitst in verschillende segmenten ondersegmentatie: verschillende objecten worden verkeerdelijk gegroepeerd in één segment Bij een optimaal compromis zijn sommige gebieden overgesegmenteerd en andere ondergesegmenteerd  mogelijke oplossing bereken een hiërarchische segmentatie pas de segmentatie interactief aan  voordelen van het hebben van een hiërarchische segmentatie: gebruiker hoeft enkel te beslissen: opsplitsen of samenvoegen en hoeft dus geen contouren, … tekenen  sneller

32 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 32 Graafgebaseerde voorstelling De segmentatie op een bepaald niveau van de hiërarchie kan worden beschreven door een “region adjacency graph” de knopen zijn de segmenten de takken verbinden naburige segmenten segmenten die aan elkaar grenzen of die voldoende dicht bij elkaar liggen Aan de takken worden “kosten” toegekend de kost is laag als twee naburige segmenten goed bij elkaar passen gelijkaardige kleuren, texturen, … in hun binnengebieden en/of in de omgeving van hun gezamenlijke rand of als het samenvoegen van de betreffende segmenten tot een “betere” segmentatie leidt minder heel kleine gebieden gebieden met een regelmatiger vorm …

33 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 33 Graafgebaseerde hiërarchische segmentatie… Mogelijkheid 1: Region merging vertrekken van “microsegmenten” (heel kleine gebieden die zeker niet meer dan één object bevatten) iteratief de twee gebieden die het best samen passen samenvoegen  het verwijderen van een tak met de laagste kost en het vervangen van de twee knopen aan de uiteinden van die tak door één knoop

34 © W. Philips, Universiteit Gent, 1999-2012versie: 7/12/2011 10d. 34 Graafgebaseerde hiërarchische segmentatie… Mogelijkheid 2: Graaf partitionering vertrekken van “microsegmenten” (heel kleine gebieden die zeker niet meer dan één gewenst object overlappen) graaf verdelen in twee subgrafen door verwijderen van takken en dit zodanig dat de som van de splitsingskosten van de weggesneden takken zo laag mogelijk is (let op: splitsings- i.p.v. samenvoegingskost)  bepalen van een optimale snede in de graaf (b.v.b. “normalized cut”) Resultaat: 2 segmenten die in een volgende stap zelf worden opgesplitst Opmerking: hier corresponderen de macrosegmenten (de verkregen segmenten) in elke faze met een subgraaf en niet met een knoop b.v. hiernaast twee macrosegmenten, respectievelijk geassocieerd aan de rode en aan de grijze knopen microsegmenten