Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar 2010-2011

Presentatie over: "Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar 2010-2011"— Transcript van de presentatie:

1 Beeldverwerking Prof. dr. ir. W. Philips Didactisch materiaal bij de cursus Academiejaar 2010-2011 philips@telin.UGent.be http://telin.UGent.be/~philips/beeldv/ Tel: 09/264.33.85 Fax: 09/264.42.95

2 © W. Philips, Universiteit Gent, 1999-2011versie: 8/12/2010 10b. 2 Copyright notice This powerpoint presentation was developed as an educational aid to the renewed course “Image processing” (Beeldverwerking), taught at the University of Gent, Belgium as of 1998. This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom, provided that the following conditions are observed: 1.If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, 1998- 2002” in a font size of at least 10 point on each slide; 2.You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a file); 3. If you modify the presentation, you should clearly state so in the presentation; 4.You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation should not intend to make or make a profit from the activity for which you use or distribute the presentation; 5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author. In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also applies to the modified work (i.e., you may not charge for it). “Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to students or employees for self-teaching purposes,... Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s consent. A fee may be charged for such use. Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may contain bugs that might corrupt the data or the operating system on your computer. If you use this presentation, I would appreciate being notified of this by email. I would also like to be informed of any errors or omissions that you discover. Finally, if you have developed similar presentations I would be grateful if you allow me to use these in my course lectures. Prof. dr. ir. W. PhilipsE-mail: philips@telin.UGent.be Department of Telecommunications and Information ProcessingFax: 32-9-264.42.95 University of GentTel: 32-9-264.33.85 St.-Pietersnieuwstraat 41, B9000 Gent, Belgium

3 Compressietechnieken voor beelden Verliesloze compressietechnieken

4 © W. Philips, Universiteit Gent, 1999-2011versie: 8/12/2010 10b. 4 Nadeel: er wordt geen rekening gehouden met statistische afhankelijkheden tussen beeldpixels uitzondering: blok-Huffman (maar dat is te complex) Algemeen compressieschema Orthogonale transformatie Predictie van pixelwaarden uit voorgaande pixels (gehele) predictiefouten of (reële) transformatiecoëfficiënten verwijderen van visueel- irrelevante data Huffmancodering Arithmetische codering bitstroom verwijderen van statistische redundantie gehele getallen verminderen van spatiale correlatie Kwantisatie van coëfficiënten/predictiefouten Niet coderen van sommige coëfficiënten / predictiefouten niet bij verliesloze codering

5 © W. Philips, Universiteit Gent, 1999-2011versie: 8/12/2010 10b. 5 Statistische eigenschappen van beelden Naburige pixels in beelden lijken zeer goed op elkaar  bijna diagonale coöcurrentiematrix (histogram van 2de-orde) 0 255 0  blokcodes doen het beter dan pixelcodes; H 2 << 2 H 1 (cfr. appendix)  zeer grote correlatiecoëfficiënt:  > 0.9 aantal keer dat de combinatie b ( x,y ) = 128, b ( x+ 1,y ) = 128 voorkomt

6 © W. Philips, Universiteit Gent, 1999-2011versie: 8/12/2010 10b. 6 Voorspelling: X p  aA+bB+cC Eenvoudige predictieve technieken Principe: De “huidige” pixelwaarde wordt eerst voorspeld uit andere pixels al gecodeerd huidige pixel A BC X Gecodeerde fout: X-X p De predictiefout wordt gecodeerd met een Huffman- of aritmetische coder Nabije pixels hebben de grootste voorspellende waarde Men mag enkel reeds gecodeerde pixels gebruiken (want de decoder moet dezelfde voorspelling kunnen maken!) Voorbeeld: LJPEG (Lossless JPEG; Joint Photographic Experts Group) LJPEG biedt een keuze uit 7 voorgedefinieerde predictoren Predictor “7” werkt meestal het best: X p = ( A + B ) / 2 (“gehele” deling)

7 © W. Philips, Universiteit Gent, 1999-2011versie: 8/12/2010 10b. 7 Predictie werkt: Voorbeeld... Lenna, origineel Predictiefout: Predictie werkt goed behalve aan objectranden

8 © W. Philips, Universiteit Gent, 1999-2011versie: 8/12/2010 10b. 8 …Voorbeeld... “Lenna”, entropie=7.2 bit/pixel Na LJPG-predictie: entropie=4.4 bit/pixel NA LJPEG-predictie: de fouten zijn veel minder uniform verdeeld dan de originele grijswaarden De entropie van de fouten is kleiner dan die van de originele grijswaarden  een aritmetische coder kan ze veel efficiënter coderen dan de grijswaarden Dit is het geval voor de meeste beelden (maar er zijn tegenvoorbeelden)

9 © W. Philips, Universiteit Gent, 1999-2011versie: 8/12/2010 10b. 9 …Voorbeeld... CT, origineel Predictiefout:

10 © W. Philips, Universiteit Gent, 1999-2011versie: 8/12/2010 10b. 10 …Voorbeeld... Winst: een 1.78 maal grotere compressiefactor “CT”, entropie=5.7 bit/pixel Na LJPG-predictie: entropie=3.2 bit/pixel

11 © W. Philips, Universiteit Gent, 1999-2011versie: 8/12/2010 10b. 11 “Optimale” lineaire predictie al gecodeerd huidige pixel a bc x Het uiteindelijk doel is het minimaliseren van de entropie van x-x p Eenvoudiger doel: minimaliseer de verwachte kwadratische predictiefout  minimaliseer worden geschat uit een (aantal) beelden  lineair stelsel in ,  en  ! gewijzigd op: 27/12/05

12 © W. Philips, Universiteit Gent, 1999-2011versie: 8/12/2010 10b. 12 De “Binary Tree Predictive Coder”... splits - + - + - + predictiefouten beeldpixels Voordeel: de predictor kan nu ook buurpixels beneden en rechts van de “huidige” pixel gebruiken  nauwkeuriger predictie mogelijk

13 © W. Philips, Universiteit Gent, 1999-2011versie: 8/12/2010 10b. 13 …BTPC: niet-lineaire predictie Dichtste, tegenoverliggende buren predictor: ac d b X ab dc X Xp=Xp= ( a+c ) / 2 als |a-c |  |b-d | ( b+d ) / 2 als |a-c |  |b-d | Optredende predictieomgevingen a b d c X Randpixel x y b ( x,y ) Geïdealiseerd voorbeeld: ( b+d ) / 2 is hier zeker een goede voorspelling ( a+c ) / 2 is niet noodzakelijk een goede voorspelling (enkel goed als b ( x,y ) lineair varieert tussen a en c Basisidee:in “vlakke gebieden” werkt de predictor even goed als ( a+b+c+d )/4 in de omgeving van een rand werkt hij dikwijls beter c < b  x  d <a

14 © W. Philips, Universiteit Gent, 1999-2011versie: 8/12/2010 10b. 14 Flat region Gradients Context modeler Run counter Golomb coder Run coder Adaptive correction Fixed predictor - + pred. errors run lengths image samples regular run Coder predictor predicted values compressed bitstream run regular mode context image samples c a b x d De nieuwe standaard: JPEG-LS Zeer complexe predictor en statistische coder Toch een vrij lage rekentijd Geïnspireerd op de zogenaamde Calic techniek die quasi even goed comprimeert maar wel twee maal trager is statistics statistische codering predictie en contextmodellering

15 Compressietechnieken voor beelden Verliesloze compressie in de praktijk

16 © W. Philips, Universiteit Gent, 1999-2011versie: 8/12/2010 10b. 16 Verliesloze compressie: voorbeeld bzip stat gzip compressCalic LjpegJPEG-LS rekentijd (in s) voor (de)compressie van 16 Mbyte aan MR-beelden (166MHz PowerPC) afmeting gecomprimeerd bestand (in %) compressie decompressie De haalbare compressiefactor is klein bij verliesloze compressie; dit geldt voor de meeste soorten beelden; Aritmetische coders doen het meestal iets beter dan Huffmancoders Geavanceerde technieken voor “general-purpose” compressie doen het ook niet slecht maar zijn wel trager standaard technieken; niet specifiek voor beelden gesofisticeerde technieken; niet specifiek voor beelden

17 © W. Philips, Universiteit Gent, 1999-2011versie: 8/12/2010 10b. 17 De compressiefactor hangt sterk af van het soort beeld Afhankelijkheid van het soort beeld compressiefactor

18 © W. Philips, Universiteit Gent, 1999-2011versie: 8/12/2010 10b. 18 Samenvatting en besluit Performantievergelijking: Gesofisticeerde technieken (b.v. JPEG-LS en Calic) doen het beter dan eenvoudige technieken (b.v. LJPG) Invloed van het soort beelddata De compressiefactor hangt sterk af van het soort beeld Beelden met grote spatiale resolutie comprimeren het best Resultaten typische compressiefactoren van 2 à 4 op medische en pre-press beelden Aritmetische coders doen het beter dan Huffmancoders Belangrijke basisprincipes voorbewerking: lineaire en niet-lineaire predictie contextmodellering statistische codeertechnieken: Huffmancoders en aritmetische coders

19 Appendix Zelfstudie

20 © W. Philips, Universiteit Gent, 1999-2011versie: 8/12/2010 10b. 20 Verliesloze compressie van medische beelden compressiefactor De haalbare compressiefactor is klein bij verliesloze compressie; dit geldt voor de meeste soorten beelden; Aritmetische coders doen het meestal iets beter dan Huffmancoders

21 © W. Philips, Universiteit Gent, 1999-2011versie: 8/12/2010 10b. 21 Blok-Huffmancodes... Beperkingen bij apart coderen van de verschillende symbolen men laat statistische afhankelijkheden tussen opeenvolgende symbolen onbenut stationaire bron A D F D G D D D D C D Esymbolen: AD FD GD DD DC DEmetasymbolen: Oplossing: blockcodes groepeer n opeenvolgende symbolen in 1 metasymbool codeer deze symbolen met een Huffmancode Beperking van blokcodes: hoe groter n, hoe meer mogelijke symbolen  codeboek wordt groot  men kan de metasymboolprobabiliteiten niet goed meer schatten  complexiteit loopt uit de hand men moet minstens één bit per symbool genereren  niet efficiënt bij lage entropie

22 © W. Philips, Universiteit Gent, 1999-2011versie: 8/12/2010 10b. 22...Blok-Huffmancodes  Het gemiddelde aantal bits per symbool benadert dichter de eerste- orde entropie (maximale afwijking: 0.5 bit per pixel i.p.v. 1 bit per pixel) Eerste-orde bronentropie=symboolentropie: stationaire bron A D F D G D D D D C D Esymbolen: AD FD GD DD DC DEmetasymbolen: Tweede-orde bronentropie=metasymboolentropie: Als  i en  j statistisch onafhankelijk  Als  i en  j niet statistisch onafhankelijk (verifieer) Gemiddelde codewoordlengte van de blokcode: Voor blokgrootte m : en H m /m < H (!)

23 © W. Philips, Universiteit Gent, 1999-2011versie: 8/12/2010 10b. 23 Context Generation & Quantization Gradient- adjusted Prediction P Binary Mode? + - Two-row double buffer Ternary Entropy Coder Error modelling Conditional Probabilities Estimation Coding Histogram Sharpening Entropy Coder Code yes no P’ P’’ e’ e The CALIC coding scheme tekst en grafische elementen

24 © W. Philips, Universiteit Gent, 1999-2011versie: 8/12/2010 10b. 24 Oefening: oplossing Bereken alle codewoorden voor ingangs-strings met lengte 3 als P (0)=0.25 x 1 x 2 x 3 a( x 1 x 2 x 3 )codewoordlengte decimaal binair 0000.000.0000000000006 0.016 0010.016.0000010000016 0.047 0100.062.000100000105 0.047 0110.109.000111000115 0.140 1000.250.010000010005 0.047 1010.297.010011010015 0.140 1100.438.0111000113 0.140 1110.578.10010111 0.422 -1.000 1.000000- Wat is de gemiddelde codewoordlengte in dit geval? (3.1)  de aritmetische coder wordt pas efficiënt als n groot wordt