De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Ontsnappen aan de Nipkow doctrine Kees van Overveld voor Philips Research Nationale Wiskunde Dagen 6 Februari 2004 1/57.

Verwante presentaties


Presentatie over: "Ontsnappen aan de Nipkow doctrine Kees van Overveld voor Philips Research Nationale Wiskunde Dagen 6 Februari 2004 1/57."— Transcript van de presentatie:

1 Ontsnappen aan de Nipkow doctrine Kees van Overveld voor Philips Research Nationale Wiskunde Dagen 6 Februari 2004 1/57

2 Inhoud: Inleiding: Nipkow & de doctrine van 0-dimensionale beelden visuele perceptie vs. visuele reproductie: een korte rondleiding door de geschiedenis van beelden communiceren van visuele informatie: ontlening aan de OSI-stapel alternatieven voor pixels: segmentatie, cellulaire structuren en andere recente inzichten vooruit kijken: belofte maakt schuld.... Nationale Wiskunde Dagen 6 Februari 2004 2/57

3 Inhoud: Inleiding: Nipkow & de doctrine van 0-dimensionale beelden visuele perceptie vs. visuele reproductie: een korte rondleiding door de geschiedenis van beelden communiceren van visuele informatie: ontlening aan de OSI-stapel alternatieven voor pixels: segmentatie, cellulaire structuren en andere recente inzichten vooruit kijken: belofte maakt schuld.... Nationale Wiskunde Dagen 6 Februari 2004 3/57

4 Nipkows briljante idee … … oorzaak van een eeuw vol aliasing en paradoxen Nationale Wiskunde Dagen 6 Februari 2004 4/57

5 Inhoud: Inleiding: Nipkow & de doctrine van 0-dimensionale beelden visuele perceptie vs. visuele reproductie: een korte rondleiding door de geschiedenis van beelden communiceren van visuele informatie: ontlening aan de OSI-stapel alternatieven voor pixels: segmentatie, cellulaire structuren en andere recente inzichten vooruit kijken: belofte maakt schuld.... Nationale Wiskunde Dagen 6 Februari 2004 5/57

6 Nipkows briljante idee … … was de volgende stap in de trend van afnemende betekenis in beelden het oudste schilderij: een modderafdruk van de hand van een holbewoner op de wand van een ooit bewoonde grot (of liever: een computermodel daarvan) Nationale Wiskunde Dagen 6 Februari 2004 6/57

7 Nipkows briljante idee … … was de volgende stap in de trend van afnemende betekenis in beelden ‘hert’, rotsschildering in Niaux, Ariège, vroeg Magdalénien, rond 13000 BC Nationale Wiskunde Dagen 6 Februari 2004 7/57

8 Nipkows briljante idee … … was de volgende stap in de trend van afnemende betekenis in beelden fragment van ‘plezier van het landleven’, door Hanny Lüthy, 1974, olie op doek, prive verzameling Nationale Wiskunde Dagen 6 Februari 2004 8/57

9 Nipkows briljante idee … … was de volgende stap in de trend van afnemende betekenis in beelden fragment van ‘gezicht op St.-Tropez’, door Paul Signac, 1896, olie op doek, St.-Tropez, Musée de l’Annonciade Nationale Wiskunde Dagen 6 Februari 2004 9/57

10 Nipkows briljante idee … … was de volgende stap in de trend van afnemende betekenis in beelden Samenvattend: door de geschiedenis heen is de betekenisinhoud van beeldelementen afgenomen... … met als absoluut minimum, bereikt rond 1970 (T.L.Kunii), de uitvinding van... …DE PIXEL!…DE PIXEL! geen textuur, geen vorm, geen vrije plaats: alleen maar een kleurige  -function Nationale Wiskunde Dagen 6 Februari 2004 10/57

11 Nipkows briljante idee … … was de volgende stap in de trend van afnemende betekenis in beelden eigenschappen van DE PIXEL : +wiskundige elegantie: signaal theorie, discrete wiskunde +informatica-elegantie: simpele datastructuur -aliasing, met name tgv herhaald samplen -onhandig voor alle relevante beeldbewerkingsoperaties meetkundig (schaling, rotatie, afschuiving, …) knippen en plakken ophalen, bevragen en herkennen van beelden -sterk redundant voor alle beelden behalve witte ruis Nationale Wiskunde Dagen 6 Februari 2004 11/57

12 Nipkows briljante idee … … oorzaak van een eeuw vol aliasing en paradoxen Nationale Wiskunde Dagen 6 Februari 2004 12/57

13 Inhoud: Inleiding: Nipkow & de doctrine van 0-dimensionale beelden visuele perceptie vs. visuele reproductie: een korte rondleiding door de geschiedenis van beelden communiceren van visuele informatie: ontlening aan de OSI-stapel alternatieven voor pixels: segmentatie, cellulaire structuren en andere recente inzichten vooruit kijken: belofte maakt schuld.... Nationale Wiskunde Dagen 6 Februari 2004 13/57

14 Inhoud: Inleiding: Nipkow & de doctrine van 0-dimensionale beelden visuele perceptie vs. visuele reproductie: een korte rondleiding door de geschiedenis van beelden communiceren van visuele informatie: ontlening aan de OSI-stapel alternatieven voor pixels: segmentatie, cellulaire structuren en andere recente inzichten vooruit kijken: belofte maakt schuld.... Nationale Wiskunde Dagen 6 Februari 2004 14/57

15 werkelijkheid... … bestaat uit objecten tenminste, tgv ontologische classificatie en conventies (Mexicaanse indianen konden de spaanse veroveraars niet van hun paarden onderscheiden!) Nationale Wiskunde Dagen 6 Februari 2004 15/57

16 werkelijkheid... … met zichtbare oppervlakken … bestaat uit objecten … tenminste, in een wereld gemaakt van Playmobil (…zonder vuur, wolken, water, wuivende korenvelden of gebladerte in de verte of ….) Nationale Wiskunde Dagen 6 Februari 2004 16/57

17 werkelijkheid... … die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten …daarbij de equivalentierelatie r~ r introducerend, …die ook bekend staat als ‘perspectief’ r r Nationale Wiskunde Dagen 6 Februari 2004 17/57

18 werkelijkheid... … die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten …daarbij de equivalentierelatie r~ r introducerend, …die ook bekend staat als ‘perspectief’ … inclusief interessante bijverschijnselen zoals *parallelle lijnen convergeren *scherptediepte *Leonardo’s paradox Nationale Wiskunde Dagen 6 Februari 2004 18/57

19 werkelijkheid... … die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten …daarbij de equivalentierelatie r~ r introducerend, …die ook bekend staat als ‘perspectief’ … inclusief interessante bijverschijnselen zoals *parallelle lijnen convergeren *scherptediepte *Leonardo’s paradox * … en verlies aan topologisch detail Nationale Wiskunde Dagen 6 Februari 2004 19/57

20 werkelijkheid... … in de vorm van een kleurverdeling die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten …daarbij ondertussen (heel efficiënt!) implementerend: *transparantheid *breking, absorptie, reflectie *kleuring *verwijderen van verborgen oppervlakken (=occlusie) Nationale Wiskunde Dagen 6 Februari 2004 20/57

21 werkelijkheid... kleur=kleur(x,y); (x,y)  ’rooster’ … in de vorm van een kleurverdeling die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten …gebruikmakend van de wetten van Maxwell voor lichtstralen, met als specialiteiten (i.s.m. de Darwin- evolutie van netvlies-achtige sensoren:): *(bijna) vorm invariant *(bijna) kleur invariant *(bijna) tijd-invariant Nationale Wiskunde Dagen 6 Februari 2004 21/57

22 werkelijkheid... kleur=kleur(x,y); (x,y)  ’rooster’ … in de vorm van een kleurverdeling die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten …gebruikmakend van ‘early vision’ neuronennetwerken voor rand-detectie en multi-scale … geïnterpreteerd als 2D kleurvlekken Nationale Wiskunde Dagen 6 Februari 2004 22/57

23 werkelijkheid... kleur=kleur(x,y); (x,y)  ’rooster’ … in de vorm van een kleurverdeling die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten … dieptereconstructie en occlusie-oplossing … geïnterpreteerd als 2D kleurvlekken … geïnterpreteerd als kleurvlekken met diepte Nationale Wiskunde Dagen 6 Februari 2004 23/57

24 … geïnterpreteerd als kleurvlekken met diepte … geïnterpreteerd als statische 3D objecten …gebruikmakend van het geheugen werkelijkheid... kleur=kleur(x,y); (x,y)  ’rooster’ … in de vorm van een kleurverdeling die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten … geïnterpreteerd als 2D kleurvlekken Nationale Wiskunde Dagen 6 Februari 2004 24/57

25 …geïnterpreteerd als statische 3D objecten … ons begrip van de werkelijkheid vormend … geïnterpreteerd als kleurvlekken met diepte werkelijkheid... kleur=kleur(x,y); (x,y)  ’rooster’ … in de vorm van een kleurverdeling die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten … geïnterpreteerd als 2D kleurvlekken Nationale Wiskunde Dagen 6 Februari 2004 25/57

26 …geïnterpreteerd als statische 3D objecten … geïnterpreteerd als kleurvlekken met diepte werkelijkheid... kleur=kleur(x,y); (x,y)  ’rooster’ … in de vorm van een kleurverdeling die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten … geïnterpreteerd als 2D kleurvlekken … ons begrip van de werkelijkheid vormend lichtstralen 2D kleurvlekken oppervlakken de wereld objecten Nationale Wiskunde Dagen 6 Februari 2004 26/57

27 …geïnterpreteerd als statische 3D objecten … geïnterpreteerd als kleurvlekken met diepte werkelijkheid... kleur=kleur(x,y); (x,y)  ’rooster’ … in de vorm van een kleurverdeling die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten … geïnterpreteerd als 2D kleurvlekken … ons begrip van de werkelijkheid vormend Nationale Wiskunde Dagen 6 Februari 2004 27/57

28 werkelijkheid... … ons begrip van de werkelijkheid vormend te leren les: omdat er VELE semantische niveaus zijn voor visulele communicatie, waarom dan niet de handigste kiezen? te leren les: omdat er VELE semantische niveaus zijn voor visulele communicatie, waarom dan niet de handigste kiezen? Nationale Wiskunde Dagen 6 Februari 2004 28/57

29 Inhoud: Inleiding: Nipkow & de doctrine van 0-dimensionale beelden visuele perceptie vs. visuele reproductie: een korte rondleiding door de geschiedenis van beelden communiceren van visuele informatie: ontlening aan de OSI-stapel alternatieven voor pixels: segmentatie, cellulaire structuren en andere recente inzichten vooruit kijken: belofte maakt schuld.... Nationale Wiskunde Dagen 6 Februari 2004 29/57

30 Wat is een goed niveau voor semantische inhoud? … Eén die met onze mentale eigenschappen overeenkomt! één die het volgende mogelijk maakt: navigeren in de 3D wereld; zoeken in de 3D wereld naar objecten die ruwweg overeenkomen met een mentaal of materieel voorbeeld en het herkennen van die objecten; onthouden (=coderen) van 3D objecten die we eerder gezien hebben; voorspellen van de vorm van objecten die we slechts gedeeltelijk zien; besturen van onze handen als we ingewikkelde vormen manipuleren en samenstellen; tekenen (uit het hoofd) van 3D objecten. Nationale Wiskunde Dagen 6 Februari 2004 30/57

31 een (gesimuleerde) foto van een tafel een (gesimuleerde) kindertekening van een tafel Nationale Wiskunde Dagen 6 Februari 2004 31/57

32 In een kindertekening valt op: *randen zijn belangrijker dan binnengebieden *incidentierelaties zijn belangrijker dan meetkundige relaties *meerdere schalen in één tekening *’rechtheid’ is onbelangrijk (slechts een speciaal soort ‘krom’) *perspectief en kijkrichting worden genegeerd *achtergrond, schaduw en occlusie worden genegeerd Nationale Wiskunde Dagen 6 Februari 2004 32/57

33 Conclusies voor een formaat voor beeldrepresentatie: *randen zijn belangrijker dan binnengebieden *incidentierelaties zijn belangrijker dan meetkundige relaties *meerdere schalen in één beeld *’rechtheid’ is onbelangrijk (slechts een speciaal soort ‘krom’) *perspectief en kijkrichting worden genegeerd *achtergrond, schaduw en occlusie worden genegeerd.  randen moeten expliciet gerepresenteerd worden  informatie in ‘saaie’ gebieden moet impliciet zijn  je moet er verschillende aanzichten uit kunnen halen  de representatie mag niet van één bepaalde schaal afhangen  incidenties moeten expliciet gerepresenteerd worden  objecten en beelden moeten gelijk behandeld worden Nationale Wiskunde Dagen 6 Februari 2004 33/57

34 Het segment: de iets-beter-opgeleide grote broer van de pixel 1. deel van een beeld 2. het resultaat van segmenteren: de segmenten-map 3. geschikt gerepresenteerde segment randen A B C 3 1 5 4 6 2 7 4. een cellulaire structuur die alle ‘interessante events’ (singulariteiten) bevat Nationale Wiskunde Dagen 6 Februari 2004 34/57

35 5 1234567 1223 3415 47 16 56 45 67 ABC A B C 3 1 4 6 2 7 4 cellulaire structuur: een graaf, waar elke vertex heeft een label ‘dimensie’ elke kant loopt van een vertex met dimensie D naar één met (D-1) Het segment: de iets-beter-opgeleide grote broer van de pixel Nationale Wiskunde Dagen 6 Februari 2004 35/57

36 Cellulaire structuren: omgaan met occlusie R2 L4 cellen met dimensie 2: cellen met dimensie 3: R1 L1L2 L3 dikke lijn: ‘hoort bij’; stippellijn: ‘hoort niet bij’ afbeeld-volgorde kan afgeleid worden uit ‘hoort-bij’ relaties voor correct occlusie gedrag afbeeld-volgorde: eerst oranje, dan blauw geeft juist occlusie gedrag soms bestaat er geen afbeeld- volgorde. Bouw een cellulaire structuur: L1 L2 L3 L4 R1 R2 Nationale Wiskunde Dagen 6 Februari 2004 36/57

37 Cellulaire structuren: voordeel: willekeurige dimensie Nationale Wiskunde Dagen 6 Februari 2004 37/57

38 1234567 1223 3415 47 16 56 45 67 ABC 5 A B C 3 1 4 6 2 7 4 Nationale Wiskunde Dagen 6 Februari 2004 38/57 Cellulaire structuren: nadeel: inzoomen is onhandig (I) 71 2 456 12  1823 34  48 15 47 16 56 45 67 ABC 3 8 Als ‘23’ te klein wordt: 0D cellen 2 en 3 versmelten en worden cel 8. cellen 12 en 34 worden hernoemd naar 18 en 48, en 1D cell 23 verdwijnt.

39 Cellulaire structuren: nadeel: inzoomen is onhandig (II) 71 2 456 12  1823 34  48 15 47 16 56 45 67 ABC 3 8 1456 18 48  89 15 47 16 56 45  59 67  69 ABC 87 9 Als daarna cel ‘47’ te klein wordt: 0D cellen 4 en 7 versmelten en worden cel cel 9. cellen 48,45, en 67 worden hernoemd tot 89,59, en 69, en 1D cel 47 verdwijnt. Nationale Wiskunde Dagen 6 Februari 2004 39/57

40 B C A D bc ab da cd R B D AC ab bc cd R cellulaire structuur CS1 A B C D bc’ ab da cd’ R’ F E ef2 ef1 S EDF ef2ef1 da S A B C cd’ bc’ ab R’ cellulaire structuur CS2 Cellulaire structuren: nadeel: inzoomen is onhandig (III) Nationale Wiskunde Dagen 6 Februari 2004 40/57

41 Schaalruimten: een antwoord op schaal-discontinuiteit Nationale Wiskunde Dagen 6 Februari 2004 41/57

42 F0 F1 F2 F3 F4 F5 F6 x f(x) Schaalruimten: een antwoord op schaal-discontinuiteit Nationale Wiskunde Dagen 6 Februari 2004 42/57

43 f(x;s) s x rode punten: 0D singulariteiten (s- extrema van groene curven) groene curven: 1D singulariteiten (nulpunten van  2 f(x;s)/  x 2 ) s=  s=s1 s=s2 s=0 Schaalruimten: een antwoord op schaal-discontinuiteit Nationale Wiskunde Dagen 6 Februari 2004 43/57

44 schaalruimte singulariteiten portret van het signaal f(x) bijbehorende cellulaire structuur; enige meetkundige informatie zijn de {(f,(x;s))}-waarden van de 0D singulariteiten en eventueel hun singulariteits orde Wij presenteren: meerschalige cellulaire structuren. Schaalruimten: een antwoord op schaal-discontinuiteit Nationale Wiskunde Dagen 6 Februari 2004 44/57

45 Geschikt voor: reconstructie op willekeurige schaal geometrische transformaties zelfde datastructuur voor for 2D, 3D, (2+1)D and (3+1)D extra ruimte van O(N)  O(Nlog N) zonder compressie topologie en geometrie in één datastructuur Schaalruimten: een antwoord op schaal-discontinuiteit Nationale Wiskunde Dagen 6 Februari 2004 45/57

46 Geschikt voor: (vervolg) vergelijken op verschillende schaal = matchen van sub-grafen Schaalruimten: een antwoord op schaal-discontinuiteit Nationale Wiskunde Dagen 6 Februari 2004 46/57

47 nieuwe s=0 schaal Schaalruimten: een antwoord op schaal-discontinuiteit Geschikt voor: (vervolg) vergelijken op verschillende schaal = matchen van sub-grafen Nationale Wiskunde Dagen 6 Februari 2004 47/57

48 nieuwe s=0 schaal Schaalruimten: een antwoord op schaal-discontinuiteit Geschikt voor: (vervolg) vergelijken op verschillende schaal = matchen van sub-grafen Nationale Wiskunde Dagen 6 Februari 2004 48/57

49 nieuwe s=0 schaal Geschikt voor: (vervolg) vergelijken op verschillende schaal = matchen van sub-grafen Schaalruimten: een antwoord op schaal-discontinuiteit Nationale Wiskunde Dagen 6 Februari 2004 49/57

50 nieuwe s=0 schaal Schaalruimten: een antwoord op schaal-discontinuiteit Geschikt voor: (vervolg) vergelijken op verschillende schaal = matchen van sub-grafen Nationale Wiskunde Dagen 6 Februari 2004 50/57

51 nieuwe s=0 schaal Schaalruimten: een antwoord op schaal-discontinuiteit Geschikt voor: (vervolg) vergelijken op verschillende schaal = matchen van sub-grafen … hetgeen een robuste graaf-theoretische operatie is. Nationale Wiskunde Dagen 6 Februari 2004 51/57

52 Inhoud: Inleiding: Nipkow & de doctrine van 0-dimensionale beelden visuele perceptie vs. visuele reproductie: een korte rondleiding door de geschiedenis van beelden communiceren van visuele informatie: ontlening aan de OSI-stapel alternatieven voor pixels: segmentatie, cellulaire structuren en andere recente inzichten vooruit kijken: belofte maakt schuld.... Nationale Wiskunde Dagen 6 Februari 2004 52/57

53 Inhoud: Inleiding: Nipkow & de doctrine van 0-dimensionale beelden visuele perceptie vs. visuele reproductie: een korte rondleiding door de geschiedenis van beelden communiceren van visuele informatie: ontlening aan de OSI-stapel alternatieven voor pixels: segmentatie, cellulaire structuren en andere recente inzichten vooruit kijken: belofte maakt schuld.... Nationale Wiskunde Dagen 6 Februari 2004 53/57

54 Nieuwe Vooruitzichten: tijds-afhankelijke segmenten in een meerschalige cellulaire structuur is een nuttig formaat voor beeldrepresentatie Nationale Wiskunde Dagen 6 Februari 2004 54/57

55 Toepassingen: verwijderen van pixel-ruis verbeterde (apparaat onafhankelijke) anti-aliasing bewegingsonscherpte via codering middels bewegende segmenten her-gebruiken van segmenten (=2Dcellen), zelfs i.g.v. occlusie interactieve segmenten: segmenten met extra informatie vanuit de zender segmenten met diepte t.b.v. nieuwe 3D kijkrichtingen segmenten met diepte t.b.v. aanpasbare belichtingsomstandigheden  Nationale Wiskunde Dagen 6 Februari 2004 55/57

56 Toepassingen (vervolg): segmenten met hetzij bit maps hetzij procedurele textuur segmenten die vervangen kunnen worden aan de ontvanger-kant (logo’s, geïndividualiseerde contents) knippen en plakken met segmenten (2.5D of (2.5+1)D video clip-art) segment gebaseerde her-afbeelding in niet-fotorealistische stijl (doe- het-zelf cartoons, het Journaal in van Gogh stijl, plug-ins, …) segmenten die OLE-objecten, Java applets etc. worden (bijvoorbeeld: plug-in services die het locale weerbericht geven binnen het nationale weerbericht)  Nationale Wiskunde Dagen 6 Februari 2004 56/57

57 MAAR: Dit vereist nog substantiele technologische investeringen: lange termijn visie Opties binnen de huidige beeldstandaarden (MPEG4) kunnen geëxploreerd worden Er is veel wiskundig en fundamenteel informatica onderzoek nodig voor het realiseren van dergelijke producten en applicaties Brede samenwerking tussen industriële partners en opleidingsinstituten Nationale Wiskunde Dagen 6 Februari 2004 57/57


Download ppt "Ontsnappen aan de Nipkow doctrine Kees van Overveld voor Philips Research Nationale Wiskunde Dagen 6 Februari 2004 1/57."

Verwante presentaties


Ads door Google