Ontsnappen aan de Nipkow doctrine Kees van Overveld voor Philips Research Nationale Wiskunde Dagen 6 Februari /57

Inhoud: Inleiding: Nipkow & de doctrine van 0-dimensionale beelden visuele perceptie vs. visuele reproductie: een korte rondleiding door de geschiedenis van beelden communiceren van visuele informatie: ontlening aan de OSI-stapel alternatieven voor pixels: segmentatie, cellulaire structuren en andere recente inzichten vooruit kijken: belofte maakt schuld.... Nationale Wiskunde Dagen 6 Februari /57

Inhoud: Inleiding: Nipkow & de doctrine van 0-dimensionale beelden visuele perceptie vs. visuele reproductie: een korte rondleiding door de geschiedenis van beelden communiceren van visuele informatie: ontlening aan de OSI-stapel alternatieven voor pixels: segmentatie, cellulaire structuren en andere recente inzichten vooruit kijken: belofte maakt schuld.... Nationale Wiskunde Dagen 6 Februari /57

Nipkows briljante idee … … oorzaak van een eeuw vol aliasing en paradoxen Nationale Wiskunde Dagen 6 Februari /57

Inhoud: Inleiding: Nipkow & de doctrine van 0-dimensionale beelden visuele perceptie vs. visuele reproductie: een korte rondleiding door de geschiedenis van beelden communiceren van visuele informatie: ontlening aan de OSI-stapel alternatieven voor pixels: segmentatie, cellulaire structuren en andere recente inzichten vooruit kijken: belofte maakt schuld.... Nationale Wiskunde Dagen 6 Februari /57

Nipkows briljante idee … … was de volgende stap in de trend van afnemende betekenis in beelden het oudste schilderij: een modderafdruk van de hand van een holbewoner op de wand van een ooit bewoonde grot (of liever: een computermodel daarvan) Nationale Wiskunde Dagen 6 Februari /57

Nipkows briljante idee … … was de volgende stap in de trend van afnemende betekenis in beelden ‘hert’, rotsschildering in Niaux, Ariège, vroeg Magdalénien, rond BC Nationale Wiskunde Dagen 6 Februari /57

Nipkows briljante idee … … was de volgende stap in de trend van afnemende betekenis in beelden fragment van ‘plezier van het landleven’, door Hanny Lüthy, 1974, olie op doek, prive verzameling Nationale Wiskunde Dagen 6 Februari /57

Nipkows briljante idee … … was de volgende stap in de trend van afnemende betekenis in beelden fragment van ‘gezicht op St.-Tropez’, door Paul Signac, 1896, olie op doek, St.-Tropez, Musée de l’Annonciade Nationale Wiskunde Dagen 6 Februari /57

Nipkows briljante idee … … was de volgende stap in de trend van afnemende betekenis in beelden Samenvattend: door de geschiedenis heen is de betekenisinhoud van beeldelementen afgenomen... … met als absoluut minimum, bereikt rond 1970 (T.L.Kunii), de uitvinding van... …DE PIXEL!…DE PIXEL! geen textuur, geen vorm, geen vrije plaats: alleen maar een kleurige  -function Nationale Wiskunde Dagen 6 Februari /57

Nipkows briljante idee … … was de volgende stap in de trend van afnemende betekenis in beelden eigenschappen van DE PIXEL : +wiskundige elegantie: signaal theorie, discrete wiskunde +informatica-elegantie: simpele datastructuur -aliasing, met name tgv herhaald samplen -onhandig voor alle relevante beeldbewerkingsoperaties meetkundig (schaling, rotatie, afschuiving, …) knippen en plakken ophalen, bevragen en herkennen van beelden -sterk redundant voor alle beelden behalve witte ruis Nationale Wiskunde Dagen 6 Februari /57

Nipkows briljante idee … … oorzaak van een eeuw vol aliasing en paradoxen Nationale Wiskunde Dagen 6 Februari /57

Inhoud: Inleiding: Nipkow & de doctrine van 0-dimensionale beelden visuele perceptie vs. visuele reproductie: een korte rondleiding door de geschiedenis van beelden communiceren van visuele informatie: ontlening aan de OSI-stapel alternatieven voor pixels: segmentatie, cellulaire structuren en andere recente inzichten vooruit kijken: belofte maakt schuld.... Nationale Wiskunde Dagen 6 Februari /57

Inhoud: Inleiding: Nipkow & de doctrine van 0-dimensionale beelden visuele perceptie vs. visuele reproductie: een korte rondleiding door de geschiedenis van beelden communiceren van visuele informatie: ontlening aan de OSI-stapel alternatieven voor pixels: segmentatie, cellulaire structuren en andere recente inzichten vooruit kijken: belofte maakt schuld.... Nationale Wiskunde Dagen 6 Februari /57

werkelijkheid... … bestaat uit objecten tenminste, tgv ontologische classificatie en conventies (Mexicaanse indianen konden de spaanse veroveraars niet van hun paarden onderscheiden!) Nationale Wiskunde Dagen 6 Februari /57

werkelijkheid... … met zichtbare oppervlakken … bestaat uit objecten … tenminste, in een wereld gemaakt van Playmobil (…zonder vuur, wolken, water, wuivende korenvelden of gebladerte in de verte of ….) Nationale Wiskunde Dagen 6 Februari /57

werkelijkheid... … die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten …daarbij de equivalentierelatie r~ r introducerend, …die ook bekend staat als ‘perspectief’ r r Nationale Wiskunde Dagen 6 Februari /57

werkelijkheid... … die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten …daarbij de equivalentierelatie r~ r introducerend, …die ook bekend staat als ‘perspectief’ … inclusief interessante bijverschijnselen zoals *parallelle lijnen convergeren *scherptediepte *Leonardo’s paradox Nationale Wiskunde Dagen 6 Februari /57

werkelijkheid... … die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten …daarbij de equivalentierelatie r~ r introducerend, …die ook bekend staat als ‘perspectief’ … inclusief interessante bijverschijnselen zoals *parallelle lijnen convergeren *scherptediepte *Leonardo’s paradox * … en verlies aan topologisch detail Nationale Wiskunde Dagen 6 Februari /57

werkelijkheid... … in de vorm van een kleurverdeling die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten …daarbij ondertussen (heel efficiënt!) implementerend: *transparantheid *breking, absorptie, reflectie *kleuring *verwijderen van verborgen oppervlakken (=occlusie) Nationale Wiskunde Dagen 6 Februari /57

werkelijkheid... kleur=kleur(x,y); (x,y)  ’rooster’ … in de vorm van een kleurverdeling die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten …gebruikmakend van de wetten van Maxwell voor lichtstralen, met als specialiteiten (i.s.m. de Darwin- evolutie van netvlies-achtige sensoren:): *(bijna) vorm invariant *(bijna) kleur invariant *(bijna) tijd-invariant Nationale Wiskunde Dagen 6 Februari /57

werkelijkheid... kleur=kleur(x,y); (x,y)  ’rooster’ … in de vorm van een kleurverdeling die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten …gebruikmakend van ‘early vision’ neuronennetwerken voor rand-detectie en multi-scale … geïnterpreteerd als 2D kleurvlekken Nationale Wiskunde Dagen 6 Februari /57

werkelijkheid... kleur=kleur(x,y); (x,y)  ’rooster’ … in de vorm van een kleurverdeling die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten … dieptereconstructie en occlusie-oplossing … geïnterpreteerd als 2D kleurvlekken … geïnterpreteerd als kleurvlekken met diepte Nationale Wiskunde Dagen 6 Februari /57

… geïnterpreteerd als kleurvlekken met diepte … geïnterpreteerd als statische 3D objecten …gebruikmakend van het geheugen werkelijkheid... kleur=kleur(x,y); (x,y)  ’rooster’ … in de vorm van een kleurverdeling die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten … geïnterpreteerd als 2D kleurvlekken Nationale Wiskunde Dagen 6 Februari /57

…geïnterpreteerd als statische 3D objecten … ons begrip van de werkelijkheid vormend … geïnterpreteerd als kleurvlekken met diepte werkelijkheid... kleur=kleur(x,y); (x,y)  ’rooster’ … in de vorm van een kleurverdeling die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten … geïnterpreteerd als 2D kleurvlekken Nationale Wiskunde Dagen 6 Februari /57

…geïnterpreteerd als statische 3D objecten … geïnterpreteerd als kleurvlekken met diepte werkelijkheid... kleur=kleur(x,y); (x,y)  ’rooster’ … in de vorm van een kleurverdeling die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten … geïnterpreteerd als 2D kleurvlekken … ons begrip van de werkelijkheid vormend lichtstralen 2D kleurvlekken oppervlakken de wereld objecten Nationale Wiskunde Dagen 6 Februari /57

…geïnterpreteerd als statische 3D objecten … geïnterpreteerd als kleurvlekken met diepte werkelijkheid... kleur=kleur(x,y); (x,y)  ’rooster’ … in de vorm van een kleurverdeling die projecteren op 2D … met zichtbare oppervlakken … bestaat uit objecten … geïnterpreteerd als 2D kleurvlekken … ons begrip van de werkelijkheid vormend Nationale Wiskunde Dagen 6 Februari /57

werkelijkheid... … ons begrip van de werkelijkheid vormend te leren les: omdat er VELE semantische niveaus zijn voor visulele communicatie, waarom dan niet de handigste kiezen? te leren les: omdat er VELE semantische niveaus zijn voor visulele communicatie, waarom dan niet de handigste kiezen? Nationale Wiskunde Dagen 6 Februari /57

Inhoud: Inleiding: Nipkow & de doctrine van 0-dimensionale beelden visuele perceptie vs. visuele reproductie: een korte rondleiding door de geschiedenis van beelden communiceren van visuele informatie: ontlening aan de OSI-stapel alternatieven voor pixels: segmentatie, cellulaire structuren en andere recente inzichten vooruit kijken: belofte maakt schuld.... Nationale Wiskunde Dagen 6 Februari /57

Wat is een goed niveau voor semantische inhoud? … Eén die met onze mentale eigenschappen overeenkomt! één die het volgende mogelijk maakt: navigeren in de 3D wereld; zoeken in de 3D wereld naar objecten die ruwweg overeenkomen met een mentaal of materieel voorbeeld en het herkennen van die objecten; onthouden (=coderen) van 3D objecten die we eerder gezien hebben; voorspellen van de vorm van objecten die we slechts gedeeltelijk zien; besturen van onze handen als we ingewikkelde vormen manipuleren en samenstellen; tekenen (uit het hoofd) van 3D objecten. Nationale Wiskunde Dagen 6 Februari /57

een (gesimuleerde) foto van een tafel een (gesimuleerde) kindertekening van een tafel Nationale Wiskunde Dagen 6 Februari /57

In een kindertekening valt op: *randen zijn belangrijker dan binnengebieden *incidentierelaties zijn belangrijker dan meetkundige relaties *meerdere schalen in één tekening *’rechtheid’ is onbelangrijk (slechts een speciaal soort ‘krom’) *perspectief en kijkrichting worden genegeerd *achtergrond, schaduw en occlusie worden genegeerd Nationale Wiskunde Dagen 6 Februari /57

Conclusies voor een formaat voor beeldrepresentatie: *randen zijn belangrijker dan binnengebieden *incidentierelaties zijn belangrijker dan meetkundige relaties *meerdere schalen in één beeld *’rechtheid’ is onbelangrijk (slechts een speciaal soort ‘krom’) *perspectief en kijkrichting worden genegeerd *achtergrond, schaduw en occlusie worden genegeerd.  randen moeten expliciet gerepresenteerd worden  informatie in ‘saaie’ gebieden moet impliciet zijn  je moet er verschillende aanzichten uit kunnen halen  de representatie mag niet van één bepaalde schaal afhangen  incidenties moeten expliciet gerepresenteerd worden  objecten en beelden moeten gelijk behandeld worden Nationale Wiskunde Dagen 6 Februari /57

Het segment: de iets-beter-opgeleide grote broer van de pixel 1. deel van een beeld 2. het resultaat van segmenteren: de segmenten-map 3. geschikt gerepresenteerde segment randen A B C een cellulaire structuur die alle ‘interessante events’ (singulariteiten) bevat Nationale Wiskunde Dagen 6 Februari /57

ABC A B C cellulaire structuur: een graaf, waar elke vertex heeft een label ‘dimensie’ elke kant loopt van een vertex met dimensie D naar één met (D-1) Het segment: de iets-beter-opgeleide grote broer van de pixel Nationale Wiskunde Dagen 6 Februari /57

Cellulaire structuren: omgaan met occlusie R2 L4 cellen met dimensie 2: cellen met dimensie 3: R1 L1L2 L3 dikke lijn: ‘hoort bij’; stippellijn: ‘hoort niet bij’ afbeeld-volgorde kan afgeleid worden uit ‘hoort-bij’ relaties voor correct occlusie gedrag afbeeld-volgorde: eerst oranje, dan blauw geeft juist occlusie gedrag soms bestaat er geen afbeeld- volgorde. Bouw een cellulaire structuur: L1 L2 L3 L4 R1 R2 Nationale Wiskunde Dagen 6 Februari /57

Cellulaire structuren: voordeel: willekeurige dimensie Nationale Wiskunde Dagen 6 Februari /57

ABC 5 A B C Nationale Wiskunde Dagen 6 Februari /57 Cellulaire structuren: nadeel: inzoomen is onhandig (I)   ABC 3 8 Als ‘23’ te klein wordt: 0D cellen 2 en 3 versmelten en worden cel 8. cellen 12 en 34 worden hernoemd naar 18 en 48, en 1D cell 23 verdwijnt.

Cellulaire structuren: nadeel: inzoomen is onhandig (II)   ABC    69 ABC 87 9 Als daarna cel ‘47’ te klein wordt: 0D cellen 4 en 7 versmelten en worden cel cel 9. cellen 48,45, en 67 worden hernoemd tot 89,59, en 69, en 1D cel 47 verdwijnt. Nationale Wiskunde Dagen 6 Februari /57

B C A D bc ab da cd R B D AC ab bc cd R cellulaire structuur CS1 A B C D bc’ ab da cd’ R’ F E ef2 ef1 S EDF ef2ef1 da S A B C cd’ bc’ ab R’ cellulaire structuur CS2 Cellulaire structuren: nadeel: inzoomen is onhandig (III) Nationale Wiskunde Dagen 6 Februari /57

Schaalruimten: een antwoord op schaal-discontinuiteit Nationale Wiskunde Dagen 6 Februari /57

F0 F1 F2 F3 F4 F5 F6 x f(x) Schaalruimten: een antwoord op schaal-discontinuiteit Nationale Wiskunde Dagen 6 Februari /57

f(x;s) s x rode punten: 0D singulariteiten (s- extrema van groene curven) groene curven: 1D singulariteiten (nulpunten van  2 f(x;s)/  x 2 ) s=  s=s1 s=s2 s=0 Schaalruimten: een antwoord op schaal-discontinuiteit Nationale Wiskunde Dagen 6 Februari /57

schaalruimte singulariteiten portret van het signaal f(x) bijbehorende cellulaire structuur; enige meetkundige informatie zijn de {(f,(x;s))}-waarden van de 0D singulariteiten en eventueel hun singulariteits orde Wij presenteren: meerschalige cellulaire structuren. Schaalruimten: een antwoord op schaal-discontinuiteit Nationale Wiskunde Dagen 6 Februari /57

Geschikt voor: reconstructie op willekeurige schaal geometrische transformaties zelfde datastructuur voor for 2D, 3D, (2+1)D and (3+1)D extra ruimte van O(N)  O(Nlog N) zonder compressie topologie en geometrie in één datastructuur Schaalruimten: een antwoord op schaal-discontinuiteit Nationale Wiskunde Dagen 6 Februari /57

Geschikt voor: (vervolg) vergelijken op verschillende schaal = matchen van sub-grafen Schaalruimten: een antwoord op schaal-discontinuiteit Nationale Wiskunde Dagen 6 Februari /57

nieuwe s=0 schaal Schaalruimten: een antwoord op schaal-discontinuiteit Geschikt voor: (vervolg) vergelijken op verschillende schaal = matchen van sub-grafen Nationale Wiskunde Dagen 6 Februari /57

nieuwe s=0 schaal Schaalruimten: een antwoord op schaal-discontinuiteit Geschikt voor: (vervolg) vergelijken op verschillende schaal = matchen van sub-grafen Nationale Wiskunde Dagen 6 Februari /57

nieuwe s=0 schaal Geschikt voor: (vervolg) vergelijken op verschillende schaal = matchen van sub-grafen Schaalruimten: een antwoord op schaal-discontinuiteit Nationale Wiskunde Dagen 6 Februari /57

nieuwe s=0 schaal Schaalruimten: een antwoord op schaal-discontinuiteit Geschikt voor: (vervolg) vergelijken op verschillende schaal = matchen van sub-grafen Nationale Wiskunde Dagen 6 Februari /57

nieuwe s=0 schaal Schaalruimten: een antwoord op schaal-discontinuiteit Geschikt voor: (vervolg) vergelijken op verschillende schaal = matchen van sub-grafen … hetgeen een robuste graaf-theoretische operatie is. Nationale Wiskunde Dagen 6 Februari /57

Inhoud: Inleiding: Nipkow & de doctrine van 0-dimensionale beelden visuele perceptie vs. visuele reproductie: een korte rondleiding door de geschiedenis van beelden communiceren van visuele informatie: ontlening aan de OSI-stapel alternatieven voor pixels: segmentatie, cellulaire structuren en andere recente inzichten vooruit kijken: belofte maakt schuld.... Nationale Wiskunde Dagen 6 Februari /57

Inhoud: Inleiding: Nipkow & de doctrine van 0-dimensionale beelden visuele perceptie vs. visuele reproductie: een korte rondleiding door de geschiedenis van beelden communiceren van visuele informatie: ontlening aan de OSI-stapel alternatieven voor pixels: segmentatie, cellulaire structuren en andere recente inzichten vooruit kijken: belofte maakt schuld.... Nationale Wiskunde Dagen 6 Februari /57

Nieuwe Vooruitzichten: tijds-afhankelijke segmenten in een meerschalige cellulaire structuur is een nuttig formaat voor beeldrepresentatie Nationale Wiskunde Dagen 6 Februari /57

Toepassingen: verwijderen van pixel-ruis verbeterde (apparaat onafhankelijke) anti-aliasing bewegingsonscherpte via codering middels bewegende segmenten her-gebruiken van segmenten (=2Dcellen), zelfs i.g.v. occlusie interactieve segmenten: segmenten met extra informatie vanuit de zender segmenten met diepte t.b.v. nieuwe 3D kijkrichtingen segmenten met diepte t.b.v. aanpasbare belichtingsomstandigheden  Nationale Wiskunde Dagen 6 Februari /57

Toepassingen (vervolg): segmenten met hetzij bit maps hetzij procedurele textuur segmenten die vervangen kunnen worden aan de ontvanger-kant (logo’s, geïndividualiseerde contents) knippen en plakken met segmenten (2.5D of (2.5+1)D video clip-art) segment gebaseerde her-afbeelding in niet-fotorealistische stijl (doe- het-zelf cartoons, het Journaal in van Gogh stijl, plug-ins, …) segmenten die OLE-objecten, Java applets etc. worden (bijvoorbeeld: plug-in services die het locale weerbericht geven binnen het nationale weerbericht)  Nationale Wiskunde Dagen 6 Februari /57

MAAR: Dit vereist nog substantiele technologische investeringen: lange termijn visie Opties binnen de huidige beeldstandaarden (MPEG4) kunnen geëxploreerd worden Er is veel wiskundig en fundamenteel informatica onderzoek nodig voor het realiseren van dergelijke producten en applicaties Brede samenwerking tussen industriële partners en opleidingsinstituten Nationale Wiskunde Dagen 6 Februari /57