Universiteitscollege TU/e 2011 B i g I m a g e s Universiteitscollege TU/e 2011 Kees van Overveld -1-

Inleiding: wat is kijken? B i g I m a g e s Inleiding: wat is kijken? Oefening 1. Beschrijf in ten hoogste één, zo kort mogelijke zin (<20 woorden) het meest in het oog springende van wat je zo dadelijk ziet. ‘Ik zie …’ Kees van Overveld -2-

Kees van Overveld -3-

Kees van Overveld -4-

Inleiding: wat is kijken? B i g I m a g e s Inleiding: wat is kijken? Antwoorden: Ik zie licht van de beamer teruggekaatst vanaf het projectiescherm Ik zie een verdeling van lichte tinten in het midden, bruinachtige naar de randen Ik zie overwegend gladde kleurverdelingen, maar in het midden korrelig en aan de rand vlekkerig Ik zie een paar lichte, afgeronde, symmetrische 2D vormen in het midden en een afgeronde driehoek linksonder Ik zie een ruwweg bolronde vorm in het midden en een paar afgeplatte liggende 3D vormen daaronder Ik zie een kopje cappuccino en een krant Ik zie dat het kopje bijna vol is, en de krant is dichtgeslagen Ik zie het zorgeloze begin van een veelbelovende vakantiedag in Italië Al deze antwoorden zijn mogelijke interpretaties van wat het is waarnaar je kijkt Kees van Overveld -5-

Inleiding: wat is kijken? B i g I m a g e s Inleiding: wat is kijken? Antwoorden: Ik zie licht van de beamer teruggekaatst vanaf het projectiescherm Ik zie een verdeling van grijstinten Ik zie overwegend gladde grijsverdelingen, maar op sommige plaatsen korrelig Ik zie een paar donkere lijnen, een paar krullen, stippen en vlekken Ik zie een waarschijnlijk plat vlak met daarin een aantal zwarte vormen Ik zie een paar sporen van elementaire deeltjes in een bellenkamer Ik zie een reactie tussen sub-atomaire deeltjes met verschillende ladingen en massa’s waarbij impuls ontbreekt Ik zie de eerste detectie van een neutrino in een bellenkamer Kees van Overveld -6-

Inleiding: wat is een beeld? B i g I m a g e s Inleiding: wat is een beeld? Oefening 2. Voor de beelden van zo-even, leg uit waar ze zich bevinden. Hint: er zijn minstens 10 verschillende correcte antwoorden Kees van Overveld -7-

Inleiding: wat is een beeld? B i g I m a g e s Inleiding: wat is een beeld? Ook hier: al deze antwoorden zijn mogelijke interpretaties van wat het is waarnaar je kijkt Antwoorden: In het museum, resp. de bellenkamer waar de reactie plaats vond OP HET MOMENT VAN DE REACTIE In lunchroom Peacock in de Heuvelgalerie, waar vO deze foto gemaakt heeft, resp. het archief van Wikipedia Op de harde schijf van vO’s computer In de beamer In de ruimte tussen beamer en scherm, of tussen scherm en oog In het oog van de kijker In het netvlies van de kijker In het brein van de kijker In de geest van de kijker In de geluidsgolven in deze zaal terwijl wij erover praten Kees van Overveld -8-

Inleiding: wat is een beeld? B i g I m a g e s Inleiding: wat is een beeld? We weten zeker dat een beeld zich in ons hoofd kan bevinden (‘ik droom dus ik zie’: onmiddellijke toegang tot ons ‘intern omnimax theater’) ALLE andere antwoorden zijn alleen maar soms van toepassing. Dus: het enige dat met zekerheid voor elk beeld geldt, is dat het een mentale representatie heeft, en dus subjectief is. Kees van Overveld -9-

B i g I m a g e s Inleiding: wat is een beeld? Twee problemen: Onderling evenwijdige, loodrechte lijnen of krommen? Twee problemen: We weten niet hoe iets er ‘echt’ uitziet De wereld en wat er zich omheen bevindt in zijn volle totaliteit? De ongeziene en onzichtbare wereld van de eiwitfabrieken in een biologische cel? Kees van Overveld -10-

Inleiding: wat is een beeld? B i g I m a g e s Inleiding: wat is een beeld? Twee problemen: 2. We weten niet hoe iemand anders’ privé omnimax theater eruit ziet Kees van Overveld -11-

Inleiding: wat is een beeld? B i g I m a g e s Inleiding: wat is een beeld? Maar hoe kunnen we dan iets intersubjectiefs te weten komen over beelden??? WEL Kees van Overveld -12-

Inleiding: wat is een beeld? B i g I m a g e s Inleiding: wat is een beeld? Antwoord: Door het wonder van de equivalentie en de aangeboren neiging tot clusteren van ons brein. Kees van Overveld -13-

B i g I m a g e s Inleiding: wat is een beeld? Antwoord: Door het wonder van de equivalentie en de aangeboren neiging tot clusteren van ons brein. deze lijken meer op elkaar … … dan deze ‘Lijken op’ ’kleur’ Kees van Overveld -14-

B i g I m a g e s Inleiding: wat is een beeld? Antwoord: Door het wonder van de equivalentie en de aangeboren neiging tot clusteren van ons brein. deze lijken meer op elkaar … … dan deze ‘Lijken op’ ’vorm’ Kees van Overveld -15-

B i g I m a g e s Inleiding: wat is een beeld? Antwoord: Door het wonder van de equivalentie en de aangeboren neiging tot clusteren van ons brein. … dan deze deze lijken meer op elkaar … ‘Lijken op’ ’grootte’ Kees van Overveld -16-

B i g I m a g e s Inleiding: wat is een beeld? Voorlopige conclusie: Een zichtbare eigenschap (‘kleur’, ‘vorm’, ‘grootte’, …) is hetzelfde als ‘een manier van clusteren’ ofwel een equivalentierelatie Kees van Overveld -17-

Inleiding: wat is een beeld? B i g I m a g e s Inleiding: wat is een beeld? Vraag: wat is een equivalentierelatie? Antwoord: een uitspraak over relateerbaarheid van twee elementen uit een verzameling, bijvoorbeeld: ‘even zwaar’, ‘dezelfde vader’, ‘grenst aan’, … Kees van Overveld -18-

B i g I m a g e s Inleiding: wat is een beeld? Voorbeeld (‘evenveel’): de klasse van alle verzamelingen van drie elementen, kortweg ‘DRIE’ ~ ~ ~ … de klasse van alle verzamelingen van vier elementen, kortweg ‘VIER’ ~ ~ ~ … Kees van Overveld -19-

B i g I m a g e s Inleiding: wat is een beeld? Dus: Equivalentierelaties laten klassen ontstaan van elementen die elk onderling equivalent zijn: de zgn. equivalentieklassen. Equivalentieklassen zijn disjunct en overdekkend. Een equivalentieklasse vormt een geschikte manier om een abstracte grootheid te definiëren (zoals DRIE of VIER als equivalentieklassen van ‘evenveel’). dus: geen buitenbeentjes dus: geen overlap Kees van Overveld -20-

Inleiding: wat is een beeld? B i g I m a g e s Inleiding: wat is een beeld? Toepassen op beelden: ‘Lijkt op’ is (bijna) een equivalentierelatie. ‘Lijkt op v.w.b. kleur’ heeft als equivalentieklassen ROOD, GROEN, … etc ‘Lijkt op v.w.b. vorm’ heeft als equivalentieklassen ROND, VIERKANT, … etc ‘Lijkt op v.w.b. grootte’ heeft als equivalentieklassen GROOT, KLEIN, … etc Kees van Overveld -21-

Inleiding: wat is een beeld? B i g I m a g e s Inleiding: wat is een beeld? Onvermijdelijke tekortkoming van ons brein (en elk meetinstrument) maar tegelijkertijd evolutionair voordeel, mits de cluster’grenzen’ evolutionair zinvol aangebracht kunnen worden Toepassen op beelden: ‘Lijkt op’ is (bijna) een equivalentierelatie. … maar niet helemaal: transitiviteit geldt alleen bij benadering. … en dit geldt ook voor texturen, vormen, 3-D oppervlakken, objecten, relaties en betekenissen … lijkt NIET op … VARIANTEN: de spreiding binnen een equivalentieklasse INVARIANTEN: de opdeling van het zichtbare in equivalentieklassen ..lijkt op.. ..lijkt op.. ..lijkt op.. ..lijkt op.. de woorden die we gebruiken om eigenschappen van beelden aan te duiden Kees van Overveld -22-

Inleiding: wat is een beeld? B i g I m a g e s Inleiding: wat is een beeld? Voordeel van deze ‘truc’ (=beschrijven van het zichtbare in termen van equivalentierelaties): We hoeven ons niet meer druk te maken over de essentiële betekenis van ‘rood’ (net zo min als we hoeven te tobben over de essentiële betekenis van ‘drie’). In plaats daarvan kunnen we ons concentreren op interpretaties van ‘lijkt op’: soorten van ‘gelijkenisuitspraken’. identificeren van varianten identificeren van invarianten Kees van Overveld -23-

Inleiding: wat is een beeld? B i g I m a g e s Inleiding: wat is een beeld? Er zijn heel veel interpretaties van ‘lijkt op’, ofwel ‘doet me denken aan’. (jigSaw!) Gemeenschappelijk voor allemaal: Elke benoembare eigenschap van een beeld is een ‘hier – dit’ relatie, waarbij ‘hier’ een plaatsaanduiding is, en ‘dit’ één of andere equivalentieklasse. Kees van Overveld -24-

Inleiding: wat is een beeld? B i g I m a g e s hier is smakeloos cliché (of: hier is aanmoediging om beeldjes te kopen) hier is cilindrisch Inleiding: wat is een beeld? hier is groter dan hier is saxofoon hier is blauw-witte strepen hier is blauw hier is ellips Kees van Overveld -25-

Inleiding: wat is een beeld? B i g I m a g e s Inleiding: wat is een beeld? Allerlei soorten ‘hier’: ‘Punten’ (die geen deel hebben … Euclides!) (Open) omgevingen (Gesloten) gebieden aangrenzendheid, samenhangendheid, samentrekbaarheid (= geen gaten), … alle perceptuele intuïties waar de meetkunde (en de (algebraïsche) topologie) sinds 2500 jaar probeert (met meer of minder succes) een samenhangend en consistent verhaal van te maken, met uitvindingen (constructen) zoals ‘lijn’, ‘lineair’, ‘coördinaat’, ‘reële getallen’, ‘vector’, … tot gevolg. Kees van Overveld -26-

Inleiding: wat is een beeld? B i g I m a g e s Inleiding: wat is een beeld? Allerlei soorten ‘dit’: Traditioneel zelden systematisch geclassificeerd Duiken in allerlei vakgebieden op met niet overal dezelfde interpretaties Grens tussen ‘zichtbare’ en ‘niet zichtbare’ ditten is niet altijd duidelijk: Kees van Overveld -27-

‘Ditten’(beeldeigenschappen) in lagen B i g I m a g e s ‘Ditten’(beeldeigenschappen) in lagen Voorstel: groepeer beeldeigenschappen Groepen zijn te ordenen Eigenschappen in groep n ‘volgen uit’ eigenschappen in groep n-1 … maar hoezo ‘volgen’? Beschouw een visueel communicatieproces, en kijk naar het coderen en decoderen. Kees van Overveld -28-

B i g I m a g e s – Representeren van beelden 1.Kom je morgen koffie drinken? 7. Begrip van de boodschap virtuele communicatie III 2.Voer reeks letters in middels toetsenbord 6. Letters op beeldscherm virtuele communicatie II 3. Bits en bytes 5. Software virtuele communicatie I 4A. Elektrische stroompjes of licht in glasvezel 4B. Elektronische detectoren fysieke communicatie Kees van Overveld -29-

B i g I m a g e s – Representeren van beelden representatie: Lastig om te zeggen wat een representatie is, maar: Kan omgezet worden in andere representatie Kan vervangen worden door andere representatie terwijl boven- en onderliggende lagen gelijk blijven (varianten!) Speelt een rol in een reeks representatie-omzettingen om één of ander doel te bereiken (daarbij blijven de invarianten behouden) Bij beelden: een representatie kan opgevat worden als een reeks ‘hier-dit’ uitspraken In dit voorbeeld: Varianten: kleurtoon, reflectiviteit, dikte v.d. rand, … Invarianten: kleurverzadiging, vorm, textuur Kees van Overveld -30-

B i g I m a g e s – Representeren van beelden representaties in de context van communicatie: 1ste reeks van representaties: zender 2de reeks van representaties: ontvanger Zender: begint proces met aanvankelijke communicatie-aanleiding Ontvanger: eindigt proces met begrip van ontvangen boodschap Zender en ontvanger verbonden met tenminste een fysieke link Virtuele communicatielinks tussen alle tussenliggende representaties Kees van Overveld -31-

B i g I m a g e s – Representeren van beelden 1. 7. virtuele communicatie Representatie omzetting 2. R 6. R’ decodeert R virtuele communicatie 3. R’ codeert R 5. R virtuele communicatie 4A. 4B. fysieke communicatie Kees van Overveld -32-

B i g I m a g e s – Representeren van beelden Naar een gelaagde structuur van dit-hier uitspraken om beelden te representeren doel: Kennis, modellen en theorieën bij elkaar brengen over de fysica van licht, biologie, perceptie, beeldtechnologie, kunstgeschiedenis, beeldcultuur en filosofie Analogieën te laten zien tussen natuurlijke en kunstmatige beeld-zendende en beeld-ontvangende systemen Lagen en de omzettingen daartussen te verduidelijken bij beeld-gerelateerde toepassingen De nomenclatuur van verschillende vakgebieden op elkaar af te stemmen Kees van Overveld -33-

B i g I m a g e s – Representeren van beelden Wie zijn de zender en de ontvanger? zender: natuurlijk kunstmatig Zonder computer ondersteuning Computer-gebaseerd ontvanger natuurlijk (MVS, biologische systemen) Zonder computer ondersteuning (analoge camera) Kees van Overveld -34-

B i g I m a g e s – Representeren van beelden Soorten zenders natuurlijk kunstmatig (computer grafiek) kunstmatig (niet- computer grafiek) MVS / bio-logische visuele systemen Evolutie en werking van het MVS Principes van computer grafiek Technieken in beeldende kunst en grafische vormgeving; interpretatie van stijlen en stromingen in de kunstgeschiedenis Beeldher-kennings systemen Mechanismen in beeldbewerking, beeldanalyse en beeldherkenning Digitale watermerken, barcodes, beeld-(de)codering, … Voorzieningen voor automatische productie en logistiek (robots) Soorten ontvangers Kees van Overveld -35-

B i g I m a g e s – Representeren van beelden Welke lagen komen voor in een gelaagd referentiemodel? Onderste laag: lichtstralen (fysieke communicatie) Bovenste laag: bedoeling en effect Verzenden van lichtstralen Oorzaak en/of bedoeling Betekenis en/of effect Het netto effect van visuele communicatie Ontvangst van Kees van Overveld -36-

B i g I m a g e s – Representeren van beelden Een 2-laags model is te eenvoudig: We hebben lagen nodig om te kunnen praten over Representaties in termen van … Kleuren, texturen, vormen, oppervlakken, objecten, relaties en betekenissen Representatie-omzettingen zoals … Zenden en reflecteren van licht Bemonsteringen discretisatie Randen vinden Interpreteren van 2D als geprojecteerd 3D Begrijpen, herkennen en klassificieren van objecten en relaties tussen objecten Daartoe stellen we 8 lagen voor Kees van Overveld -37-

B i g I m a g e s – Representeren van beelden betekenis relaties objecten oppervlakken vormen textuur kleurenverdeling lichtstralen Kees van Overveld -38-

B i g I m a g e s – Representeren van beelden Samenvatting; belangrijkste concepten: Clusteren: natuurlijke neiging van het brein Attributen en waarden: eigenschappen op grond waarvan clusters ontstaan Hier-dit relaties; een beeld als collectie hier-dit relaties Equivalentie ononderscheidbaarheid: manier om het subjectiviteits-probleem te omzeilen Equivalentieklassen: collectie van ononderscheidbare waarden voor een bepaald attribuut Varianten en invarianten: wat verloren gaat resp. behouden blijft bij representatieconversie Coderen en decoderen: bij de zender resp. ontvanger Fysieke en virtuele communicatie Lagen met representaties en representatieconversie Kees van Overveld -39-