Multispectrale Rendering Peter Vangorp Koen Yskout Promotor: Prof. Dr. ir. Ph. Dutré Begeleider: K. vom Berge

Peter Vangorp - Koen Yskout Overzicht Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Overzicht Inleiding Situering Raytracing & photon map Implementatie Kleur Spectrale representaties Spectrale effecten Besluit Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Situering Foto-realistische beeldgeneratie ahv raytracing Traditioneel: kleur = RGB Onze thesis kleur = spectrum nauwkeuriger essentieel voor sommige effecten Peter Vangorp - Koen Yskout

Raytracing & photon map Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Raytracing & photon map Raytracing: Virtuele camera Schiet straal door elke pixel Zoek dichtste intersectie en bepaal kleur Peter Vangorp - Koen Yskout

Raytracing & photon map Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Raytracing & photon map Raytracing Eenvoudige reflecties en refracties Peter Vangorp - Koen Yskout

Raytracing & photon map Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Raytracing & photon map Raytracing Problemen: caustics Peter Vangorp - Koen Yskout

Raytracing & photon map Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Raytracing & photon map Photon mapping 2 fasen: Schiet ‘photons’ en bewaar ze in de photon map Render zoals in klassieke raytracing, maar gebruik photon-informatie Caustics zijn nu eenvoudig (geclusterd in de photon map) Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Implementatie Basis: pbrt bij “Physically Based Rendering” Matt Phar & Greg Humphreys Uitgebreid met eigen spectraal framework en nieuwe materialen C++ Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Overzicht Inleiding Kleur Spectra XYZ en RGB RGB naar spectrum Spectrale representaties Spectrale effecten Besluit Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Spectra Licht = superpositie van golven Golf heeft bepaalde golflengte Golflengte 400-700 nm: kleur 400 nm 550 nm 700 nm Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Spectra Spectrum van licht: SPD (spectral power distribution) = verdeling van vermogen volgens golflengte SPD (Watt) 400 nm 550 nm 700 nm Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Spectra Waargenomen spectrum van een object = SPD lichtbron × Reflectantie materiaal = × SPD reflectantie waargenomen spectrum Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit XYZ en RGB Metameren: Verschillend spectrum, zelfde kleursensatie Metameren zijn invariant voor lineaire operaties (optellen, vermenigvuldigen met constante, ...) 3 waarden volstaan om alle kleursensaties te beschrijven = tristimuluswaarden Metamere spectra hebben dezelfde tristimuluswaarden Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit XYZ en RGB Color matching functies: gewichten voor testlichten zodat ze metameer zijn voor een monochromatisch licht 0.33 0.00 (http://www.research.ibm.com/image_apps/colorsci.html) 0.05 Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit XYZ en RGB Beschrijving met tristimuluswaarden: XYZ : color matching functies OK om alle kleursensaties te beschrijven beeldschermonafhankelijk Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit XYZ en RGB Beschrijving met tristimuluswaarden: RGB voor sRGB Ook OK om alle kleursensaties te beschrijven (met negatieve waarden) Meestal 0 ≤ r,g,b ≤ 1 (floating point) of 0 ≤ r,g,b ≤ 255 (integer)  slechts deel kan beschreven worden Maar: beeldscherm-afhankelijk (fosfors) Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit XYZ en RGB XYZ en RGB zijn niet voldoende om alle spectra te beschrijven! = × ? (0.1, 0.1, 1) (0.1, 1, 0.1) (0.01, 0.1, 0.1) ? = × metameer niet metameer! Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit XYZ en RGB Bewijs dat RGB niet voldoende is: RGB: R ×G = 0 (R+B)×G = 0 (R+G)×G = G Spectra: van RGB afgeleid (groen licht) rood paars geel Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit XYZ en RGB Nauwkeurige beschrijvingen van licht, materialen, ... Gebruik spectra ipv XYZ/RGB XYZ/RGB enkel voor uiteindelijke visualisatie Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit RGB naar spectrum Methode van Smits: 7 Basisspectra voor W, C M Y, R G B Spectra gekozen zodat ze zacht verlopen Lineaire combinatie van 3 van deze spectra An RGB to Spectrum Conversion for Reflectances, B. Smits, 2000 Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit RGB naar spectrum Methode van Smits (cyaan, magenta, geel) Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit RGB naar spectrum 7 spectra ipv 3 (R, G, B) ? wit spectrum is beter dan som van R, G, B magenta is beter dan R+B ... Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit RGB naar spectrum Voorbeeld (1.0, 0.6, 0.2) 0.2 * = - 0.2 * Wit (0.8, 0.4, 0.0) 0.4 * = - 0.4 * Geel (0.4, 0.0, 0.0) 0.4 * = - 0.4 * Rood + Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit RGB naar spectrum Methode van Sun: Spectrum = som van 3 Gauss-curves Breedte Gauss-curve ~ saturatie kleur Deriving spectra from colors and rendering light interference, Y. Sun, 1999 Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Overzicht Inleiding Kleur Spectrale representaties Bemonsterd Getabuleerd Fourier Composiet Conversies en bewerkingen Spectrale effecten Besluit Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Bemonsterd Verdeel spectrum in gelijke intervallen Waarden op gelijke afstand Interpolatie Nauwkeurig Veel data + − Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Getabuleerd Koppels (golflengte, waarde) Interpolatie Nauwkeurig Mogelijk meer monsters waar nodig Nog meer data + − Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Fourier Fourier-coëfficiënten Eenvoudig zacht verlopende spectra Weinig (~9) coëfficiënten geeft nog redelijk resultaat Dure evaluatie en bewerkingen  Omzetting naar bemonsterd + − Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Fourier OK voor zachtverlopende spectra wat met steile flanken? Fourier Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Composiet Zacht verlopend spectrum + pieken (golflengte, gewicht) Beter dan andere manieren voor spectra met pieken (bv. TL-verlichting) Keuze van voorstelling voor het zacht verlopende gedeelte is vrij + Peter Vangorp - Koen Yskout

Conversies en bewerkingen Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Conversies en bewerkingen Conversies tussen alle types bemonsterd, getabuleerd, fourier, composiet en ook RGB, XYZ expliciet maximale vrijheid bvb. naar bemonsterd met 30 waarden in 400-700nm impliciet vast evenwicht tussen nauwkeurigheid en efficiëntie bvb. naar bemonsterd met 20 waarden op 360-830nm enkel conversie naar een “hoger” type op basis van “hoeveelheid informatie” of voorkeur Peter Vangorp - Koen Yskout

Conversies en bewerkingen Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Conversies en bewerkingen Bewerkingen problemen t.o.v. typische RGB Color-klasse: waarde opvragen onafh. van representatie per golflengte eventueel impliciete conversie waarde van RGB op golflengte 510nm? bewerkingen voor ieder type vermenigvuldiging van Fourier-spectra? conversieregels RGB x Fourier = ? Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Overzicht Inleiding Kleur Spectrale representaties Spectrale effecten Interferentie in dunne film Diffractie Dispersie Absorptie in volumes Bemonsterde BRDF Besluit Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Interferentie Snelcursus optica Peter Vangorp - Koen Yskout

Interferentie in dunne film Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Interferentie in dunne film Zeepbel Fresnel aan twee oppervlakken één interne reflectie is voldoende Interference colours of soap bubbles, D. Jaszkowski en J. Rzeszut, 2003 Peter Vangorp - Koen Yskout

Interferentie in dunne film Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Interferentie in dunne film Benadering: slechts 1 inkomende straal Peter Vangorp - Koen Yskout

Interferentie in dunne film Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Interferentie in dunne film Zeepbel dikte exponentieel met hoogte Peter Vangorp - Koen Yskout

Interferentie in dunne film Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Interferentie in dunne film Resultaten Bron: Jan-Willem Bijl, http://www.photographyblog.com/ gallery/showphoto.php?photo=5545 (met toestemming) Peter Vangorp - Koen Yskout

Interferentie in dunne film Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Interferentie in dunne film Resultaten groter dikteverschil 0.20 µm – 1.50 µm 0.53 µm – 0.73 µm Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Overzicht Inleiding Kleur Spectrale representaties Spectrale effecten Interferentie in dunne film Diffractie Dispersie Absorptie in volumes Bemonsterde BRDF Besluit Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Diffractie Doel A Spectrum-Based Framework for Realistic Image Synthesis, Y. Sun, 2000 hoofdstrip: radiaal kleurverloop nevenstrip: transversaal kleurverloop Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Diffractie Snelcursus optica Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Diffractie Compact disc microstructuur Bron: Ch. Noldeke, “Compact Disc Diffraction”, The Physics Teacher, 1990; geciteerd in Y. Sun, “A Spectrum-Based Framework for Realistic Image Synthesis”, 2000 Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Diffractie Compact disc vereenvoudigd model Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Diffractie Benadering: slechts 1 inkomende en uitgaande straal Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Diffractie BRDF diffractieve component tussen verschillende sporen hoofdstrip tussen putjes binnen een spoor nevenstrips anisotroop speculair om de secundaire nevenstrips af te zwakken niet-diffractieve component isotroop diffuus en speculair Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Diffractie Resultaten Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Diffractie Resultaten Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Diffractie Resultaten CD DVD Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Diffractie Beperkingen dit kunnen we NIET renderen maar dit zie je toch niet in het dagelijks leven Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Overzicht Inleiding Kleur Spectrale representaties Spectrale effecten Interferentie in dunne film Diffractie Dispersie Absorptie in volumes Bemonsterde BRDF Besluit Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Dispersie Brekingsindex afhankelijk van golflengte Benadering: Sellmeier (met B1,2,3 en C1,2,3 experimentele waarden) diamant glas Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Dispersie  Gewone raytracing Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Dispersie ~ caustics  Photon mapping Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Dispersie Renderen van dispersie: Overal monochromatische stralen Splitsen in monochromatische stralen vanaf dispersief oppervlak Vast aantal monsters Aantal monsters = f(hoek blauwe en rode straal) Equidistant vs random TRAAG! Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Dispersie Resultaten Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Dispersie Resultaten Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Dispersie Resultaten Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Overzicht Inleiding Kleur Spectrale representaties Spectrale effecten Interferentie in dunne film Diffractie Dispersie Absorptie in volumes Bemonsterde BRDF Besluit Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Absorptie in volumes (nog) geen overtuigend resultaat geen duidelijk voordeel in spectrale absorptie Peter Vangorp - Koen Yskout

Bemonsterde BRDF Spectraal opgemeten BRDFs Interpoleren Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Bemonsterde BRDF Spectraal opgemeten BRDFs van Cornell University 8 x 180 x 31 Interpoleren tussen dichtste buren Model gebaseerd op het model van Cornell University Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Bemonsterde BRDF Beperking: smalle pieken speculaire reflectie niet opgemeten gesimuleerde meting van cd (diffractie) Peter Vangorp - Koen Yskout

Peter Vangorp - Koen Yskout Inleiding Kleur Spectrale representaties Spectrale effecten Besluit Besluit Spectra zijn absoluut nodig RGB is soms hopeloos ontoereikend Spectra zijn niet veel trager dan RGB intersecties blijven het traagste punt Golflengte als extra dimensie in de Monte Carlo integratie van de rendering vergelijking is wel te traag dispersie kan alleen op deze trage manier Peter Vangorp - Koen Yskout