Data Tools Models Data, modellen en tools: Voor het oplossen van elk complex waterbouwkundig vraagstuk gebruik je in meer of mindere mate: data, modellen.

Presentatie over: "Data Tools Models Data, modellen en tools: Voor het oplossen van elk complex waterbouwkundig vraagstuk gebruik je in meer of mindere mate: data, modellen."— Transcript van de presentatie:

1 Data Tools Models Data, modellen en tools: Voor het oplossen van elk complex waterbouwkundig vraagstuk gebruik je in meer of mindere mate: data, modellen en tools.

2 Wat is het probleem? Kwaliteit, snelle beschikbaarheid en toegankelijkheid van data voor analyse is onvoldoende Modellen en door engineers ontwikkelde tools zijn niet goed gedocumenteerd en staan niet onder versie beheer Kan veel beter! Data: data niet onder versie beheer, altijd verschillende file formaten, metadata vaak niet beschikbaar bij de data. Modellen en tools: verschillende tools-versies op PC’s gebruikers, onduidelijkheid welke versie van tool is gebruikt bij bepaalde berekeningen.

3 Gedetailleerd Versimpeld
Gebruiker OPeNDAP Server SubVersion Server Raw Data Tools OpenEarth (BwN) biedt een infrastructuur voor dit probleem. Basis elementen: SubVersion server & OPeNDAP server. Uitgangspunt: Vaste structuur – flexibele toegang. Models Toeleverancier

4 Wat is NetCDF? Een matrix gebaseerde datastructuur voor het opslaan van multidimensionele data N-dimensionale coordinatensystemen X coordinaat (e.g. longitude) Y coordinaat (e.g. latitude) Z coordinaat (e.g. altitude) Tijd dimensie … andere dimensies Variabelen – maximale flexibiliteit voor het definieren van alle datatypen Temperatuur, druk, zoutgehalte, korreldiameter, etc Geometrie – impliciet of expliciet Regelmatig grid (implicit – opslag efficientie) Onregelmatig grid (expliciet) Punten X Z T Y NetCDF: NASA's Earth Science Data Systems Standards Process Group raadt NetCDF aan als te hanteren dataopslagstandaard. Voordelen: grote data uitwisselbaarheid, platform onafhankelijk, robuust in gebruik en toch eenvoudig te begrijpen.

5 X Y Z X Y Z Q 32 getallen 14 getallen
0.5 2 0.3 0.6 0.1 0.4 0.2 0.9 1 2 1 2 0.5 0.4 0.6 0.9 0.3 0.2 0.1 32 getallen 14 getallen Efficiente data opslag: Binair NetCDF formaat maakt complete definitie van variabelen mogelijk met gebruik van minimaal aantal getallen (zie voorbeeld) en minimale herhaling metadata. Resultaat: minimale opslagruimte, zeer grote datasets snel te bevragen.

6 x = nc_varget(transect.nc, 'crossshore_distance');
y = nc_varget(transect.nc, 'time'); z = nc_varget(transect.nc, 'height'); surface(x, y, z); Voorbeeld: transect.nc netcdf transect.nc { dimensions: crossshore = 198 ; time = 3 ; variables: float crossshore_distance(crossshore), shape = [198] crossshore_distance:unit = "meter" float year(time), shape = [3] year:unit = "year" float height(time,crossshore), shape = [3 198] height:unit = "meter" data: coastward_distance = (-65:5:920); year = (2006:2008); height = [ … … … ]; } Voorbeeld NetCDF file: 198 kustdwarse punten, 3 tijdsopnames, 3 x 198 hoogtes. Metadata in één file samen met de data. NB: transect.nc is een binaire file. Eenvoudige Matlab routines beschikbaar: nc_varput, nc_addvar, nc_varget (zie inzet)

7 SubVersion: open source versiebeheer systeem
SubVersion: open source versiebeheer systeem. Gebruikers ‘committen’ hun files in één centrale database (regelmatig updaten lokale kopie). Iedere commit krijgt een eigen uniek revisienummer. Per commit kun je in een comment aangeven wat er is gewijzigd.

8 Blame functionaliteit: van elke regel code is bekend door wie, wanneer en als onderdeel van welk revisie nummer deze is gewijzigd. Kleuren geven de ouderdom van de code aan (blauwer = ouwer). Elke wijziging kan achteraf altijd worden teruggedraaid.

9 Merge tool: Verschillen tussen verschillende versies van een tool zijn eenvoudig inzichtelijk te maken. Wanneer meerdere users aan de zelfde code werken helpt de merge tool eventuele conflicten op te lossen.

10 Version control: elke routine/datafile kan automatisch een comment block meekrijgen met daarin info over: datum en auteur laatste wijziging, revisie nummer etc. Sla bij een project het revisienummer van de gebruikte code op en je weet welke versie is gebruikt.

11 Statistieken: Per project of tool kun je een aparte ‘repository’ aanmaken. Herbruikbare tools combineren in één centrale repository heeft grote voordelen (delen, samenwerken, leren). OpenEarth tools, oa gebruikt in Building with Nature, is open source en freeware.

12 OpenEarthRawData OpenEarth OPeNDAP OpenEarthTools
Extract Transform Load Provide Raw data Scripts Database Charts & Maps Store raw data in subversion to keep track of history Add meta information Script to convert raw data into netcdf Stored files (netcdf) accessible through the web Tools and websites OpenEarthRawData OpenEarth OPeNDAP OpenEarthTools Data workflow: OpenEarth heeft de volgende afspraken voor het beschikbaar maken van data: 1. ruwe data in SubVersion, 2. scriptgewijze verrijking met meta data naar NetCDF, 3. automatisch uploaden *.nc files naar OpenDap, en 4. flexibele toegang

13 Community of practice: De OpenEarth opzet heeft een brede kring gebruikers (Building with Nature, EU FP7 MICORE, Delft Cluster etc.). Vanuit Building with Nature worden trainingen verzorgd (SubVersion gebruik, programmeerstandaarden, etc.).