Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF.

Presentatie over: "Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF."— Transcript van de presentatie:

1 Grid Computing van onderzoek naar onderzoeksfaciliteit David Groep NIKHEF

2 NWO Themadag - ICT en Grids2 ICT & Grid Drie eigenschappen van een grid De bouw van een grid faciliteit –software –hardware –‘peopleware’ applicaties infrastructuur informatica onderzoek

3 NWO Themadag - ICT en Grids3 The GRID: networked data processing centres and ”middleware” software as the “glue” of resources. Researchers perform their activities regardless geographical location, interact with colleagues, share and access data Scientific instruments and experiments provide huge amounts of data Federico.Carminati@cern.ch Connecting Resources Basis voor Resource Sharing

4 NWO Themadag - ICT en Grids4 De belangrijkste kenmerken op een rij ‘Een grid is meer dan een clustercomputer’ Het Grid brengt resources bij elkaar, die –niet door één organisatie worden beheerd –wel een gemeenschappelijk, open protocol spreken … dat algemeen bruikbaar is –voor de gebruiker één transparant, samenwerkend geheel vormen

5 NWO Themadag - ICT en Grids5 Organisatie in grids

6 NWO Themadag - ICT en Grids6 De Virtuele Organisatie Gebruikers en providers vormen tijdelijk samen één gemeenschap Gebruikers nemen vaak deel als individu De provider kent niet van tevoren alle gebruikers: trusted third parties zorgen voor identificatie Virtuele organisaties zullen overlappen

7 NWO Themadag - ICT en Grids7 Standaardisatie beperkt aantal standaard protocollen (‘web services’) algemeen bruikbaar voor verschillende applicaties samenhang: Open Grid Services Architecture (OGSA)

8 NWO Themadag - ICT en Grids8 Standaard protocollen tape robot DMF+CXFS disk-based storage GridFTP server CASTOR Job user RLS Metadata Catalogue Grid Security Infrastructure Security Infrastructure GSI in common common authentication multiple implemen- tations, same interface one information system per VO / infrastructure InfoSys Client/App SW GSI Security

9 NWO Themadag - ICT en Grids9 Collectieve services Eén uniform systeem single sign-on resource brokering foutbestendigheid –self-healing –redundancy

10 NWO Themadag - ICT en Grids10 Op weg naar een faciliteit Integratie van infrastructuur en ICT onderzoek authenticatie/autorisatie –‘gemeenschapsvorming’ –beveiliging, indicent handling, operaties infrastructuur bouw en –beheer –integratie, stabiliteit, ‘quality of service’ en installatie –resources en hardware disseminatie & ondersteuning – voor gebruikers én beheerders

11 NWO Themadag - ICT en Grids11 Authenticatie en autorisatie Schaalbare Public Key Infrastructure (‘paspoort’) –identiteits providers los van de virtuele organisatie –wereldwijd coördinatie nodig! Virtuele Organisaties (‘visa’) –gemeenschappelijke gebruikvoorwaarden –interne organisatiestructuur en rechten –los van instituten en van de resource aanbieders –VO organiseert rechten van zijn leden, zonder tussenkomst van resource aanbieders Resources policies (‘marechaussee’) –systeemeigenaar heeft altijd het laatste woord –accounting maakt gebruik inzichtelijk en berekenbaar

12 NWO Themadag - ICT en Grids12 Infrastructuur: integratie Integratie van software –veel van de tools en concepten zijn er al … ‘alleen nog maar integreren’ –maar alleen met implementatie, uitrol & testen vindt je de zwakheden Aandacht voor specifieke grid eigenschappen –policy-constraint gedistribueerde computing –verhoogde dynamiek in het systeem –fault tolerance eisen En daadwerkelijk installeren –Software engineering verbeteren –VL-e Proof-of-Concept Installer –Grid cluster tools (quattor) Application development NL-Grid production cluster Central mass-storage facilities +SURFnet Initial compute platform Stable, reliable, tested Cert. releases Grid MW & VL-software VL-e Proof of Concept Environment VL-e Rapid Prototyping Environment DAS-2, local resources VL-e Certification Environment NL-Grid Fabric Research Cluster Test & Cert. Grid MW & VL-software Compatibility Flexible, test environment Environments Usage Characteristics Virtual Lab. rapid prototyping (interactive simulation) Flexible, ‘unstable’ Download Repository PoC Installer Cluster Tools Developer CVS Nightly builds Unit tests stable, tested releases Integration tests Functionality tests Adventurous application people PoC Release nRelease Candidate n+1 Developers Heaven/Haven Tagged Release Candidates GT2 GT3.2 P4 Scaling & Validation Programme

13 NWO Themadag - ICT en Grids13 Infrastructuur: hardware resources Een ‘leeg’ grid heeft weinig nut –complexe faciliteiten worden wel beter toegankelijk –maar grid is geen vervanging voor hardware aanschaf –wel: schaalvoordelen & efficienter gebruik ‘Gegridificeerde’ resources, b.v. –NCF NL-Grid project: clusters & opslag –SARA: Matrix cluster + storage –NIKHEF Data Processing Facility –AMOLF MassStore –in toekomst: Nationaal Cluster LISA@SARA –bereikbaar via SURFnet

14 NWO Themadag - ICT en Grids14 Gebruikers! Betrokkenheid is essentieel voor succes –‘brug’ tussen grid en gebruikers nodig –hands-on training + support –pilots met nieuwe technologie –intensieve samenwerking met applicaties –voor gebruikers ‘interessante’ resources –grid gebruikers in VL-e en NL-Grid nu aard-observatie, radioastronomie, medical imaging, 3D-elektronenmicroscopie, (astro-) deeltjesfysica, informaticaonderzoekers, massaspectroscopie –maar dit kan/moet veel verder groeien … Alleen gebruikers maken grid tot een succes! P4