SURF Open innovatie Lab (SOIL)

Presentatie over: "SURF Open innovatie Lab (SOIL)"— Transcript van de presentatie:

1 SURF Open innovatie Lab (SOIL)
Caspar van Leeuwen

2 Overview Wat is het SURF Open Innovatie Lab?
Wat is Machine Learning / Deep Learning? Deep Learning op supercomputers Wetenschappelijke simulaties verbeteren/versnellen m.b.v. Deep Learning

3 Artificial Intelligence
Terminologie Artificial Intelligence Machine Learning Deep Learning

4 SURF Open Innovatie Lab
Compute infrastructuur Networking Visualisatie Trainingen Masterclasses Community events Surf Open Innovatie Lab

5 SURF Open Innovatie Lab
Innovation Collaboration Experiments Academia SURF institutions Industry

6 SURF Open Innovatie Lab
Concepts Ideas Proof of Concepts Pilots Service development Services

7 SURF Open Innovatie Lab
Pilots Service development Services Concepts Ideas Proof of Concepts Quantum computing Future processor technologies e.g. ARM Energy Smart Computing Machine learning enhanced HPC IoT & streaming data Augmented reality & VR 3D printing for visualization Technology Idea/Concept Customer New service Service improvement Scaling up Deep Learning current SURFsara

8 SURF Open Innovatie Lab
Concepts Ideas Proof of Concepts Pilots Service development Services current SURFsara Technology Scaling up Deep Learning Quantum computing Future processor technologies e.g. ARM 3D printing for visualization New service Idea/Concept IoT & streaming data Service improvement Energy Smart Computing Machine learning enhanced HPC Augmented reality & VR Customer

9 SURF Open Innovatie Lab
Concepts Ideas Proof of Concepts Pilots Service development Services Scaling up Deep Learning Gehele supercomputer efficiënt laten rekenen aan één Deep Learning taak

10 SURF Open Innovatie Lab
Concepts Ideas Proof of Concepts Pilots Service development Services current SURFsara Technology Quantum computing Future processor technologies e.g. ARM Scaling up Deep Learning 3D printing for visualization New service Idea/Concept Machine learning enhanced HPC IoT & streaming data Service improvement Energy Smart Computing Augmented reality & VR Customer

11 SURF Open Innovatie Lab
Concepts Ideas Proof of Concepts Pilots Service development Services Machine learning enhanced HPC Machine Learning om traditionele wetenschappelijke berekeningen (bijv. simulaties) te versnellen / verbeteren

12 Overview Wat is het SURF Open Innovatie Lab?
Wat is Machine Learning / Deep Learning? Deep Learning op supercomputers Wetenschappelijke simulaties verbeteren/versnellen m.b.v. Deep Learning

13 Wat is Machine Learning?
Artificial Intelligence Wat is Machine Learning? Machine Learning Verschillende definities… Machine learning = het gebruik statistische technieken om computersystemen te laten leren (d.w.z. steeds beter worden in een bepaalde taak) op basis van data, zonder expliciet voor de taak geprogrammeerd te zijn. Voorbeeld: het leren herkennen van dieren Deep Learning

14 Artificial Intelligence
Wat is Deep Learning? Machine Learning Deep Learning is één van de meest succesvolle ML technieken Geïnspireerd op het menselijk brein Deep Learning Leren door verbindingen (sterker) te maken Neuronen

15 Wat is Deep Learning? Neuraal netwerk Neuronen Kat! Output layer
Input layer Hidden layer (1 … N) Output layer Neuronen Kat!

16 Wat is Deep Learning? Deep Learning: het trainen van de sterkte van de verbindingen tussen neuronen op zo’n manier dat ze de gewenste uitkomst het beste voorspellen Input layer Hidden layer (1 … N) Output layer Neuronen Gewichten aanpassen Hond!

17 Wat is Deep Learning? Deep Learning: het trainen van de sterkte van de verbindingen tussen neuronen op zo’n manier dat ze de gewenste uitkomst het beste voorspellen Input layer Hidden layer Output layer Kat!

18 Wat is Deep Learning? Typische toepassing: classificatie
Gewichten zijn getraind om het beste te kunnen voorspellen welk dier te zien is

19 Wat is Deep Learning? Andere toepassing: genereren van nieuwe voorbeelden. Deze ‘celebrities’ bestaan niet! Gewichten zijn getraind om voorbeelden te genereren die het moeilijkst te onderscheiden zijn van echte voorbeelden Progressive Growing of GANs for Improved Quality, Stability, and Variation (T. Karras et al, 2018)

20 Wat is Deep Learning? Nog een toepassing: interpolatie
Google brain project: pixel recursive super resolution (Dahl et al 2017)

21 Overview Wat is het SURF Open Innovatie Lab?
Wat is Machine Learning / Deep Learning? Deep Learning op supercomputers Wetenschappelijke simulaties verbeteren/versnellen m.b.v. Deep Learning

22 Deep Learning op supercomputers
Concepts Ideas Proof of Concepts Pilots Service development Services Scaling up Deep Learning Gehele supercomputer efficiënt laten rekenen aan één Deep Learning taak

23 Deep learning op supercomputers
M.n. Deep Learning is rekenintensief. Benodigde rekenkracht afhankelijk van: Aantal lagen & verbindingen in neuraal netwerk Aantal voorbeelden Complexer neuraal netwerk + meer voorbeelden = betere voorspelling Meer rekenkracht → betere voorspellingen Algoritme voor training moet parallel kunnen draaien

24 Deep Learning schaling
SURFsara expertise: schaling Ideaal: verdubbeling van aantal computers = halvering van rekentijd Realiteit: Extra overhead (computers moeten met elkaar ‘praten’ tijdens berekening) Deel van de code kan niet parallel → alle computers wachten op één Extra berekeningen om resultaten samen te voegen

25 Deep learning schaling
SURFsara expertise: schaling E.g. Intel Parallel Compute Center (IPCC) project: ImageNet 1k (classificatie van foto’s) 70 Ideaal SURFsara IBM Caffe IBM Torch Facebook 60 50 40 Foto’s/s 30 20 10 4 16 32 64 96 128 192 256 Nodes (computers)

26 Deep learning op supercomputers
AI Radiologist Classificaties van X-ray foto’s op aandoeningen Toegepaste techniek: Transfer learning

27 Deep learning op supercomputers
AI Radiologist Classificaties van X-ray foto’s op aandoeningen Toegepaste techniek: Transfer learning Netwerk leert sneller, want kent bijv. al basale ‘vormen’ (rechte lijnen, cirkels, etc)

28 Overview Wat is het SURF Open Innovatie Lab?
Wat is Machine Learning / Deep Learning? Deep Learning op supercomputers Wetenschappelijke simulaties verbeteren/versnellen m.b.v. Deep Learning

29 Simulaties versnellen mbv Deep Learning
Programma: Deep Learning enhanced HPC Doel: inzetten van Deep Learning technieken om ’traditionele’ HPC simulaties te verbeteren / versnellen

30 Simulaties versnellen mbv Deep Learning: motivatie
Moore’s law: transistors per chip 1011 109 # Transistors / chip 107 105 103 1970 1980 1990 2000 2010 2020

31 Simulaties versnellen mbv Deep Learning: motivatie
“Vanzelfsprekende” toename in rekenkracht is binnenkort voorbij 104 103 102 10 1 1970 1980 1990 2000 2010 2020 ~ 50 atomen Feature size (nm)

32 Simulaties versnellen mbv Deep Learning: motivatie
Hoe zien onze toekomstige worloads / services eruit? Hardware Services DL4HPC GPU Parallel CPU

33 Simulaties versnellen mbv Deep Learning
Samenwerking met onderzoekers: 4 use cases 1-1.5 jaar funding voor een locale expert (e.g. postdoc) Deep Learning expert van SURFsara Computationele infrastructuur (super/clustercomputer) Gezamelijke meetings met alle groepen voor kennisuitwisseling

34 Simulaties versnellen mbv Deep Learning
Project 1: botsingen in een deeltjesversneller simuleren PI: Sascha Caron (Nijmegen) Postdoc: Sydney Otten

35 Simulaties versnellen mbv Deep Learning
Project 2: turbulentie modelleren voor betere weersvoorspellingen PI: Chiel van Heerwaarden (Wageningen) PhD: Robin Stoffer Source: by Depunity, from Wikimedia Commons [CC BY-SA 4.0]

36 Simulaties versnellen mbv Deep Learning
Kansen: DL kan helpen bij veel wetenschappelijke problemen op gebied van HPC. (e.g. lage resolutie v.s. hoge resolutie probleem is veel voorkomend) Uitdaging: Deep learning expertise aanwezig bij AI onderzoeksgroepen → focussen vooral op ontwikkeling van nieuwe DL technieken Deep learning expertise vaak niet of beperkt aanwezig bij domein-specifieke onderzoeksgroepen (bijv. klimaatwetenschappen) → kennis over toepassing van bestaand DL techieken nodig

37 Demo Tensorflow Playground

38 Discussiepunt Machine Learning is een hype, dat waait wel over

39 Discussiepunt Wat is de grootste uitdaging in Machine Learning?
Kwaliteit van de data Beschikbaarheid van (voldoende) data Beschikbaarheid van hardware (capaciteit) Beschikbaarheid van kennis over (goed) gebruik van Machine Learning

40 Discussiepunt Onderzoekers: wie heeft machine learning gebruikt?
Waarvoor? Welk framework? Wat voor data? Welke hardware? Wat is de beschikbaarheid van data in jouw veld? Zijn er openbare datasets? Hoe kom je aan je data? Liep je tegen problemen aan? Welke?

41 Discussiepunt Welke onderzoeksvelden zouden baat hebben bij Machine Learning? Waarom?

42 Discussiepunt Research support: is er vraag naar machine learning support op jouw universiteit / onderzoeksinstituut Wat voor support (hardware, software, algoritmes)? Welke wetenschappelijke domeinen betreft het? Hebben deze wetenschappers voldoende expertise om ML goed te gebruiken? Hebben research support afdelingen voldoende kennis over ML? Zo niet, wat mist er?

43 Discussiepunt Wat moet SURF doen om gebruik van Machine learning te ondersteunen? Hulp bij het schalen van machine learning problemen op de supercomputer Hulp bij het versnellen van mijn traditionele HPC simulaties met behulp van machine learning Algemene machine learning consultancy Voorzien in hardware Voorzien in software …

44 Discussiepunt Om onderzoekers te ondersteunen die machine learning gebruiken is de beste oplossing: Het bij elkaar brengen van AI onderzoekers en andere disciplines, zodat de AI onderzoekers de anderen kunnen ondersteunen Centrale ondersteuning binnen een universiteit / onderzoeksinstituut, vanuit reguliere research support-organen Een landelijke expertise team dat consultancy aan onderzoekers kan bieden

45 Discussiepunt Er is een groot tekort aan mensen met Machine Learning kennis. Is dat iets waar jullie tegenaan lopen, bijvoorbeeld bij aantrekken van geschikt personeel? Hoe kunnen we dit tekort oplossen? Moeten opleidingen hun capaciteit vergroten? Maar hoe doen ze dat, gezien het tekort aan docenten met deze kennis?

46 Discussiepunt ‘Silicon Valley’ (Google, Facebook, etc) heeft een enorme voorsprong op gebied van Machine Learning, en het geld om de schaarse experts aan te trekken. Hoe blijven we als Nederland / Europa bij?

47 Discussiepunt Machine learning is een positieve / negatieve ontwikkeling Denk aan: Beschikbaarheid van banen Kwaliteit van leven Doemscenario’s (intelligente wapens)

48 Discussiepunt Wat voor data heb je bij jouw instituut die geschikt zouden zijn om met machine learning zou analyseren? Wie zou dat moeten doen?

49 Discussiepunt Vergeet machine learning, quantum computing is ‘the next big thing’ Is iemand bezig met quantum computing?

50 Discussiepunt Welke andere innovaties op gebied van hardware / software zullen een impact hebben op de wetenschap?