SURF Open innovatie Lab (SOIL) Caspar van Leeuwen

Overview Wat is het SURF Open Innovatie Lab? Wat is Machine Learning / Deep Learning? Deep Learning op supercomputers Wetenschappelijke simulaties verbeteren/versnellen m.b.v. Deep Learning

Artificial Intelligence Terminologie Artificial Intelligence Machine Learning Deep Learning

SURF Open Innovatie Lab Compute infrastructuur Networking Visualisatie Trainingen Masterclasses Community events Surf Open Innovatie Lab

SURF Open Innovatie Lab Innovation Collaboration Experiments Academia SURF institutions Industry

SURF Open Innovatie Lab Concepts Ideas Proof of Concepts Pilots Service development Services

SURF Open Innovatie Lab Pilots Service development Services Concepts Ideas Proof of Concepts Quantum computing Future processor technologies e.g. ARM Energy Smart Computing Machine learning enhanced HPC IoT & streaming data Augmented reality & VR 3D printing for visualization Technology Idea/Concept Customer New service Service improvement Scaling up Deep Learning current projects @ SURFsara

SURF Open Innovatie Lab Concepts Ideas Proof of Concepts Pilots Service development Services current projects @ SURFsara Technology Scaling up Deep Learning Quantum computing Future processor technologies e.g. ARM 3D printing for visualization New service Idea/Concept IoT & streaming data Service improvement Energy Smart Computing Machine learning enhanced HPC Augmented reality & VR Customer

SURF Open Innovatie Lab Concepts Ideas Proof of Concepts Pilots Service development Services Scaling up Deep Learning Gehele supercomputer efficiënt laten rekenen aan één Deep Learning taak

SURF Open Innovatie Lab Concepts Ideas Proof of Concepts Pilots Service development Services current projects @ SURFsara Technology Quantum computing Future processor technologies e.g. ARM Scaling up Deep Learning 3D printing for visualization New service Idea/Concept Machine learning enhanced HPC IoT & streaming data Service improvement Energy Smart Computing Augmented reality & VR Customer

SURF Open Innovatie Lab Concepts Ideas Proof of Concepts Pilots Service development Services Machine learning enhanced HPC Machine Learning om traditionele wetenschappelijke berekeningen (bijv. simulaties) te versnellen / verbeteren

Overview Wat is het SURF Open Innovatie Lab? Wat is Machine Learning / Deep Learning? Deep Learning op supercomputers Wetenschappelijke simulaties verbeteren/versnellen m.b.v. Deep Learning

Wat is Machine Learning? Artificial Intelligence Wat is Machine Learning? Machine Learning Verschillende definities… Machine learning = het gebruik statistische technieken om computersystemen te laten leren (d.w.z. steeds beter worden in een bepaalde taak) op basis van data, zonder expliciet voor de taak geprogrammeerd te zijn. Voorbeeld: het leren herkennen van dieren Deep Learning

Artificial Intelligence Wat is Deep Learning? Machine Learning Deep Learning is één van de meest succesvolle ML technieken Geïnspireerd op het menselijk brein Deep Learning Leren door verbindingen (sterker) te maken Neuronen

Wat is Deep Learning? Neuraal netwerk Neuronen Kat! Output layer Input layer Hidden layer (1 … N) Output layer Neuronen Kat!

Wat is Deep Learning? Deep Learning: het trainen van de sterkte van de verbindingen tussen neuronen op zo’n manier dat ze de gewenste uitkomst het beste voorspellen Input layer Hidden layer (1 … N) Output layer Neuronen Gewichten aanpassen Hond!

Wat is Deep Learning? Deep Learning: het trainen van de sterkte van de verbindingen tussen neuronen op zo’n manier dat ze de gewenste uitkomst het beste voorspellen Input layer Hidden layer Output layer Kat!

Wat is Deep Learning? Typische toepassing: classificatie Gewichten zijn getraind om het beste te kunnen voorspellen welk dier te zien is

Wat is Deep Learning? Andere toepassing: genereren van nieuwe voorbeelden. Deze ‘celebrities’ bestaan niet! Gewichten zijn getraind om voorbeelden te genereren die het moeilijkst te onderscheiden zijn van echte voorbeelden Progressive Growing of GANs for Improved Quality, Stability, and Variation (T. Karras et al, 2018)

Wat is Deep Learning? Nog een toepassing: interpolatie Google brain project: pixel recursive super resolution (Dahl et al 2017)

Overview Wat is het SURF Open Innovatie Lab? Wat is Machine Learning / Deep Learning? Deep Learning op supercomputers Wetenschappelijke simulaties verbeteren/versnellen m.b.v. Deep Learning

Deep Learning op supercomputers Concepts Ideas Proof of Concepts Pilots Service development Services Scaling up Deep Learning Gehele supercomputer efficiënt laten rekenen aan één Deep Learning taak

Deep learning op supercomputers M.n. Deep Learning is rekenintensief. Benodigde rekenkracht afhankelijk van: Aantal lagen & verbindingen in neuraal netwerk Aantal voorbeelden Complexer neuraal netwerk + meer voorbeelden = betere voorspelling Meer rekenkracht → betere voorspellingen Algoritme voor training moet parallel kunnen draaien

Deep Learning schaling SURFsara expertise: schaling Ideaal: verdubbeling van aantal computers = halvering van rekentijd Realiteit: Extra overhead (computers moeten met elkaar ‘praten’ tijdens berekening) Deel van de code kan niet parallel → alle computers wachten op één Extra berekeningen om resultaten samen te voegen

Deep learning schaling SURFsara expertise: schaling E.g. Intel Parallel Compute Center (IPCC) project: ImageNet 1k (classificatie van foto’s) 70 Ideaal SURFsara IBM Caffe IBM Torch Facebook 60 50 40 Foto’s/s 30 20 10 4 16 32 64 96 128 192 256 Nodes (computers)

Deep learning op supercomputers AI Radiologist Classificaties van X-ray foto’s op aandoeningen Toegepaste techniek: Transfer learning

Deep learning op supercomputers AI Radiologist Classificaties van X-ray foto’s op aandoeningen Toegepaste techniek: Transfer learning Netwerk leert sneller, want kent bijv. al basale ‘vormen’ (rechte lijnen, cirkels, etc)

Overview Wat is het SURF Open Innovatie Lab? Wat is Machine Learning / Deep Learning? Deep Learning op supercomputers Wetenschappelijke simulaties verbeteren/versnellen m.b.v. Deep Learning

Simulaties versnellen mbv Deep Learning Programma: Deep Learning enhanced HPC Doel: inzetten van Deep Learning technieken om ’traditionele’ HPC simulaties te verbeteren / versnellen

Simulaties versnellen mbv Deep Learning: motivatie Moore’s law: transistors per chip 1011 109 # Transistors / chip 107 105 103 1970 1980 1990 2000 2010 2020

Simulaties versnellen mbv Deep Learning: motivatie “Vanzelfsprekende” toename in rekenkracht is binnenkort voorbij 104 103 102 10 1 1970 1980 1990 2000 2010 2020 ~ 50 atomen Feature size (nm)

Simulaties versnellen mbv Deep Learning: motivatie Hoe zien onze toekomstige worloads / services eruit? Hardware Services DL4HPC GPU Parallel CPU

Simulaties versnellen mbv Deep Learning Samenwerking met onderzoekers: 4 use cases 1-1.5 jaar funding voor een locale expert (e.g. postdoc) Deep Learning expert van SURFsara Computationele infrastructuur (super/clustercomputer) Gezamelijke meetings met alle groepen voor kennisuitwisseling

Simulaties versnellen mbv Deep Learning Project 1: botsingen in een deeltjesversneller simuleren PI: Sascha Caron (Nijmegen) Postdoc: Sydney Otten

Simulaties versnellen mbv Deep Learning Project 2: turbulentie modelleren voor betere weersvoorspellingen PI: Chiel van Heerwaarden (Wageningen) PhD: Robin Stoffer Source: by Depunity, from Wikimedia Commons [CC BY-SA 4.0]

Simulaties versnellen mbv Deep Learning Kansen: DL kan helpen bij veel wetenschappelijke problemen op gebied van HPC. (e.g. lage resolutie v.s. hoge resolutie probleem is veel voorkomend) Uitdaging: Deep learning expertise aanwezig bij AI onderzoeksgroepen → focussen vooral op ontwikkeling van nieuwe DL technieken Deep learning expertise vaak niet of beperkt aanwezig bij domein-specifieke onderzoeksgroepen (bijv. klimaatwetenschappen) → kennis over toepassing van bestaand DL techieken nodig

Demo Tensorflow Playground

Discussiepunt Machine Learning is een hype, dat waait wel over

Discussiepunt Wat is de grootste uitdaging in Machine Learning? Kwaliteit van de data Beschikbaarheid van (voldoende) data Beschikbaarheid van hardware (capaciteit) Beschikbaarheid van kennis over (goed) gebruik van Machine Learning

Discussiepunt Onderzoekers: wie heeft machine learning gebruikt? Waarvoor? Welk framework? Wat voor data? Welke hardware? Wat is de beschikbaarheid van data in jouw veld? Zijn er openbare datasets? Hoe kom je aan je data? Liep je tegen problemen aan? Welke?

Discussiepunt Welke onderzoeksvelden zouden baat hebben bij Machine Learning? Waarom?

Discussiepunt Research support: is er vraag naar machine learning support op jouw universiteit / onderzoeksinstituut Wat voor support (hardware, software, algoritmes)? Welke wetenschappelijke domeinen betreft het? Hebben deze wetenschappers voldoende expertise om ML goed te gebruiken? Hebben research support afdelingen voldoende kennis over ML? Zo niet, wat mist er?

Discussiepunt Wat moet SURF doen om gebruik van Machine learning te ondersteunen? Hulp bij het schalen van machine learning problemen op de supercomputer Hulp bij het versnellen van mijn traditionele HPC simulaties met behulp van machine learning Algemene machine learning consultancy Voorzien in hardware Voorzien in software …

Discussiepunt Om onderzoekers te ondersteunen die machine learning gebruiken is de beste oplossing: Het bij elkaar brengen van AI onderzoekers en andere disciplines, zodat de AI onderzoekers de anderen kunnen ondersteunen Centrale ondersteuning binnen een universiteit / onderzoeksinstituut, vanuit reguliere research support-organen Een landelijke expertise team dat consultancy aan onderzoekers kan bieden

Discussiepunt Er is een groot tekort aan mensen met Machine Learning kennis. Is dat iets waar jullie tegenaan lopen, bijvoorbeeld bij aantrekken van geschikt personeel? Hoe kunnen we dit tekort oplossen? Moeten opleidingen hun capaciteit vergroten? Maar hoe doen ze dat, gezien het tekort aan docenten met deze kennis?

Discussiepunt ‘Silicon Valley’ (Google, Facebook, etc) heeft een enorme voorsprong op gebied van Machine Learning, en het geld om de schaarse experts aan te trekken. Hoe blijven we als Nederland / Europa bij?

Discussiepunt Machine learning is een positieve / negatieve ontwikkeling Denk aan: Beschikbaarheid van banen Kwaliteit van leven Doemscenario’s (intelligente wapens)

Discussiepunt Wat voor data heb je bij jouw instituut die geschikt zouden zijn om met machine learning zou analyseren? Wie zou dat moeten doen?

Discussiepunt Vergeet machine learning, quantum computing is ‘the next big thing’ Is iemand bezig met quantum computing?

Discussiepunt Welke andere innovaties op gebied van hardware / software zullen een impact hebben op de wetenschap?