Computers bij experimenten in de deeltjesfysica Frank Filthaut Radboud Universiteit Nijmegen / NIKHEF Een virtuele rondleiding in het ATLAS-experiment

TU/e2 Inhoud Doelstellingen en methodes in de deeltjesfysica Triggers en data-acquisitie Reconstructie en analyse van data

TU/e3 Wat is deeltjesfysica? Doelstellingen: –Erachter komen wat de fundamentele bouwstenen van materie zijn: elementaire deeltjes Links met andere takken van wetenschap / technologie: –Astronomie (kosmologie, kernfysische processen in sterren) –De interacties tussen deze deeltjes kunnen beschrijven –Spin-off (medische industrie, WWW, Grid …)

TU/e4 Elementaire deeltjes Er is geen interactie “op afstand”: interacties worden overgebracht door krachtdeeltjes Quarks komen niet vrij in de natuur voor, maar alleen in de vorm van hadronen (gebonden toestanden van quarks en/of antiquarks) Leptonen komen wel vrij voor, maar alleen het elektron is echt stabiel. Neutrino’s zijn ongeladen en zijn bij versneller-experimenten niet waarneembaar

TU/e5 Waarom hoge-energiefysica? Van de op de vorige pagina genoemde fermionen zijn alleen het elektron en de up- en down-quarks in “gewone” materie aanwezig: de andere deeltjes zijn zwaar ( m t = 175 GeV/c 2, even zwaar als een goud-atoom) en vervallen zeer snel (naar lichtere deeltjes) Hoge energieën zijn nodig om deze zware deeltjes te kunnen produceren

TU/e6 Deeltjesversnellers en botsingen botsingen tussen protonen met energieën van 7 TeV) Snelheid van de protonen: v = 0, c Detectie van bij de interacties vrijkomende hoog- energetische deeltjes mbv gespecialiseerde detectoren (bv ATLAS) (Extreem) voorbeeld: de Large Hadron Collider (LHC) bij CERN

TU/e7 Deeltjesversnellers en botsingen Waarom zo’n enorm versnellercomplex? In een homogeen magneetveld B: p = q B r Met B = 9 T, p = 7 TeV en het versnellen van een eenheidslading: r ~ 27 km In de praktijk: 1232 dipolen met ieder een lengte van 15 m –B = 9 T: supergeleidende magneten –In één behuizing: in feite twee verschillende magneten

TU/e8 Complexiteit van experimenten

TU/e9 Detectie van deeltjes Doel: detecteren en zo goed mogelijk meten van alle deeltjes die bij een hoog-energetische interactie vrijkomen –Verschillende deeltjes (e ±, ,  ±, hadronen) interageren op verschillende manieren met de verschillende detectormaterialen –Veel deeltjes leven veel te kort (tot ~ s) om “direct” waargenomen te worden: ze moeten indirect “gereconstrueerd” worden aan de hand van hun vervalsproducten Vereist: –Zeer hoge dichtheid van meetelementen (precieze metingen, goed onderscheid tussen deeltjes die zich op korte afstand van elkaar bevinden) in totaal ~10 7 meetelementen –Zeer grote hoeveelheid materiaal om alle deeltjes (behalve  ± ) te stoppen

TU/e10 Selectie van fysische processen De luminositeit (~intensiteit) van de LHC-bundels moet tenminste cm -2 s -1 worden –10 8 interacties per seconde ! –Met 4·10 7 bundelbotsingen per seconde: meerdere interacties per bundelbotsing Fysisch “interessante” interacties per seconde: –10 1 voor W-boson productie –10 -2 voor “lichte” Higgs-bosonen Een snelle (real time) selectie van de interessante processen is cruciaal!

TU/e11 Selectie van fysische processen (2) In werkelijkheid zien de interacties er veel gecompliceerder uit dan zoals gesuggereerd door de voorgaande ATLAS-simulatie! –Honderden geladen deeltjes iedere 25 ns –Langzame signalen in de calorimeters: overlap tussen signalen van verschillende bundelbotsingen Voor preciese metingen zijn veel meetelementen nodig –Tracking: ~ 50  m  ruwweg 10 7 elementen In termen van “ruwe” data: ~ 10 TB/s. Een on-line selectie is nodig om dit te reduceren tot ~ 200 MB/s (200 interacties/s)!

TU/e12 Real-time selectie: triggers Van “triviale” situaties… –Geen uitlezing tijdens signaalverwerking: “dead time” via extra buffering… –Geen uitlezing als buffers vol zijn en synchronisatie met de bundelbotsingen… –Gebruik van triggers voornamelijk om oninteressante interacties te verwerpen naar de LHC-situatie –Elektronische “pipelines” –Tijd om de snelste beslissingen te nemen » tijd tussen botsingen

TU/e13 Tijdsschalen en telsnelheden Detectorgegevens zijn te complex om de selectie in een keer te maken Strategie: gooi eerst snel de duidelijke “rotzooi” weg, zodat er meer tijd overblijft om naar de moeilijker gevallen te kijken –Typisch 3 niveaus “Rotzooi”: typisch laag-energetische hadronische interacties Digitalisatie (en “zero suppression”) van gegevens gebeurt pas na een 1 e niveau trigger

TU/e14 Een beslissing iedere 25 ns Niveaus 1&2: houd het simpel en lokaal! Alleen calorimetrie, muonen. Intensief gebruik FPGA’s, PPCs (berekeningen), Gb/s links (communicatie) 1 e niveau trigger-beslissing op basis van simpele AND/OR regels

TU/e15 Een beslissing iedere 25 ns Voor muonen zijn extra (snelle) detectoren nodig om een 1 e - niveau triggerbeslissing te kunnen nemen: R esistive P late C hambers, T hin G ap C hambers –Grofmazig (< 3cm), maar voldoende gesegmenteerd om een snelle impulsmeting te kunnen doen Algoritme: –Gebruik signalen in een laag als uitgangspunt –Zoek naar signalen in andere lagen Grootte van het zoekbereik bepaalt minimum muon p T In de praktijk: zoekbereik ~40cm (RPC), ~10cm(TGC): ruwweg 10 7 associaties

TU/e16 Van hardware naar software Trigger-niveau 2: gebruik van standaard PC farms –Vorige generaties experimenten: hardware of speciale processors Maar PCs zien maar een beperkt deel van iedere interactie: nauwkeurig(er) bekijken van die RoI s die tot een LVL1 accept leidden –Geen “globale” informatie Berekeningen duren niet allemaal even lang  extra boekhouding om bij te houden of individuele PCs binnen redelijke tijd gereed zijn –Monitor-processen, queueing theory (bereken kans op fouten)

TU/e17 On-line data-reconstructie De uiteindelijke (3 e niveau) trigger-beslissing wordt genomen op basis van informatie van de gehele detector (calorimetrie, muonsysteem, tracking) Probleem: hoe de gegevens van verschillende gedeeltes van de detector in één computer to verzamelen? Uitgebreid onderzoek nodig naar bruikbare switches (Gb/s poorten, intern ~100 Gb/s), en optimum gebruik hiervan (tcp/udp, ATM, …): “traffic shaping” Typisch ~ 1 sec/interactie  voor kHz input rate zijn 1600 (Linux) dual CPU PCs nodig! Uitgebreide monitoring —Bijeen zoeken van bij elkaar horende verschillende data-fragmenten

TU/e18 Reconstructie van interacties Taak van een reconstructie - programma: een zo goed mogelijke benadering geven van de deeltjes die in de interactie geproduceerd werden Voorbeeld: reconstructie van de trajecten van geladen deeltjes: –Patroonherkenning –Bepalen van richting en impuls Andere taken (“objecten”): –e ±, ,  ± –Jets (groepen hadronen ~ quarks/gluonen) We hebben de interessantie interacties geselecteerd. Wat nu?

TU/e19 Patroonherkenning Met name het associëren van individuele “hits” (signalen achtergelaten in meetelementen) met trajecten van geladen deeltjes is een moeilijke taak: –Inefficiënties (missende hits), elektronische ruis (extra hits) –Alle combinaties van gemeten hits nagaan (~ N!) is onbegonnen werk! Twee verschillende soorten algoritme om dit probleem op te lossen. Lokale algoritmes: –Begin met hits in de buitenste laag van de tracking-detector, definieer mogelijke trajecten –Als binnen deze begrenzingen inderdaad hits gevonden worden in de laag daarbinnen, kan dit gebruikt worden voor scherpere begrenzingen –NB: in de praktijk is dit geen 2D maar een 3D probleem!

TU/e20 Patroonherkenning Een veel gebruikte techniek voor het herkennen en meten van trajecten: Kalman filtering. In gelineariseerde vorm: –Toestandsvector: p k = F k p k-1 + P k  k (propagatie F, ”process noise”  ) –Meting: m k = H k p k +  k (meetonzekerheden  ) Voorspel p k op basis van p k-1 : – p k|k-1 = F k p k-1|k-1 – C k|k-1 = F k C k-1|k-1 ( F k ) T + P k Q k ( P k ) T ( C en Q cov.mtx van p en  ) Update p k met behulp van de meting m k (neem die meting die het best past bij de voorspelling): – p k|k = p k|k-1 + K k ( m k - H k p k|k-1 ) – K k = C k|k-1 ( H k ) T ( V k + H k C k|k-1 ( H k ) T ) -1 ( V cov.mtx van  ) – C k|k = (1- K k H k ) C k|k-1 Mogelijke toepassingen: –Bepaling van parameters p (“track fitting”) –Meenemen van veranderingen in trajecten (“kink finding”) Kalman filter ook gebruikt in vele andere gebieden –Oospronkelijk (1960): berekening raketbanen

TU/e21 Patroonherkenning (2) Ook globale algoritmes (die alle hits in een keer beschouwen) zijn mogelijk –Voorbeeld: de Hough-transformatie “vertaalt” iedere hit naar een hyper-oppervlak in de ruimte van mogelijke parameters van trajecten van geladen deeltjes –2D: 2 parameters als alleen rechte lijnen beschouwd worden (bekijk Duality applet) of als verondersteld kan worden dat (binnen de resolutie) alle deeltjes uit het interactiepunt komen  aantal operaties ~ N hit · N binbekijk Duality applet –3D: 5 parameters in het meest algemene geval. In de praktijk is een 2D benadering (waarbij 3D parameters bepaald worden mbv extra z - informatie) afdoende Uiteindelijk wordt vaak een combinatie van algoritmes gebruikt

TU/e22 Patroonherkenning (3) Als alle geladen deeltjes gevonden zijn, zijn we nog niet klaar: deze kunnen gebruikt worden om “lang” levende deeltjes te identificeren –  B  1,5 ps,    0,3 ps –Gemiddeld afgelegde afstand voor verval: c   –Voor voldoende hoge impulsen: ~ mm (goed te zien door preciese extrapolatie van trajecten) Ook hier is patroonherkenning nodig: –welke trajecten horen bij het interactiepunt –welke zijn compatibel met “displaced vertices”

TU/e23 Calibratie Als individuele detectorelementen afmetingen hebben van ~50  m (tracker), dan moet tot op <5  m bekend zijn waar die detectorelementen zich bevinden! –Optische metingen (LEDs, laser-interferometrie) etc. niet op alle momenten bruikbaar en geven niet altijd de beste informatie –Gebruik de gereconstrueerde data voor de beste precisie Voorbeeld: silicium-sensoren in tracking-detector –~ 5000 sensoren, met ieder 6 te bepalen parameters (3 translaties, 3 rotaties)   2 -minimalisatie leidt tot inversie van matrix van dimensie 3· 10 4 –Er zijn meerdere manieren om een dergelijk probleem in de praktijk aan te pakken: Beschouw trajecten als gegeven  iteratieve procedure Pas ook trajecten van geladen deeltjes aan (5 parameters per traject)  matrix nog veel groter (maar kan worden gereduceerd) In beide gevallen: associatie van hits met trajecten moet juist zijn Praktische beperkingen: calibraties klaar na enkele uren –Beste startpunt voor reconstructie van nieuwe data

TU/e24 Data-productie Verwachtingen t.a.v. reconstructie van interacties: –15 kSI2k-s / interactie (1 kiloSpecInt-2k ~ 1 PC uit 2004) –Met 200 Hz “interessante” interacties: 3000 PCs nodig (als data slechts eenmaal gereconstrueerd hoeven te worden)! Calibratie en uitlijnen van de diverse meetelementen: een iteratief proces Simulatie van fysische interacties en van de respons van de detector voor deze interacties: ~ 20% van het aantal data-interacties… maar 100 s / interactie! Higgs-deeltje, m H =130 GeV/c 2

TU/e25 Data-productie (2) Dezer dagen is het niet meer redelijk al deze rekenkracht op CERN zelf te stationeren… het alternatief is een tiered systeem CERN NLUKUSA Tier 0 Tier 1 (x10) Tier 2 ~ 75 MB/s/T1 ~ Gb/s links Primaire reconstructie, calibratie, opslag ruwe data (5PB/jr): CERN Re-reconstructie, simulatie, opslag ruwe/gereconstrueerde data (2PB/jr): tier-1 centra (~ 2000 PCs) Simulatie, data-analyse, opslag compacte data: tier-2 centra (~ 200 PCs)

TU/e26 Data-analyse: software Uiteindelijke fysica-resultaten: uit het (herhaald, iteratief) bestuderen van (gedeeltes van) de data –Met behup van computerprogramma’s! Het bestuderen van ~ 10 9 opgeslagen interacties / jaar is niet triviaal! –Alle code op basis van C++ (object orientation, dynamische geheugen-allocatie, beschikbaarheid betrouwbare compilers, …) –Uitgebreid software-management om efficiënte software-ontwikkeling mogelijk te maken (CVS, indeling in pakketten): ~ 10 6 regels code Oplossing: begin met een snelle pre-selectie –Rudimentaire eigenschappen van interacties bekend uit reconstructie –Opgeslagen als metadata in een relationele DB (à la ORACLE), met verwijzingen naar (random access) data Eisen aan dataset Metadata DB collecties gegevens in bestanden

TU/e27 Data-analyse: het Grid Het ATLAS-experiment alleen al telt ~ 2000 fysici –En dit is maar een van de 4 LHC-experimenten –Onmogelijk om alle analyse van gegevens op CERN te doen –Niet nieuw: het W orld W ide W eb is op CERN ontwikkeld juist om adequate communicatie tussen collega’s mogelijk te maken Oplossing: maak data-analyse zoveel mogelijk gedistribueerd Het Grid: –Gebruikers specificeren applicatie / dataset –Op basis hiervan wordt een “execution site” gekozen –Applicatie-software wordt gecopieerd –Benodigde (en nog niet aanwezige) data worden transparant gecopieerd –Resultaten worden naar de gebruiker gestuurd

TU/e28 Data-analyse: het Grid Het werkt! Productie van gesimuleerde events gebruikt inmiddels Grid tools Analyse van data komt nog…

TU/e29 Tot slot… Er zijn legio onderwerpen waarvoor geen/onvoldoende tijd is ze hier te behandelen: –Mogelijke (interessante) fysische processen, fysica-analyse (volg een college deeltjesfysica!) –Samenwerkingsaspecten (videoconferencing, mailing lists, documentatie, …) –Signaalverwerking De LHC-versneller draait nog niet! Over 1-2 jaar zullen we zien hoe realistisch deze vooruitzichten zijn. Wellicht zien we een van de volgende dingen: –Het Higgs-boson –Donkere materie (SuperSymmetrie) –Extra dimensies –Mini-zwarte gaten