1 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Systemy rejestracji i analizy danych

2 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Odczyt danych

3 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Architektura

4 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Kompletowanie przypadków

5 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Sieci w zbieraniu danych

6 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Magistrale (buses)

7 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Wybór standardu

8 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Techniki kompletowania przypadków 1

9 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Techniki kompletowania przypadków 2

10 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Odczyt w LHC

11 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Architektura na LHC

12 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Kompletowanie przypadków dla farmy CPU

13 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Techniki kompletowania przypadków na LHC

14 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Kompletowanie przypadków - protokół

15 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Filtrowanie przypadków

16 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Metody obróbki przypadków

17 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Zapis i magazynowanie danych 1

18 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Zapis i magazynowanie danych 2

19 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Grid komputerowy dla fizyki

20 Postęp w technologiach komputerowych from R. Mount Osiągnięcia na jednostkę kosztów w funkcji lat

21 Rozwój projektów Grid’owych Definicje Grid’u „Kiedy sieć staje się tak szybka jak wewnętrzne połączenia komputera, maszyna może być rozłożona na zespół specjalistycznych urządzeń rozmieszczonych w sieci.” (G. Gilder) „Grid to usługa polegająca na dzieleniu zasobów obliczeniowych i gromadzenia danych poprzez Internet. Jednak Grid to nie tylko prosta komunikacja między komputerami, ale celem jest połączenie komputerów rozmieszczonych w sieci w jeden system obliczeniowy.” (Internet Cafe) „Grid komputerowy to infrastruktura hardware i software, która zapewnia dostęp do zależnych, jednolitych, stabilnych i tanich mocy obliczeniowych wysokiej klasy”…… Korzystanie z Gridu komputerowego wymaga „skoordynowanego wykorzystywania zasobów i rozwiązywania problemów z pomocą dynamicznych, wielo-instytucyjnych wirtualnych organizacji”. (I. Foster, C. Kasselman, S. Tuecke) GRID = Globalisation de Ressources Informatiques et Donnees (M. Cosnard)

22 Rozwój projektów Grid’owych

23 o potrzebach komputerowych eksperymentów LHC….

24 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Eksperymenty LHC w CERN Eksperymenty LHC w CERN Problem doświadczalny Poszukiwanie bardzo rzadkich zjawisk: prawdopodobieństwo ich pojawienia się jest na poziomie 10 -4 – 10 -11 (jedna część na 10 miliardów „trywialnych” zdarzeń!) „poszukiwanie igły na ogromnym polu siana…”) oddziaływania protonów, które są złożone, przy bardzo wysokich energiach

25 Eksperymenty LHC w CERN Główne wyzwania ●bardzo silne promieniowanie (odporność radiacyjna) ●złożone przypadki („granulacja” detektorów) ●bardzo rzadkie zjawiska (wstępna selekcja) ●ogromne objętości danych (zapis i gromadzenie) ●światowy dostęp do danych (sieć komputerowa) ●duże, rozproszone kolaboracje (koordynacja) ●długo trwające eksperymenty (dokumentacja)

26 - wiele różnych procesów fizycznych - kilka poziomów filtracji - wysoka wydajność dla ciekawych przypadków - całkowity współczynnik redukcji około 10 6 Eksperymenty LHC i strumienie danych Level 1 – Specialna elektronika Level 2 – Zintegrowane procesory 40 MHz (1000 TB/sec - równoważne) Level 3 – Farmy zwyczajnych PC’tów 75 KHz (75 GB/sec) w postaci cyfrowej 5 KHz (5 GB/sec) 100 Hz (100 MB/sec) Zapis danych i analiza „offline” Preselekcja danych w czasie rzeczywistym

27 Natężenie danych dla oddziaływań p-p Typowe parametry: Nominalna częstość - 10 9 przyp./s (10 15 B/s –> 1 PB/s !) (świetlność 10 34 /cm 2 s, częstość zderzeń 40MHz) (świetlność 10 34 /cm 2 s, częstość zderzeń 40MHz) Częstość rejestracji ~100 przypadków/s (270 przypadków/s) (270 przypadków/s) Rozmiar przypadku ~1 M Byte’ów/przypadek (2 M Byte’ów/przypadek) (2 M Byte’ów/przypadek) Czas naświetlania~ 10 7 s/ rok Objętość surowych danych~ 2 Peta Byte’y/rok/eksperyment Dane Monte Carlo~ 1 Peta Byte/rok/eksperyment Natężenie i objętość danych HEP podwaja się co 12 miesięcy !!! Już obecnie eksperymenty BaBar, Belle, CDF, DO dostarczają po 1 TB/dzień

28 Wielo-stopniowy model analizy danych from the MONARC project

29 Schemat analizy danych IInteraktywna analiza danych IInteraktywna analiza danych Opracowane dane 1-100 GB/sec 200 TB / rok Detektor Surowe dane RekonstrukcjaprzypadkówRekonstrukcjaprzypadków SymulacjaprzypadkówSymulacjaprzypadków Jeden eksperyment 3 MSI2K ~200 MB/sec 2.5 MSI2K 3.5 MSI2K 500 TB 3 PB / rok ~100 MB/sec Obiekty analizy FiltracjaprzypadkówFiltracjaprzypadków „Event Summary Data” „Event Summary Data” Analiza„off-line”Analiza„off-line” Tysiące fizyków from M. Delfino (with some modifications) ~35 MSI2K 0.1 - 1 GB/sec

30 Wykład specjalistyczny IV rok fizyki UJZH - 2004 ICFA Network Task Force (1998): wymagania co do przepustowości sieci (Mbps) ICFA Network Task Force (1998): wymagania co do przepustowości sieci (Mbps) 100–1000 X Bandwidth Increase Foreseen for 1998-2005 See the ICFA-NTF Requirements Report: http://l3www.cern.ch/~newman/icfareq98.html

31 Przepustowość sieci komputerowych W czasie Super Computing 2004 Bandwidth Challenge a „High Speed TeraByte Transfer for Physics” zademonstrował stabilną przepustowość 101 Gbps

32 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Model komputingu LHC (Cloud) CERN Tier2 Lab a Uni a Lab c Uni n Lab m Lab b Uni b Uni y Uni x Tier3 Physics Department    Desktop Germany Tier 1 USA FermiLab UK France Italy NL USA Brookhaven ………. The LHC Computing Centre 10 Gbps 1 - 2.5 Gbps Tier0 Tier1 from A. Putzer with some modifications

33 Infrastruktura komputerowa potrzebna eksperymentom LHC (w latach 2008/2009) CERN (Tier 0/1) ALICE ATLAS CMS LHCb CPU (MSI2K*) 4.4 4.1 + 6.3 4.6 + 7.5 0.9 Disk Pool (PB) 0.50.35 + 1.95 0.41 + 0.71 0.8 Aut. Tape (PB) 2.7 4.2 + 4.6 3.8 + 5.6 1.4 WAN in/out (Gb/s) 4.5/2.25 7.2/9.5 /0.53 Tier 1 CPU (MSI2K) 10.6 18 12.8 4.4 Disk Pool (PB) 6.3 12.3 6.7 2.4 Aut. Tape (TB) 8.7 6.5 11.1 2.1 WAN (in/out (Gb/s) 5.7/3.5 Tier 2 CPU (kSI2K) 10.9 16.2 19.9 7.6 Disk Pool (PB) 1.7 6.9 5.3 0.02 Aut. Tape (PB) - - - - W porównaniu z raportem z r. 2001, nastąpił znaczny wzrost pojemności dysków * Współczesny laptop posiada moc obliczeniową ok. 50 Standard International 2000 (SI2K) jednostek (na podstawie raportu komitetu LHCC CERN, marzec 2005)

34 Planowany podział zasobów pomiędzy CERN a Centrami Regionalnymi w 2008 Zgodnie z wymaganiami przedstawionymi w dokumentach z grudnia 2004, ocenionymi przez LHCC w styczniu 05 Preliminary planning data Tape

35 o swiatowym Gridzie dla LHC - WLCG…..

36 Projekt LHC Computing Grid - LCG Cele - zaprojektowanie, prototypowanie i instalacja infrastruktury komputerowej dla eksperymentów LHC (symulacje Monte Carlo, rekonstrukcja i analiza danych): - infrastruktura (dla HEP wydajnym jest użycie farm PC) - oprogramowanie (oparte o software EDG, VDT, gLite….) - wykorzystanie (VO eksperymentów, serwis, pomoc) Harmonogram - faza 1 (2002 – 2005; ~50 MCHF); R&D i prototypowanie (do ok. 30% finalnych rozmiarów) - faza 2 (2006 – 2008 ); przygotowanie projektu technicznego (TDR), porozumień partnerów (MoU), instalacja (2007) Regularne naświetlania 200520072006 2008 Pierwsza fizyka Pierwsza wiązka Kosmika

37 „around the world  around the clock” Ośrodki uczestniczące w światowej prototypowej sieci LCG (2003-05) We wrześniu 2003 ACK Cyfronet był pomiędzy pierwszymi 14 ośrodkami, z trzech kontynentów, które stworzyły prototyp wspólnej światowej sieci komputerowej dla fizyki

38 Infrastruktura LCG

39 http://gridportal.hep.ph.ic.ac.uk/rtm/

40 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Kraje dostarczające zasoby komputerowe Kraje planujące dołączenie do EGEE/LCG In EGEE-0 (LCG-2):  > 100 sites  > 10 000 cpu  ~ 5 PB storage Współpraca LCG z projektem UE EGEE zasoby komputerowe – kwiecień 2005 From F. Gagliardi at HP-CAST Z udziałem trzech polskich instytucji - AC K Cyfronet Kraków - ICM Wars zawa - P CSS Pozna ń Polska finansuje infrastrukturę EGEE pomaga w obsłudze

41 Potrzeby i dostępne zasoby w 2004

42 Wykład specjalistyczny IV rok fizyki UJZH - 2004 ATLAS ~ 1350 kSI2k.miesięcy ~ 120,000 jobs ~ 10 Million’ów przypadków (Geant4) ~ 27 TB danych Wszystkie 3 Grid’y okazały się przydatne przy generacji danych około 1% przypadków wyprodukowano w Krakowie - DC2 faza 1; początek w lipcu, koniec w październiku 2004 - Wykorzystano 3 systemy Grid’owe LCG ( ~70 ośrodków, do 7600 CPUs) NorduGrid (22 ośrodki, ~3280 CPUs (800), ~14TB) Grid3 (28 ośrodków, ~2000 CPUs) LCG 41% Grid3 29% NorduGrid 30% from L. Robertson at C-RRB 2004 ATLAS Data Challenges (Monte Carlo)

43 Produkcja danych ATLAS DC2 from L. Goossens Production Database ORACLE at CERN Windmill job supervisors http://heppc12.uta.edu/windmill/ Lexor DulcineaCapone Data Management System - Don Quijote Rezultaty: wykonano 235 500 job’ów; wykorzystano ~1.5 M 2SI2k-miesięcy CPU

44 Wykład specjalistyczny IV rok fizyki UJZH - 2004 UI RLS dCache MSS SE RB WN CE SE WN CE SE WN CE SE WN CE DESY ZEUS GRID Zeus Integrated MC Production System Padova Tel Aviv Rutherford KEK Classical funnel sites GRIDGATEWAY LCG User Interface odgrywa istotną role w połączeniu obydwu systemówLCG User Interface odgrywa istotną role w połączeniu obydwu systemów Jest to jedyne miejsce, w którym specjalny software ZEUSa musi być zainstalowanyJest to jedyne miejsce, w którym specjalny software ZEUSa musi być zainstalowany Zintegrowany System Monte Carlo ZEUS from K. Wrona

45 Wykład specjalistyczny IV rok fizyki UJZH - 2004 Dostępność zasobów Grid’owych Nie wszystkie centra obliczeniowe są dostępne cały czas Złe skonfigurowanie systemu (np. po instalacji nowej wersji oprogramowania) może powodować wiele problemów –Potrzebny jest mechanizm wyłączania niesprawnych ośrodków Overall site contributionSite contribution: 8-9 May 2005 Wydajność na ośrodek: ok. 80% from K. Wrona

46 o polskim udziale w WLCG…..

47 Wykład specjalistyczny IV rok fizyki UJZH - 2004 10 Gb/s Metropolitan Area Networks 1 Gb/s 10 Gb/s (2 lambdas) GDAŃSK POZNAŃ ZIELONA GÓRA KATOWICE KRAKÓW LUBLIN WARSZAWA BYDGOSZCZ TORUŃ CZĘSTOCHOWA BIAŁYSTOK OLSZTYN RZESZÓW BIELSKO-BIAŁA GÉANT KOSZALIN SZCZECIN WROCŁAW ŁÓDŹ KIELCE PUŁAWY OPOLE RADOM BASNET 34 Mb/s CESNET, SANET Polska infrastruktura Grid’owa Sieć komputerowa – projekt PIONIER – przepustowości w 4Q2005 from M. Przybylski

48 Polska infrastruktura LCG Tier2 w ACK Cyfronet AGH, Kraków LUBLIN Procesory: 4 x dual PIII 1GHz, 512MB RAM, 40GB HDD 68 x dual Xeon 2.4 - 2.8GHz, 2GB RAM, 40-120 GB HDD 20 x dual Itanium2 1.3GHz, 2GB RAM, 2x36GB SCSI HDD Pamięci: 3.6 TB Storage (Disk Array) and ~ 15 TB from disk storage HP XP12000 Sieć: 10 Gbps MAN and GEANT connection Oprogramowanie: LCG-2.4.0 (Globus 2.4.3) Użytkownicy: ATLAS, LHCB, ALICE; również BELLE, ZEUS, teoretycy Plany: zakup ~ 120 dual Xeon 3.6 GHz dodatkowych węzłów (ok. 50% dla LCG) Mały klaster (Tier3) w IFJ PAN Rozwój głównie dzięki udziałowi w projektach EU, CrossGrid i EGEE, oraz SPUB MNiI

49 Polska infrastruktura LCG Tier2 w ICM UW, Warszawa LUBLIN Pierwszy mały klaster LCG Processors: AMD: dual AthlonMP 2400 + 4 x dual AthlonMP 2000 Intel: 2 x dual Pentium III 1 GHz Storage: 400 GB of disk storage Oprogramowanie: LCG2.4.0 (Globus 2.4.3) Użytkownicy: głównie CMS (również LHCb) Nowa instalacja - AMD Dual Opteron 250 2.4 GHz – 90 węzłów - 7.2 TB of pamięci dyskowej - Duża część (~ 50%) dostępna dla LCG - Użytkownicy: CMS, LHCb, COMPASS, astrofizyka Mały klaster (Tier3) w IPJ i na PW Rozwój głównie dzięki udziałowi w projektach EU, CrossGrid i EGEE, oraz SPUB MNiI

50 Polska infrastruktura LCG Klaster EGEE (Tier2) w PCSS, Poznań Zabezpiecza połączenia sieciowe 10 Gbps MAN i GEANT Polski uczestnik EGEE (LCG) Hardware – 50 podwójnych węzłów IA64 47 ia64 WNs, oprogramowanie SLC 3.0.4 Węzły serwisowe również z oprogramowaniem ia64 SLC 3.0.4 4GB RAM na węzeł 4 wirtulane CPU/WN – w sumie 188 wirtualnych CPUs Pamięć: obecnie 250GB podłączone przez interface FC (2TB spodziewane wkrótce) Software: LCG2_4_0 compatible (Openlab) Użytkownicy Zarejestrowane VO: ALICE, CompChem, MAGIC, DTeam, VOCE Rozwój głównie dzięki udziałowi w projektach EU, CrossGrid i EGEE, oraz SPUB MNiI

51 Polish LCG infrastructure Tier2 w ACK Cyfronet AGH, Kraków LUBLIN

52 Polish LCG infrastructure Tier2 w ACK Cyfronet AGH, Kraków LUBLIN

53 Grid w zastosowaniach czasu rzeczywistego Grid for real time data filtering GDAŃSK POZNAŃ WROCŁAW ŁÓDŹ KATOWICE KRAKÓW LUBLIN TORUŃ BIAŁYSTOK ELBLĄG KIELCE RZESZÓW OPOLE BIELSKO-BIAŁA CZĘSTOCHOWA Studies on a possible use of remote computing farms for event filtering/ calibration; in 2004 beam test data shipped to Cracow, and back to CERN, in real time