1 Development of Polish Grid Infrastructure - PL-Grid - in the European Research SpaceJacek Kitowski and Łukasz Dutka ACK CYFRONET AGH, Cracow Institute of Computer Science AGH-UST in collaboration with Partners of PL-Grid Consortium Konferencja Użytkowników Komputerów Dużej Mocy, ACK CYFRONET-AGH Zakopane

2 Plan wystąpienia Narodowa Inicjatywa Gridowa w PolsceMotywacja – e-Science, Science 2.0 Uzasadnienie i Podstawy Stan Zaawansowania Projekt PL-Grid – Rezultaty Podsumowanie Działania integracyjne zachodzące w Europie w ramach European Grid Initiative

3 Podejście e-Science: Science 2.0Badania naukowe: Teoretyczne Doświadczalne W komputerze W komputerze (in silico) Zaawansowane, rozproszone obliczenia Wieloskalowe i wielodyscyplinarne Odnoszą się do zjawisk o ekstremalnych skalach czasowo-przestrzennych Wymagające postępów w zakresie informatyki i nauk obliczeniowych Realizowane przez międzynarodowe zespoły badawcze we współpracy ACK: David de Roure,

4 Oczekiwania ze strony środowisk naukowychZasoby – Usługi Obliczeniowe Dane Infrastruktura ACK: F. Gagliardi

5 Konsorcjum PL-Grid Konsorcjum utworzone w styczniu 2007 jako odpowiedź na potrzeby polskiej społeczności naukowej i bieżących aktywności gridowych w Europie w ramach EGI_DS. Konsorcjum składa się z pięciu polskich centrów obliczeniowych, reprezentujących środowiska naukowe, koordynowane przez ACK Cyfronet AGH Cele dzialalności Konsorcjum: Dostarczenie polskiej społeczności naukowej usług informatycznych, służących e-Science .Utworzenie stabilnej infrastruktury obliczeniowej kompatybilnej z gridem europejskim i światowym. Rozwój specjalizowanych narzędzi i usług dla różnych dziedzin nauki i aplikacji Wchodzi w skład EGI (European Grid Initiative) jako Polish NGI (NGI_PL) Członkowie EGI Council nominowani przez MNiSW: Prof. K. Wiatr, Prof. M. Turała Członkowie EGI Executive Board z wyboru: Prof. M. Turała Członkowie grona ekspertów w F3 EU „Research Infrastructure” nominowani przez MNiSW: Prof. J. Kitowski Uczestnictwo w projektach: EU (FP6, FP7, EGI InSPIRE….), PO IG

6 Projekt PL-Grid Konsorcjum realizuje Projekt PL-Grid:„Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej” – PL-Grid Projekt jest współfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego w ramach Programu Operacyjnego Innowacyjna Gospodarka. Czas trwania Projektu: – Beneficjent: Akademickie Centrum Komputerowe CYFRONET AGH Numer umowy: POIG /08 Project website:

7 Planowana realizacja celówProjekt PL-Grid jest podzielony na kilka zadań Główne wskaźniki projektu: Moc obliczeniowa: 215 Tflops Pamięć dyskowa: 2500 TB

8 Pakiet 2: Infrastruktura Główne osiągnięcia Pakietu 2Rafał Tylman TASK

9 WP 2 - Infrastruktura CYFRONET, ICM, PCSSinfrastruktury zasilająca i chłodząca gotowe na przyjęcie serwerów i pamięci masowych WCSS końcowy etap instalacji infrastruktury zasilającej i chłodzącej TASK faza końcowa procedur przetargowych infrastruktury zasilającej i chłodzącej Serwery i Pamięć Masowa Systemy do wdrożenia w I połowie roku: CYFRONET – zakończony arbitraż ICM – zakończony arbitraż PCSS – dostawa w trakcie realizacji Systemy do wdrożenia w II połowie roku: WCSS – właśnie startuje procedura przetargowa TASK – przygotowanie procedury przetargowej (start maj) Trwają przygotowania do instalacji systemów oraz uzgadniane są pakiety aplikacji do instalacji w pierwszym etapie. Pierwsze serwery PL-Grid gotowe na przyjęcie użytkowników już wkrótce.

10 Marcin Radecki ACK Cyfronet AGHPakiet 3: Centrum Operacyjne Główne osiągnięcia Pakietu 3 Centrum Operacyjne PL-Grid a Użytkownicy Marcin Radecki ACK Cyfronet AGH

11 Usługi Centrum Operacyjnego dla UżytkownikówCentrum Operacyjne dąży do ułatwienia dostępu do infrastruktury poprzez prostsze procedury oraz wdrożenie przydatnych narzędzi: System rejestracji i zarządzania kontem użytkownika PL-Grid dostępny pod adresem https://konto.plgrid.pl/ wymagany wpis w bazie OPI bądź potwierdzenie opiekuna naukowego gridowy dostęp do zasobów PL-Grid 5 ośrodków – gLite 1 ośrodek - UNICORE lokalny dostęp do sytemu kolejkowego klaster „zeus” w ACK CYFRONET AGH możliwość aplikowania o certyfikat gridowy on-line (wkrótce) aplikowanie o dostęp do usług obliczeniowych w innych ośrodkach (wkrótce) System pomocy „Helpdesk PL-Grid” umożliwia zgłaszanie i śledzenie usterek dostępny pod adresem https://helpdesk.plgrid.pl dostęp również poprzez interfejs dokumentacja: https://wiki.plgrid.pl/doku.php?id=pakiet5:publiczne:podrecznik_uzytkownika_pl-grid → System Pomocy Helpdesk

12 Centrum Operacyjnego dla UżytkownikówCentrum Operacyjne dba o poprawne działanie infrastruktury dla użytkowników PL- Grid poprzez pro-aktywne monitorowanie elementów infrastruktury dostępności usług infrastrukturalnych aplikacji obliczeniowych wspieranych przez PL-Grid Zapewnienie zgodności infrastruktury PL-Grid z europejską (EGI) oprogramowanie procedury operacyjne procedury bezpieczeństwa Zaawansowane prace nad koncepcją „grantów PL-Grid” Integracja prezentacji danych dotyczących wykorzystania zasobów dla użytkownika Prace nad wprowadzeniem zintegrowanego portalu użytkownika

13 Krzysztof Kurowski Poznańskie Centrum Superkomputerowo-Sieciowe (PCSS)Pakiet 4: Rozwój oprogramowania e-infrastruktury i narzędzi użytkownika Główne osiągnięcia Pakietu 4 Krzysztof Kurowski Poznańskie Centrum Superkomputerowo-Sieciowe (PCSS)

14 Główne osiągnięcia Pakietu 4go - Nowa infrastrukturaStworzenie infrastruktury rozwojowej łączącej zasoby obliczeniowe wszystkich 5 ośrodków superkomputerowych w kraju Bliska współpraca 8 grup programistyczno-testowych, około 20 osób Instalacja oraz udostępnienie do celów testowych środowiska warstwy pośredniej gLlite, Unicore oraz QosCosGrid - zakończonie około 70 zadań Około 30 różnych konfiguracji wirtualnych maszyn z zainstalowanym oprogramowaniem wykorzystywanych do celów rozwojowych i testowych nowych narzędzi dla użytkowników - zakończony wybór technologii Testy funkcjonalne, zgodności oraz wydajnościowe wybranych pakietów oprogramowania badawczego celem przeprowadzenia wdrożenia oraz wsparcia na poziomie produkcyjnym nowych narzędzi i usług

15 Główne osiągnięcia Pakietu 4go - Nowe narzędzia i usługiRozbudowa śrdowiska GridSpace o zestaw nowych funkcji, wsparcie dla nowych skryptów oraz integracja z nowymi usługami gridowymi Implementacja i udostępnienie zaawansowanych interfejsów graficznych, wizualizacji oraz zarządzania zadań i danych dla wybranych aplikacji nowych użytkowników z wykorzystaniem Vine Toolkit Testy wydajnościowe i funkcjonalne usług warstwy pośredniej QosCosGrid oraz integracja na poziomie systemów kolejkowych z infrastrukturą gLilte i Unicore Integracja narzędzi Migrating Desktop oraz gEclipse z różnymi usługami warstwy pośredniej w PL-GRID Plan rozbudowy oraz wdrożenia nowych narzędzi FiVO do zarządzania i monitorowania wirtualnych organizacji Testowe wersje narzędzi dla użytkowników oraz administratorów systemów: Bazzar, mobilny dostęp do infrastruktury, nowe aplikacje bezpieczeństwa Integracja wybranych narzędzi oraz aplikacji web’owych ze środowiskiem portalowym Liferay i systemem monitorowania Nagios

16 Główne osiągnięcia Pakietu 4go - nowi użytkownicyBezpośredni kontakt z nowymi użytkownikami na podstawie ogólnopolskiej ankiety dostępnej pod adresem: Wymagania polskich użytkowników (wyniki ~100 ankiet) uwzględniane w nowych aplikacjach, narzędziach oraz usługach rozwijanych i testowanych w ramach Pakietu 4go Liczna grupa użytkowników współpracująca z zespołami Pakietu 4go Wydziału Chemii Uniwersytetu Jagiellońskiego Zakład Bioinformatyki i Telemedycyny CMUJ Uniwersytet Adama Mickiewicza Politechnicka Poznańska Politechnika Wrocławska Administratorzy centrów obliczeniowych …

17 Mariusz Sterzel ACK Cyfronet AGHPakiet 5: Szkolenia i Wsparcie Użytkowników Główne osiągnięcia Pakietu 5 Mariusz Sterzel ACK Cyfronet AGH Maciej Filocha ICM

18 Szkolenia i wsparcie użytkownikówPrzeprowadziliśmy pierwszą serię szkoleń podstawowych z dostępu do infrastruktury poprzez środowiska gLite i UNICORE we wszystkich ośrodkach uczestniczących w projekcie – Gdańsk/Kraków/Poznań/Warszawa/Wrocław Rozpoczęliśmy drugą serię szkoleń. Jeśli pojawi się zapotrzebowanie, podobne szkolenia możemy przeprowadzić w innych ośrodkach (bezpłatnie!) W najbliższych dniach poprzez stronę projektu udostępnione zostaną pierwsze szkolenia zdalne – dla każdego, bez ruszania się z domu (w technologii Blackboard). Wsparcie użytkowników odbywać się będzie poprzez specjalizowany interfejs – tak, aby każde zgłoszenie było sprawnie obsłużone i trafiło do osób kompetentnych. Pytania i uwagi: oraz

19 Aplikacje obliczenioweDostęp do aplikacji obliczeniowych zapewniony będzie w miarę możliwości na dwa sposoby: poprzez środowisko gLite, znane z EGEE i starszych projektów gridowych, poprzez UNICORE – w środowisku graficznym. Udostępniamy aplikacje licencjonowane bezpłatnie, a także niektóre płatne, m.in. Dalton, CPMD, NWChem, Cfour, Gaussian, GAMESS, Turbomole, ANSYS/Fluent, kolejne pakiety w trakcie udostępniania. W razie zapotrzebowania udostępnimy większość aplikacji uruchamianych na dotychczasowej infrastrukturze obliczeniowej ośrodków KDM, jak również nowe oprogramowanie zaproponowane przez użytkowników. Zachęcamy do zgłoszenia nam swoich oczekiwań – przygotowana jest specjalna ankieta:

20 Oprogramowanie SpecjalistycznePrzykłady oprogramowania udostępnianego na infrastrukturze PL-Grid Biologia AutoDock, BLAST, ClustalW2, CPMD, Gromacs, NAMD Chemia kwantowa ACES II, ADF, CFOUR, CHARMM, Dalton, GAMESS, Gaussian, MacroModel, Molcas, Molpro, MOPAC, NWChem, OpenBabel, Siesta, TURBOMOLE Fizyka: Meep Metody numeryczne i symulacja Mathematica, MATLAB

21 Oprogramowanie naukoweWprowadzenie zunifikowanego systemu dostępu do aplikacji w środowisku gridowym opartym o pakiet Modules Opracowanie i wdrożenie (wspólnie z WP3) systemu testowania aplikacji w środowisku gridowym Poprawność działania aplikacji naukowych monitorowana jest automatycznie w każdym z ośrodków na bieżąco. Wdrożenie szeregu aplikacji komercyjnych i ogólnie dostępnych na architekturze obliczeniowej PL-Grid Dostępne pakiety ADF, Blender, CFOUR, GAMESS, Gaussian, NAMD, Root, Turbomole W najbliższym czasie planowane jest udostępnienie kolejnych pakietów oprogramowania naukowego

22 System szkoleń Pakiet 5 opracował zbiór szkoleń (zarówno tradycyjnych jak i on-line w systemie Blackboard) Szkolenia dostępne są nieodpłatnie dla wszystkich użytkowników platformy PL-Grid System Blackboard będzie udostępniał szkolenia na poziomie podstawowym jak i zaawansowanym Obecnie dostępne szkolenia to: ABC użytkownika PL-Grid Po ukończeniu kursu danego poziomu użytkownik otrzymuje certyfikat.

23 Pakiet 6: Bezpieczeństwo Infrastruktury Główne osiągnięcia Pakietu 6Bartłomiej Balcerek WCSS

24 WP6 Osiągnięcia Udostępnienie dwóch CA - centrów certyfikacji PKI użytkownikom gridu, Projekt systemu SimpleCA ułatwiającego użytkownikom otrzymywanie certyfikatów PKI i ich użytkowanie - system zostanie udostępniony w marcu, Projekt i wdrożenie bezpiecznej konfiguracji infrastruktury, zgodnej z najnowszymi standardami bezpieczeństwa, Projekt systemu monitorowania zgodności konfiguracji wdrożonej w ośrodkach z polityką bezpieczeństwa, Powołanie zespołu specjalistów z dziedziny bezpieczeństwa w celu ciągłego monitorowania środowiska, natychmiastowej reakcji na incydenty oraz wsparcia użytkowników i administratorów, Prototypowa wersja systemu korelacji informacji o atakach na infrastrukturę (ACARM-ng) Audyty kluczowych dla bezpieczeństwa gridu aplikacji.

25 Oprogramowanie – problemy użytkownikaJaka aplikacja może być przystosowana do użytkowania w PL-Grid? Każda! (niektóre po lekkich modyfikacjach) Programy sekwencyjne – bez zmian Aplikacje równoległe (MPI) – bez zmian Programy interaktywne – wymagana zmiana w komunikacji z użytkownikiem Operacje na wielkich zbiorach danych – zmiana dostępu do danych Możliwość jednoczesnego uruchamiania kilkudziesięciu/kilkuset instancji danego programu ACK: M. Sterzel

26 Jak zostać użytkownikiem ?Każda osoba związana z polską nauką może korzystać z zasobów PL-Grid Aby zostać użytkownikiem należy zarejestrować się oraz uzyskać odpowiedni certyfikat Procedura rejestracji oraz dalsze informacje dostępne są na stronie: Z chęcią odpowiemy na pytania: Procedura rejestracji: ACK: M. Sterzel

27 Podsumowanie: Działania KonsorcjumKrótkoterminowe Rozwój udostępnianych usług Zapewnienie środków dla pokrycia kosztów działania i współpracy międzynarodowej Nawiązanie współpracy z D-Grid (wstępne ustalenia poczynione) Zgłoszone zainteresowanie współpracy ze strony BE-Grid Długoterminowe – realizowane w sposób ciągły Wdrożenie oprogramowania i narzędzi Wsparcie użytkownika i szkolenia Dostarczenie, utrzymanie i rozbudowa koniecznej infrastruktury Rozwój i implementacja nowych paradygmatów obliczeniowych i integracja środowisk Obliczenia typu HPC i rozproszone (HPCaaS, IaaS, PaaS, SaaS….) National Cloud Initiative (chmury obliczeniowe, chmury danych) paradygmat SOA, wykorzystanie wiedzy … „Internet Przyszłości” w sposób zdefiniowany przez EC w Programie Roboczym Strategiczne Rozwój środowisk domenowo specyficznych

28 Podziękowania ACK Cyfronet AGH ICM PCSS WCSS TASK Kazimierz WiatrMichał Turała Krzysztof Zieliński Marian Bubak Tomasz Szepieniec Marcin Radecki Mariusz Sterzel Karol Krawentek Agnieszka Szymańska Andrzej Oziębło Tadeusz Szymocha Alex Kusznir Zofia Mosurska Teresa Ozga Aleksandra Mazur ICM Piotr Bała Maciej Filocha PCSS Norbert Meyer Krzysztof Kurowski Mirosław Kupczyk WCSS Józef Janyszek Bartłomiej Balcerek Paweł Dziekoński TASK Mścisław Nakonieczny Jarosław Rybicki Rafał Tylman

29 Dziękuję za uwagę Zapraszamy na stoisko Projektu PL-Grid Dziękuję za uwagę Zapraszamy na stoisko Projektu PL-Grid

30 Backup slides

31 Oczekiwania ze strony Środowisk NaukowychE-Science: wspólne badania naukowe wspierane przez zaawansowane, rozproszone obliczenia – rozszerzenie paradygmatu Nauk Obliczeniowych Wielodyscyplinarne i międzynarodowe Wymagające postępów w zakresie informatyki i nauk obliczeniowych Cel: aby umożliwić badania naukowe wyższej jakości we wszystkich dziedzinach Nauka na poziomie systemowym: uwzględnienie wielu zjawisk, elementy komunikują się ze sobą i są od siebie zależne, eksperymenty in silico Aby generować, interpretować i analizować obszerne zasoby danych Pochodzące z eksperymentów, obserwacji i symulacji Przy wykorzystaniu zarządzania jakością, wysokiej niezawodności i dokumentowania Aby tworzyć i badać modele symulacyjne Obliczenia i dane wieloskalowe Wiarygodne, ekonomicznie uzasadnione, o istotnym znaczeniu Aby umożliwić dynamiczną, rozproszoną współpracę środowisk naukowych Przez współdzielenie wiedzy i zasobów Z wykorzystaniem bezpieczeństwa, wiarygodności, zarządzania i elastyczności M. Atkinson, e-Science (...), Grid2006 & 2-nd Int.Conf.e-Social Science 2006, National e-Science Centre UK I. Foster, System Level Science and System Level Models, Snowmass, August 1-2, 2007