1 Serviços de ComputaçãoINCD Serviços de Computação Jorge Gomes INCD e LIP

2 Infraestrutura Nacional de Computação DistribuídaInfraestrutura digital genérica - fornece serviços Serviços: computação, armazenamento e processamento dados Alvo: comunidade científica e académica, infraestruturas, projectos Fomentar: partilha de recursos, soluções comuns interoperáveis Interface: com infraestruturas Europeias (EGI, IBERGRID, WLCG, EUDAT) A INCD tem origem na participação em projetos Europeus de computação distríbuida (grid) Mais tarde em 2006 foram assinados MoU para colaboração com Espanha neste área (IBERGRID) e também para a particiopação no WLCG Em 2008 estabeceu-se a sala-grid que aloja um núcleo de serviços de computação partilhados com a comunidade Em 2010 Portugal aderiu ao European Grid Infrastructure que coordena a federação de infraestruturas nacionais de computação com enfase no cloud computing e grid computing Em 2014 a INCD foi proposta o roteiro A INCD pretende disponibilizar um leque mais abrangente e moderno de serviços de computação, armazenamento e processamento de dados para a comunidade cinetífica e académica nacional MoU IBERGRID MoU WLCG CERN INGRID Candidatura ao roteiro de infraestruturas LIP, LNEC, FCCN Sala-Grid INCD aprovação no roteiro da FCT INCD financiamento DATAGRID CROSSGRID Adesão EGI EGEE I,II,III 2001 2002 2004 2006 2008 2010 2013 2014 2017 INCD – Infraestrutura Nacional de Computação Distribuída

3 dados analise conhecimento Instrumentos Simulações Acesso aos dadosDisponibilização Processamento Ferramentas Flexibilidade dados Instrumentos Tamanho Frequência Formatos e complexidade Preservação Science across all domains is increasingly using: Instruments with higher sensitivity and resolution Simulation models more sophisticated and with higher precision Data is growing in many dimensions (Size, Complexity, Production rate) Our opportunities to extract new knowledge are higher but the data analysis challenges are also bigger data access (often in multiple locations, and accessed by multiple users) processing power (to process data and extract knowledge) Flexibility (heterogeneous applications changing fast) Simulações

4 Utilizadores alvo Projectos de interesse estratégico (roteiro, ESFRIs, grandes experiências cientificas, implementação de políticas públicas) Projectos com mérito científico (projectos FCT, ERC, etc) Formação avançada e ensino (ensino superior, teses, etc) Governo e entidades públicas (e-government) Entidades privadas (I&D pré-concorrencial, PMEs, etc) INCD – Infraestrutura Nacional de Computação Distribuída 4

5 Aproximação integradaCloud Computing Distributed Computing & Federated Cloud Data High Throughput Computing High Performance Computing INCD – Infraestrutura Nacional de Computação Distribuída 5

6 Porfólio de serviços abertoUtilizadores (laboratórios universidades, grupos de investigação, projectos, investigadores individuais) Infraestruturas temáticas e seus serviços Porfólio de serviços aberto Soluções para o investigador, projetos e outras infraestruturas Cloud IaaS acesso direto Linux Containers Map reduce as service Outros SaaS, etc ... Integração e acesso a infraestruturas digitais internacionais Cloud IaaS federada e hibrída Grid Computing Ficheiros, objectos Proteção de dados Suporte Treino Consultadoria farm convencional Bases de dados Hardware especializadoGPGPUs etc Duas camadas: Na de baixo a infraestrutura genérica que para já será composta por Openstack, Ceph e Lustre Na camada superior serviços a disponibilizar sobre a camada inferior Infraestrutura de suporte genérica e flexivel Processamento Cloud + Farms HTC/HPC Armazenamento Online + Offline Infraestrutura física em diversas regiões Meios de computação, armazenamento e redes INCD – Infraestrutura Nacional de Computação Distribuída 6

7 Portal de biodiversidade GBIF PORBIOTA + INCD http://dados.gbif.pt/INCD – Infraestrutura Nacional de Computação Distribuída

8 Large Hadron Collider no CERNA maior máquina do mundo No LHC decorrem 4 experiências de física de partículas, o LIP participa em ATLAS e CMS. 8,000 cientistas em todo o mundo participam na analise com dados derivados e simulação: 64 PB/ano RAW data 4 PB/ano 42 países 170 centros 2 milhões de jobs/dia Today the combined raw data acquired from the detectors is ~ 4PB/year The data is duplicated for safekeeping across two Tier-1 centres But then a factor of 8x applies: Besides the raw data huge amounts of simulated data are needed The raw data is processed to generate data products In the end 64PB to 72PB of data are produced by the 4 experiments per year Worldwide LHC Computing Grid Portugal opera um dos centros de processamento. Este centro encontra-se integrado na INCD.

9 OPENCoastS OPENCoastS generates forecasts of water levels, 2D velocities and wave parameters over the region of interest. The system is useful in anticipating natural disasters and accidents in the coast, e.g. floods and chemical spills and can help in search and rescue operations. Developed by the National Laboratory for Civil Engineering (LNEC) as WIFF  (Water Information Forecast Framework). Uses the SCHISM modeling system. It will be an European service to be delivered within the EOSC in partnership with INCD. Today the combined raw data acquired from the detectors is ~ 4PB/year The data is duplicated for safekeeping across two Tier-1 centres But then a factor of 8x applies: Besides the raw data huge amounts of simulated data are needed The raw data is processed to generate data products In the end 64PB to 72PB of data are produced by the 4 experiments per year

10 Portais Galaxy para genoma IGC, Inst. Ricardo Jorge, F. Champalimaud INCD – Infraestrutura Nacional de Computação Distribuída

11 Contexto INCD Infraestruturas digitais Europeias Comunidade AcadémicaESA EO copernicus Coastal simulations Lifewatch ELIXIR BBMRI MoBrain DARIAH EISCAT_3D EPOS EMSO ICOS ENES ITER CTA WLCG INSTRUCT WENMR LTER Infraestruturas digitais Europeias EOSC European Grid Infrastructure NGIs Universidades Centros de investigação Comunidade Académica e cientifica Pequenos grupos de Investigação “Long Tail” EUDAT INCD IBERGRID Infraestrutura Ibérica Industria PMEs Empresas e economia Diagrama de contexto e stakeholders da INCD Interligação com: Infraestruturas digitais e iniciativas internacionais (EGI, Géant, IBERGRID, WLCG e congéneres noutros países) Colaboração e suporte à participação em grandes projetos nacionais e internacionais (ESFRIs, etc) Apoio à comunidade científica e académica (projetos nacionais, investigação nas Universidades e Laboratórios) Instrumento de apoio à implementação de politicas nacionais Apoio à ao desenvolvimento na industria etc Géant Roteiro Politicas nacionais e-governo Outros Laboratórios e Infraestruturas Científicas CERN/LHC WLCG ESFRIs Grandes Infraestruturas cientificas estratégicas INCD – Infraestrutura Nacional de Computação Distribuída 11

12 Alguns utilizadores do piloto INCDInstitution Research Unit, Group or Lab Intituto de Medicina Molecular (IMM) Chromatin & Epigenetics Computational Biology Cancer Signaling Clinical Pharmacology Biologia Computacional The Chronobiology Laboratory Centro de Ciências do Mar Plant Systematics and Bioinformatics Biofisica Faculdade de Ciências da Universidade de Lisboa Instituto de Biofísica e Engenharia Biomédica (IBEB) Instituto de Biossistemas e Ciências Integrativas (BioISI) Informatic Department Instituto de Agronomia Forest Studies Fundação Champalimaud Scientific Software Group Universidade do Porto Departamento de Química (REQUINTE) ISCTE-IUL Computer Science Instituto Superior Técnico Mechanical Department Fac. Medicina da Univ.do Porto Instituto de Investigação e Inovação em Saúde (I3S) Faculdade e Ciências da Universidade do Porto Laboratório de Introdução à Instrumentação Faculdade de Ciência Sociais e Humanas Comunication Science Universidade Aberta Computing Science Instituto Superior de Engenharia de Informática na Universidade de Coimbra Software and Systems Engineering Centro de Neurociências e Biologia Celular (CNC) - Univ. Coimbra Biotechnology Intituto Portugues do Mar e Atmosfera (IPMA) EMSO - Multidisciplinary Seafloor and water column Observatory Instituto de Investigação Científica Tropical (CIBIO-InBIO) LIFEWATCH Instituto Gulbenkian Ciência (IGC) BioInformatics Elixir Portugal INESC-ID Laboratório Nacional de Engenharia Civil (LNEC) Water and Environment Research Unit Geotechnical and Hydraulic Works Laboratório de Instrumentação e Física Experimental de Partículas Física de Partículas, Astropartículas, Física Médica INCD – Infraestrutura Nacional de Computação Distribuída

13 Infraestruturas e sua utilizaçãoUtilizadores (investigadores, projetos, estudantes, sector público, empresas) Infraestruturas temáticas, grandes projetos e serviços Infraestruturas digitais genéricas e transversais (INCD, RCTS, LCA, etc) INCD – Infraestrutura Nacional de Computação Distribuída

14 Desafios Estruturar e promover os serviços TIC para ciência de forma coêrente numa logica de serviços partilhados Modelo de financiamento e crescimento Promover a confiança nas infraestruturas Munutenção e operacionalidade das infraestruturas Recuperar o atraso em relação à Europa Articulação entre as infraestruturas e projectos INCD – Infraestrutura Nacional de Computação Distribuída

15 Conclusões INCD é uma infraestrutura digital genérica aberta para computação e processamento de dados. Para suporte a comunidade científica e académica nacional em todos os domínios. Embora a capacidade atual ainda seja limitada os serviços piloto estão abertos à comunidade. INCD – Infraestrutura Nacional de Computação Distribuída