1 Grupo de Astrofísica y Cosmología ComputacionalWP6 PI.: Prof. Gustavo Yepes Alonso Summary of activities of 2010 Supercomputación y e-Ciencia Reunión Consolider 2011 25/10/2011

2 PARTICIPANTES Profesores Permanentes: Postdocs:Rosa Domínguez Tenreiro (CU- UAM) Gustavo Yepes Alonso (TU –UAM) Arturo Serna Ballester (TU- UMH) Fernando Atrio Barandela (TU-USAL) M. Angeles Gómez- Flechoso (UC M) Postdocs: José Oñorbe Bernis (UCI) A. César González García (IAC) Steffen Knollmann (SyeC-UAM) Tobias Goerdt (UAM) A. Knebe ( RyC- UAM) Francisco J. Martínez Serrano (UMH) D. Ceverino (JdC – UAM) O. Zamora (SyeC – UAM) Estudiantes de doctorado: F. Sembolini (UAM) P. Alprese (UAM) A. C. Obreja (UAM) S. Robles (UAM) I. de Martino (USAL) J. Vega (UAM) E. Carlesi (UAM) A. di Cinntio (UAM) J. Casado (UAM) Reunión Consolider 2011 25/10/2011

3 TEMAS DE INVESTIGACIÓNSimulaciones cosmológicas de la formación de estructuras en el Universo a distintas escalas Supercúmulos, filamentos, vacíos etc. (> 10 Mpc) Cúmulos y Grupos de Galaxias ( Mpc) Galaxias ( < 1 Mpc) Galaxias espirales Galaxias elípticas Galaxias enanas El Universo Local: Proyecto CLUES Colab. con Consolider MULTIDARK Reunión Consolider 2011 25/10/2011

4 Proyectos de InvestigaciónLarge Scale Structure (LSS) Simulations: JubiLEE: (CubeP3M N-body simulations in Juropa) P.I: Gottlober, S. Yepes G., Iliev, I. Martinez-Gonzalez, E. Diego, J.) (6 Gpc)3 Volume and (216 billions) particles. Goal: Measure the Integrated Sach-Wolf effect + LSS clustering simultaneously for the first time in simulations Simulations done: 3072 Mpc volume with particles completed 60003 Mpc volume with particles up to z=1 MUCKBOSS: (GADGET N-body simulations in SuperMUC) P.I.: F. Prada, G. Yepes, A. Klypin, S. Gottlober, S: Knollmann GOAL: Make mock catalogs to compare with BOSS (SSDS III) results on galaxy clustering and B.A.O 2.5 Gpc volumes with variable particle resolutions: and 51203 Collaboration between SyeC and MULTIDARK Consolider members Reunión Consolider 2011 25/10/2011

5 Proyectos de InvestigaciónCosmic Microwave Background Anisotropies PLANCK collaboration ( F. Atrio-Barandela) Implementation of a pipeline to estimate the residal dipole in galaxy clusters from WMAP and PLANCK data. Numerical Method to estimate the power spectrum of density fluctuations in dark energy models from the LCDM model. Galaxy Cluster Simulations MUSIC (Multidark Simulations of galaxy Clusters) PI: G. Yepes, S. Gottolober, F. Sembolini, J. Vega, M. de Petris) GOAL: Complete volume limited sample of resimulated galaxy clusters from MULTIDARK simulation (http://www.multidark.org) More than 500 clusters resimulated with gas physics and radiative modeling. MULTIHYDRO: Large database of numerical clusters that will be make publicly available thru: Reunión Consolider 2011 25/10/2011

6 Proyectos de InvestigaciónLy-a and Ly-Break galaxies at High Redshift (CURIE+ MARENOSTRUM ) P.I: G. Yepes, S. Knollmann, S. Gottlober, D: Ceverino, J. Forero, F. Prada, T. Goerdt, A. Knebe. 5 Million hours in CURIE CODES: (GINNUGAGAP + GADGET + ART + CLARA(RT code) GOAL: Simulate from the first galaxies in the universe up to z=3. Compare with High-z Lya and Lyb galaxies using a large statistical sample of simulated objects 200 Mpc Volume. Zooming technique to resimulate a complete volume limited sample of individual objects down to a maximum resolution of effective particles. STATUS: Generation of initial conditions in CURIE using GINNUGAGAP. Full box simulation done in dark matter only up to z=0 with particles. Reunión Consolider 2011 25/10/2011

7 Proyectos de InvestigaciónGalaxy Formation Simulations: Juropa, Pleiades, SuperMUC, MareNostrum, + DECI proposals P.Is: G. Yepes, S. Gottlober and Y. Hoffman GOAL: Simulations of the Formation of the Local Group and Local Universe. CODES (GAGDET- ART hydro codes +SFR modeling) Different models to account for radiative processes GALFOBS + GALACTICA ( BSC ALTIX system + DECI proposal ) P.I. R. Domínguez Tenreiro, J. Oñorbe, A. Serna, F. Martinez-Serrano GOAL: Simulations of galaxy formation in an 80 Mpc box with different resolutions using zooming techniques. CODE: OpenMP P-DEVA SPH code. Reunión Consolider 2011 25/10/2011

8 HERRAMIENTAS SOFTWAREGENERADOR DE CONDICIONES INICIALES TOTALMENTE PARALELO: GINNUNGAGAP (full MPI cosmological intial conditions generator) S. Knollmann CODIGOS DE SIMULACION: Public domain GADGET (MPI) RAMSES(AMR) Propietario: PDEVA (OPENMP), ART procesos gravitatorios (N-cuerpos) dinámica de gases (SPH) otros procesos astrofísicos (enfriamiento radiativo, fotoionizacion, formacion estelar ANÁLISIS Y VISUALIZACIÓN DE SIMULACIONES: AHF (Amiga Halo Finder): Codigo de identificacion de halos en Simulaciones JUMP: Detector Algorithm, para encontrar con precisión posiciones y masas estelares de satélites dentro de halos. Public access mediante bases de datos MySQL. Reunión Consolider 2011 25/10/2011

9 TAREAS REALIZADAS Hay que alimentar a los códigos numéricos paralelos.PARALELIZACIÓN CON MPI: GENERADOR DE CONDICIONES INICIALES: Romper la barrera de particulas. Máximo numero posible con OpenMP en SMP. Con MPI en MareNostrum se alcanzarían 16,0003 ( 4 billones de particulas). Simulaciones factible de hacer en maquinas petaflop de PRACE. (JUGENE, CURIE, SuperMUC…) Hay que alimentar a los códigos numéricos paralelos. Reunión Consolider 2011 25/10/2011

10 GINNUNGAGAP Principales ventajas:Nuevo código de generación de condiciones iniciales cosmológicas: Escrito totalmente desde scratch por S. Knollmann (SyeC- UAM) Principales ventajas: Random Number: SPRNG Library (Modified Lagged Fibonnaci algorithm) totalmente MPI parallel y con secuencia de y un número de streams de Desarrollo de una nueva rutina para FFT 3D: MPI/OpenMP /serial FFTW con pencil decomposition Puede usar distintas librerías de 1D FFT ( FFTW3, ESSL, MKL). Soporta solape entre comunicaciones y FFT. 2011: Realizadas pruebas de escalamiento con gran número de procesadores en MareNostrum, JUGENE, Juropa, SuperMUC y CURIE. Production runs: C.I. Con particulas en LRZ Una herramienta indispensable para poder realizar futuras simulaciones en máquinas petaflops de PRACE. Objetivo 2012: Llegar a producir C.I. para particulas en CeA Reunión Consolider 2011 25/10/2011

11 MPI P- DEVA PARALELIZACIÓN CON MPI: CÓDIGO DE SIMULACIÓN P-DEVA:Codigo de N-cuerpos (AP3M) + SPH desarrollado por miembros del grupo (Serna, Dominguez-Tenreiro, Saiz, 2003). Implentación reciente de modelos de evolución química. La version serie ha producido simulaciones de galaxias realistas al comparalos con las observaciones. Paralelizado a OpenMp para sistemas de memoria compartida. Proyecto DECI para realizar simulaciones en sistemas ALTIX de memoria compartida (LRZ) Proyecto de la RES para realizar simulaciones en el ALTIX del BSC. Portabilidad a MPI para poder realizar simulaciones de mayor volumen y número de partículas Nuevo código de N-cuerpos MPI paralelo: GRACOS (AP3M algorithm) Implementación de SPH sobre GRACOS: Olga Zamora . Nuevo Contratado Doctor por Acción Especial UMH (A. Serna) - BSC (J. Cela) (6 meses) y CONSOLIDER SyeC (6 meses) Reunión Consolider 2011 25/10/2011

12 OTRAS ACCIONES REALIZADASVISUALIZACIÓN DE SIMULACIONES EN 3D Adaptacion del código de ray tracing SPLOTCH, desarrollado por K. Dolag del MPA, para adaptarlo a la visualizacion de simulaciones GADGET. Cumulos MUSIC: Realización de animaciones 3D de simulaciones del proyecto MareNostrum Numerical Cosmology Project por Carlos Tripianan (BSC) PARARELIZACION MPI DE CODIGO DE IDENTIFICACION DE OBJETOS EN SIMULACIONES 3D Desarrollados de S. Knollmann del codigo AHF. Version mixta OpenMP –MPI adaptada a la lectura de datos procedentes de diversos codigos numericos (GADGET, RAMSES, DEVA, GASOLINE..) Desarrollo de JUMP: Detector de objetos estelares en Halos. Reunión Consolider 2011 25/10/2011

13 Acceso a recursos computacionales en 2011PRACE: Simulations of High-z Universe. (P.I. G. Yepes) (5 Millones horas concedidas en CURIE) Red Española Supercomputación: Marenostrum Numerical Cosmology Project (MNCP) (P.I. G. Yepes) ( > 4 Millones cpu hours en 2011 en MN) GALFOBS ( P.I. R. Domíguez Tenreiro). (400 K horas en BSC Altix) GALACTICA ( P.I. R. Domíguez Tenreiro). (200 K horas en BSC Altix) Leibnitz RechenZentrum (LRZ). The Short Scales structure problem of CDM: (P.I. S. Gottlöber, AIP). (1 Million hours in SuperMUC ) Jülich Supercomputer Center (FZJ) The CLUES project ( S. Gottlober, G. Yepes, Y. Hoffman) (1 M hours in Juropa) The JuBiLEE project. (S. Gottlober, G. Yepes, I. Iliev et al). A particle simulation in 6 Gpc volume. (2.5 Million hours in SuperMUC) Reunión Consolider 2011 25/10/2011

14 Publications (2011) Reunión Consolider 2011 25/10/2011Haloes gone MAD: The Halo-Finder Comparison Project, Knebe A., Knollmann S. R., Muldrew S. I., Pearce F. R., Aragon-Calvo M. A., Ascasibar Y., Behroozi P. S., Ceverino D., Colombi S., Diemand J., Dolag K., Falck B. L., Fasel P., Gardner J., Gottlöber S., Hsu C.-H., Iannuzzi F., Klypin A., Lukić Z., Maciejewski M., McBride C., Neyrinck M. C., Planelles S., Potter D., Quilis V., Rasera Y., Read J. I., Ricker P. M., Roy F., Springel V., Stadel J., Stinson G., Sutter P. M., Turchaninov V., Tweed D., Yepes G., Zemp M., , Monthly Notices of the Royal Astronomical Society, Volume 415, Issue 3, pp Vector dark energy and high-z massive clusters, Carlesi E., Knebe A., Yepes G., Gottlöber S., Beltrán Jiménez J., Maroto A. L., , Monthly Notices of the Royal Astronomical Society, Online Early Too small to succeed? Lighting up massive dark matter subhaloes of the Milky Way, di Cintio A., Knebe A., Libeskind N. I., Yepes G., Gottlöber S., Hoffman Y., , Monthly Notices of the Royal Astronomical Society: Letters, Volume 417, Issue 1, pp. L74-L78. Comparison of an X-ray-selected sample of massive lensing clusters with the MareNostrum Universe ΛCDM simulation, Meneghetti M., Fedeli C., Zitrin A., Bartelmann M., Broadhurst T., Gottlöber S., Moscardini L., Yepes G., , Astronomy & Astrophysics, Volume 530, id.A17 Renegade subhaloes in the Local Group, Knebe A., Libeskind N. I., Doumler T., Yepes G., Gottlöber S., Hoffman Y., , Monthly Notices of the Royal Astronomical Society: Letters, Volume 417, Issue 1, pp. L56-L60. The preferred direction of infalling satellite galaxies in the Local Group, Libeskind N. I., Knebe A., Hoffman Y., Gottlöber S., Yepes G., Steinmetz M., , Monthly Notices of the Royal Astronomical Society, Volume 411, Issue 3, pp Disentangling the dark matter halo from the stellar halo, Libeskind N. I., Knebe A., Hoffman Y., Gottlöber S., Yepes G., , Monthly Notices of the Royal Astronomical Society, Online Early Bulk flows from clusters of galaxies, Atrio-Barandela F., Kashlinsky A., Ebeling H., Kocevski D., Edge A., , Journal of Physics: Conference Series, Volume 314, Issue 1, pp (2011). Dark Matter Decay and Annihilation in the Local Universe: Clues from Fermi, Cuesta A. J., Jeltema T. E., Zandanel F., Profumo S., Prada F., Yepes G., Klypin A., Hoffman Y., Gottlöber S., Primack J., Sánchez-Conde M. A., Pfrommer C., , The Astrophysical Journal Letters, Volume 726, Issue 1, article id. L6 (2011). Large-scale environmental bias of the high-redshift quasar line-of-sight proximity effect, Partl A. M., Müller V., Yepes G., Gottlöber S., , Monthly Notices of the Royal Astronomical Society, Volume 415, Issue 4, pp Reionization of the Local Group of galaxies, Iliev I. T., Moore B., Gottlöber S., Yepes G., Hoffman Y., Mellema G., , Monthly Notices of the Royal Astronomical Society, Volume 413, Issue 3, pp CLARA's view on the escape fraction of Lyman α photons in high-redshift galaxies, Forero-Romero J. E., Yepes G., Gottlöber S., Knollmann S. R., Cuesta A. J., Prada F., , Monthly Notices of the Royal Astronomical Society, Volume 415, Issue 4, pp Measuring the Dark Flow with Public X-ray Cluster Data, Kashlinsky A., Atrio-Barandela F., Ebeling H., , The Astrophysical Journal, Volume 732, Issue 1, article id. 1 (2011). Massive Galaxies at High z: Assembly Patterns, Structure, and Dynamics in the Fast Phase of Galaxy Formation, Oñorbe J., Martínez-Serrano F. J., Domínguez-Tenreiro R., Knebe A., Serna A., , The Astrophysical Journal Letters, Volume 732, Issue 2, article id. L32 (2011). The luminosities of backsplash galaxies in constrained simulations of the Local Group, Knebe A., Libeskind N. I., Knollmann S. R., Martinez-Vaquero L. A., Yepes G., Gottlöber S., Hoffman Y., , Monthly Notices of the Royal Astronomical Society, Volume 412, Issue 1, pp Radio relics in the MareNostrum Universe., Nuza S. E., Hoeft M., Göttloeber S., van Weeren R., Yepes G., , Memorie della Societa Astronomica Italiana, v.82, p.674 (2011) Large-scale gas dynamics in the adhesion model: implications for the two-phase massive galaxy formation scenario, Domínguez-Tenreiro R., Oñorbe J., Martínez-Serrano F., Serna A., , Monthly Notices of the Royal Astronomical Society, Volume 413, Issue 4, pp The Matter Power Spectrum of Dark Energy Models and the Harrison-Zel'dovich Prescription, Durán I., Atrio-Barandela F., Pavón D., , eprint arXiv: The dark matter assembly of the Local Group in constrained cosmological simulations of a Λ cold dark matter universe, Forero-Romero J. E., Hoffman Y., Yepes G., Gottlöber S., Piontek R., Klypin A., Steinmetz M., , Monthly Notices of the Royal Astronomical Society, Volume 417, Issue 2, pp Modelling the fraction of Lyman Break Galaxies with strong Lyman alpha emission at 5 < z < 7, Forero-Romero J. E., Yepes G., Gottloeber S., Prada F., , eprint arXiv: The cosmological free-free signal from galaxy groups and clusters, Ponente P. P., Diego J. M., Sheth R. K., Burigana C., Knollmann S. R., Ascasibar Y., , Monthly Notices of the Royal Astronomical Society, Volume 410, Issue 4, pp Halo Contraction Effect in Hydrodynamic Simulations of Galaxy Formation, Gnedin O. Y., Ceverino D., Gnedin N. Y., Klypin A. A., Kravtsov A. V., Levine R., Nagai D., Yepes G., , eprint arXiv: Reunión Consolider 2011 25/10/2011

15 Other activities Interaction with other CONSOLIDER groups:The MPI paralelization of the P-Deva code is being carried out in collaboration with the group of J.M. Cela at BSC. The scaling tests of the new ginnungagap i.c. program has been done in Marenostrum in coll. With the BSC group. Contracts financed under the CSD : Dr. Steffen Knollman. Senior Postdoc. Fully employed bu Consolider. Since May 2009. Dr Olga Zamora. Recent Postdoc. Partially employed by Consolider. 6 months. Reunión Consolider 2011 25/10/2011

16 Activities for 2012 Improving the new GINNUGAGAP IC code by adding a routine for the generation of zoomed simulations of variable mass resolution. Continue with the development of the MPI version of P- DEVA in collaboration with BSC group. Development of an interactive database of grand challenge simulation results. Creation of a web site that will make the data publicly available to the astrophysics community through web interface as in the V.O. Reunión Consolider 2011 25/10/2011