1 Headline in Arial Bold 30pt Rafa Griman Systems Engineer [email protected] HPC FOSS Scalability

2 ¿Silicon Graphics?

3 Silicon GRAPHICS (ayer)

4 SGI (hoy) – +1600 empleados – 60 países – $500m de facturación – Crecimiento del 30%/trimestre Mercados Distribución geográfica Facturación

5 25 años... “sin cambios” Gestión de grandes volúmenes de datos Flujos de trabajo Código Abierto e innovación continua

6 ¿HPC?

7 Escalabilidad Escalabilidad NO es un término absoluto Depende de: – escalabilidad de hardware – escalabilidad de la aplicación – escalabilidad del kernel y fracción del tiempo de la aplicación gastado en el kernel – uso de E/S Se habla de – High Performance Computing – High Productivity Computing

8 Crecimiento volumen de datos

9 HPC ¿Visualización?

10 Visualización Desarrollado por SGI en 1992 MAYOR REVOLUCIÓN en la historia de la computación gráfica Estándar abierto & multiplataforma

11 Visualización 19 Septiembre 2008 FSF & SGI acuerdan: SGI Free License B GLX Public License Son licencias libres

12 Ke güeno kestoy: Visualización

13 HPC ¿SSI?

14 Escalabilidad del HW

15 Escalabilidad del HW: SSI Múltiples rutas a memoria y a dispositivos E/S Diseño modular Sistema de interconexión – elevado ancho de banda (6.4 GB/S) – añadir buses al añadir “dispositivos” – latencia muy baja (< 1us MPI)

16 Ke güeno kestoy: SSI

17 HPC ¿Clusters?

18 Escalabilidad: Clusters Procesadores Itanium, Xeon, FPGAs y GPGPUs en un mismo cluster Distribución de carga en función de – Usuario – Tipo de trabajo –...

19 Ke güeno kestoy: Clusters Ifremer – Número de cores: 256 – Puesta en marcha: 3 horas New Mexico: – Número de cores: 14336 – RAM: 28 TB – Puesta en marcha: 48 horas Astrofísica, Universidad de Exeter – 128-core SGI ® Altix ® ICE – Sistema funcionando por la tarde – Al día siguiente estaban corriendo los benchmarks

20 HPC ¿Enterprise?

21 Ke güeno kestoy: BBDD 40 años de datos meteorológicos Meta: x15 el rendimiento (2008) y x2 en 2010 Sistemas –2 x Altix 4700: 92 Itanium 1+ TB RAM –1 x Altix 4700 mirror –2 x Altix 4700 emplazamiento militar –2 x Altix 450 desarrollo y pruebas

22 Cliente 1 AntesAltix Queries pequeñas3.5 minutos1 minuto Queries medianas17 minutos2 minutos Queries grandes25 minutos3 minutos Cliente 2 Tamaño de la BBDD>1 TB Solicitado por clienteResultados de SGI Ke güeno kestoy: BBDD 200 millones peticiones/hora>1 billón peticiones/hora 1 subquery/5 minutos 1 query/segundo>91,000 queries/segundo >2,500 subqueries/segundo

23 HPC ¿Almacenamiento?

24 Almacenamiento (XFS) Desarrollado en 1993 Liberado en 2000 (Incluido en el kernel en 2002) Sistema de ficheros de 64 bits: – soporta ficheros grandes (9 ExaBytes) – soporta sistemas de ficheros grandes (18 ExaBytes) Soporta millones de ficheros (directorios, subdir y ficheros) Técnicas de reserva de espacio avanzadas: – extents y allocation groups – delayed allocation Alineación del sistema de ficheros con el dispositivo de bloques Acceso paralelo a inodos Direct I/O Herramientas avanzadas: xfs_fsr, xfs_growfs,...

25 Ke güeno kestoy: almacenamiento GFDL 13 PB NBA 6.2 PB NASA AMES6 PB INA3.5 PB NASA Goddard2.5 PB Total 2.5 PB BP2.0 PB Livermore Labs2.0 PB TU Dresden2.0 PB Earth Data1.9 PB WETA Digital1.8 PB

26 Ke güeno kestoy: almacenamiento 300 artistas moviendo +1 TB de datos al día 100 TB 10 millones de ficheros 230 TB 20 millones de ficheros 500 TB 200 millones de ficheros

27 Ke güeno kestoy: almacenamiento Estándar en la industria*  49.9 TB por admin para SAN  29.2 TB por admin para DAS *Source: IDC October 2006 Casos de éxito reales de Silicon Graphics  WETA: 1.8 PB y 2 admins  NASA Ames: 6 PB y 2 admins  GFDL - HPC Space: 13 PB y 1 admin SGI mejora el control que tiene el administrador de los datos, permitiendo la gestión de PetaBytes de datos

28 HPC ¿Escritorio?

29 HPC en el escritorio Los datos en los escritorios crecen exponencialmente Cada vez hay más imágenes, vídeo y audio Aplicacions beneficiadas: media y ciencia

30 Aplicaciones

31 Contribución a FOSS

32 Ventajas de FOSS Libertad de elección Técnicas: –escalabilidad + flexibilidad + fiabilidad –diseño modular –seguimiento de estándares: CGL, DCL, LSB, Accesibilidad, CC-EAL,... –respaldo de grandes empresas –herramientas de desarrollo –multiplataforma ¿Por qué me he metido en este berenjenal?

33 Ke güeno kestoy: contribuciones Linux Kernel Development (April 2008) (Linux Foundation) http://www.linuxfoundation.org/p ublications/linuxkerneldevelopm ent.php SGI contribuye el 2% del código del kernel (Séptimo puesto) SGI sólo tiene 1700 empleados

34 Ke güeno kestoy: contribuciones KernelFilesystem Gestión Recursos Gráficos NUMA User Level Interrupts Spinlock Metering Kernprof Real Time Kernel debugger CPUmemsets Otros Comprehensive System Accounting: estadísticas de procesos Process Aggregates OpenGL & GLX OpenGL Performer & Open Inventor XFS: sistema de ficheros 64 bits LinuxFailsafe: solución de HA file alteration monitor & inode monitor Performance Co-Pilot Linux Kernel Crash Dump Linux Test Project Rhino Itanium 2

35 Ke güeno kestoy: contribuciones Lo que la gente conoce como escalabilidad de Linux La fracción del tiempo que una aplicación gasta en el kernel (llamadas a sistema) afecta a la escalabilidad del sistema La aplicación debe ser paralelizable Número de entradas en la tabla de procesos se tuvo que ampliar Posibilidad de gestionar un elevado número de dispositivos

36 ¿Se podría hacer todo esto SIN FOSS? S í... pero habría sido: Muy lento Muy caro MUY aburrido