Cluster de Supercomputacion, HPC. Servidores multiprocesador, GPUs y FPGAs. Redes baja latencia 10 Gigabit, Infiniband, Myrinet.

Cluster Supercomputacion:

En un entorno de Supercomputación todos los servidores (denominadas nodos) trabajan como uno solo para la aceleración de los cálculos. Es un modelo muy utilizado en centros de cálculo científico de alto rendimiento, Investigación y Universidades para evitar los costes de los grandes Host, y que debido a su flexibilidad permite ampliar con nuevas arquitecturas lo que garantiza la inversión inicial. En Flytech contamos con los servidores multiprocesador más avanzados del mercado, a los que podemos añadir FPGAs, GPUs y redes de baja latencia Infiniband dependiendo de las necesidades del cliente para multiplicar exponencialmente el rendimiento.

Sus aplicaciones son múltiples: Simuladores: Aviación, Formula 1, vehículos militares, espacial Investigación: Genoma, Proteinas, ADN, Oncología, radiación Termodinámica de fluidos: Fluent, Abaqus, Ansys, Simulia, Túnel de viento, WRF (Modelos de predicción meteorológica). Resistencia materiales: Simulación de fatiga, composición. Bolsa: Simulación, inversiones. Imagenes Sísmicas: Exploraciones de Petróleo, GAS, Agua. Render: Animación, Composición, Skins.

En la actualidad los servidores Bi Procesador más avanzados disponen de 6 Núcleos por procesador en el caso de equipar Intel Xeon serie 5600 y 8-12 núcleos por procesador en el caso de AMD con los nuevos Opteron de la serie 6200 de 16 cores. Existen equipos com mas procesadores pero no alcanzan la relacion prestaciones precio de las plataformas Bi Procesador

 

Redes de baja latencia Infiniband :

Los sistemas de Supercomputación no escalan linealmente en función del número de servidores, por lo que en ciertas situaciones es más importante mejorar la red que aumentar el número de nodos en vistas a aumentar el rendimiento como se puede apreciar en esta gráfica.

Es entonces cuando el uso de redes infiniband es de vital importancia para la escalabilidad de nuestro Cluster HPC

En la actualidad ofrecemos Infiniband se ha impuesto como la red de baja latencia por excelencia desplazando a Myrinet.
Utilizando equipamiento de 4ª generación Infiniband de Mellanox podemos conseguir la red más eficiente que hay a día de hoy para cluster HPC, destacando por una latencia de 1,2us y un ancho de banda de 56Gb/s con soporte para RDMA. Comparativa entre redes de baja latencia Infiniband, Myrinet, Quadrics y 10GE.

	InfiniBand		Proprietary		GigE	10GigE
Fabricante	Mellanox ConnectX IB 56Gb/s PCIe x8	QLogic InfiniPath IB 40Gb/s PCIe x8	Myrinet 10G PCIe x8			Chelsio T210-CX PCIe x8
Latencia (µs)	<1	1.3	2.2		30-100	8.9
Ancho de banda Maximo Unidireccional (MB/s) PCIe Gen1	1500	1400	1200		125	860
Ancho de banda Maximo Unidireccional (MB/s) PCIe Gen2	3400	N/A	N/A		N/A	N/A

La nueva generacion de redes FDR (Fourteen Data Rate) aumenta hasta 56Gb/s el ancho de banda teorico gracias a las 14 lineas 4x frente a las versiones anteriores de 4 lineas 10x. En un primer momento puede parece que la mejora es del 40%, pero debido a que el encoding pasa a ser 64/66 Bits en la teconologia FDR frente a 8/10 Bits en QDR, obtenemos que el ancho de banda real practcamente aumenta un 70%. Para el correcto aprovechamiento de Infiniband FDR es necesario utilizar slots I/O PCI-E Gen3, puesto que el de generaciones anteriores se saturaria.

	Infiniband SDR	Infiniband DDR	Infiniband QDR	Infiniband FDR
Teorico	10 Gb/s	20 Gb/s	40 Gb/s	56Gb/s
Encoding	8/10 Btis	8/10 Btis	8/10 Btis	64/66 Btis
	8 Gb/s	16 Gb/s	32 Gb/s	54,3Gb/s

 

Tarjetas Infiniband

Además de la conectividad del BUS (PCI-X, PCI-E y PCI-E Gen2, Gen3) existen diferentes chipset que nos indican su generación, potencia y funcionalidad. Los Chipset de ultima generación permiten comunicación Infiniband FDR 56Gb/s y redes 40GE en una misma tarjeta. Mellanox, el proveedor líder de soluciones con tecnología Infiniband ofrece diversas HCAs dependiendo del slot de conexion, la memoria de la tarjeta y las prestaciones puesto que existe versión SDR, DDR, QDR y FDR de hasta 56GB/s.

Chipset	Infiniband	10GigE	Velocidad	BUS	Puertos
Mellanox InfiniHost
MHET2X-1TC	Si	No	SDR 10Gb/s	PCI-X	2
Mellanox InfiniHost® III
MHEA28-1TC	Si	No	SDR 10Gb/s	PCI-E x8	1
MHGA28-1TC	Si	No	DDR 20Gb/s	PCI-E x8	2
MHEA28-XTC	Si	No	SDR 10Gb/s	PCI-E x8	2
MHGA28-XTC	Si	No	DDR 20Gb/s	PCI-E x8	2
MHES18-XTC	Si	No	SDR 10Gb/s	PCI-E x8	1
MHGS18-XTC	Si	No	DDR 20Gb/s	PCI-E x8	1
MHES14-XTC	Si	No	SDR 10Gb/s	PCI-E x4	1
ConnectX® VPI
MHGH18-XTC	Si	Si	DDR 20Gb/s	PCI-E x8	1 x CX4
MHGH19-XTC	Si	Si	DDR 20Gb/s	PCI-E x8	1 x CX4
MHGH28-XTC	Si	Si	DDR 20Gb/s	PCI-E x8	2 x CX4
MHGH29-XTC	Si	Si	DDR 20Gb/s	PCI-E x8	2 x CX4
MHQH19-XTC	Si	Si	QDR 40Gb/s	PCI-E x8	1 x QSFP
MHQH29-XTC	Si	Si	QDR 40Gb/s	PCI-E x8	2 x QSFP
MHRH19-XTC	Si	Si	DDR 20Gb/s	PCI-E x8	1 x QSFP
MHRH29-XTC	Si	Si	DDR 20Gb/s	PCI-E x8	2 x QSFP
Mellanox ConnectX®-2 Adapter Cards
MHGH29B-XTR	Si	Si	DDR 20Gb/s	PCI-E x8	2 x CX4
MHQH19B-XTR	Si	Si	QDR 40Gb/s	PCI-E x8	1 x QSFP
MHQH29B-XTR	Si	Si	QDR 40Gb/s	PCI-E x8	2 x QSFP
MHRH19B-XTR	Si	Si	DDR 20Gb/s	PCI-E x8	1 x QSFP
MHRH29B-XTR	Si	Si	DDR 20Gb/s	PCI-E x8	2 x QSFP
MHZH29-XTR	Si	Si	QDR 40Gb/s	PCI-E x8	2 x QSFP
Mellanox ConnectX®  Adapter Cards for 10Gig Ethernet
MNEH28-XTC	No	Si	10Gb/s	PCI-E x8	2 x CX4
MNEH29-XTC	No	Si	10Gb/s	PCI-E x8	2 x CX4
Mellanox ConnectX-2®  Adapter Cards for 10Gig Ethernet
MNEH29B-XTR	No	Si	10Gb/s	PCI-E x8	2 x CX4
MNPH29C-XTR	No	Si	10Gb/s	PCI-E x8	2 x SFP+

 

Switches Infiniband.
La electrónica de red es una pieza fundamental en el dimensionamiento del cluster. Hay Switches Infiniband desde 36 Puertos en tan solo 1U hasta 648 puertos en switches de chasis, todos ellos Non Blocking. También existe la posibilidad de montar redes CBB (Constant Bi-Sectional Bandwidth) ó topología Fat Tree con el fin de buscar una reducción de coste. Los switches mas avanzados incluso disponen de puertos 10Gb adicionales para la convergencia de la red fuera del cluster HPC.

	Edge Switches QDR			Director Switches QDR
Modelo	IS5030	IS5035	MTS3600	IS5100	IS5200	MTS3610	IS5600
Puertos	36	36	36	108	216	324	648
Switching Capacity	2.88Tb/s	2.88Tb/s	2.88Tb/s	8.64Tb/s	17.28Tb/s	25.9Tb/s	51.8Tb/s
Performance	Non-blocking	Non-blocking	Non-blocking	Non-blocking	Non-blocking	Non-blocking	Non-blocking
Bridge Infiniband / 10GE ó FC*	-	-	-	Yes	Yes	-	Yes

*Bridge Infiniband / 10GE ó FC: Modulo Bridge con puertos Up Link Infiniband 10GE / Infiniband y puertos Down Link 10Ge / Fibre Channel (FC).

Lista completa de productos Infiniband de Mellanox

En Flytech podemos entregar la solución completa llave en mano con todos los componentes necesarios, incluidos los elementos auxiliares como el armario Rack especial que garantiza la refrigeración, KVM analógico y/o digital, conectividad, pantalla teclado y raton en 1U, y todo ello estructurado de tal manera que la administración del sistema y agregar o sustituir componentes se haga de una manera rápida, fácil y cómoda.

Lista de servidores para cluster. Consúltanos para una configuración personalizada.

Aspectos Técnicos del Hardware:

Armario:
El armario Rack es una parte fundamental a la hora de dimensionar un cluster. Influye directamente en aspectos como la refrigeración, la accesibilidad, y la optimización del espacio. Para Clusters HPC y granjas de render donde la densidad es alta es obligatorio ventilación horizontal para favorecer el flujo de aire natural de los servidores.
La refrigeración afecta directamente al proceso de calculo y un exceso de temperatura provoca perdida de rendimiento, de hecho en la actualidad la mayoría de los procesadores bajan la velocidad del microprocesador cuando detectan exceso de temperatura. Además una refrigeración adecuada alarga la vida de los componentes mas alla de la garantía, lo que disminuye el coste del mantenimiento del Cluster.

Servidores:
Se busca la mejor relación rendimiento/ precio, cuidando aspectos como la densidad y el consumo eléctrico. Estos 2 últimos aspectos son fundamentales sobretodo si alojamos el cluster en un centro de proceso de datos, ya que nos van a cobrar por huella y consumo eléctrico.
Para la elección del servidor, disponemos de servidores con microprocesadores Intel y AMD. En todos los casos buscamos la plataforma que da mas prestaciones para la aplicación del cliente, y en función de los acuerdos a los que se lleguen podemos incluso hacer una demo para comprobar prestaciones y tener plena certeza de que la plataforma elegida es la mas adecuada.
Actualmente las opciones mas buscadas para HPC son los servidores con procesadores Intel Xeon Westemere serie 5600 de 6 nucleos y los AMD Opteron serie 6100 de 8 y 12 Nucleos:
- Servidores 1U Dual Xeon

 

FPGAs:
También ofrecemos la posibilidad de montar clusters con FPGAs in Socket ó con tarjetas PCI-E x8. Actualmente trabajamos con los principales fabricantes a nivel mundial como Xtremedata, Gidel y Phoenics Electronics. Estos fabricantes trabajan con los chipsets mas avanzados del mercado como el Stratix IV de Altera y el Virtex-5 de Xilinx. Además contamos con desarrolladores de software propio para portar tus aplicaciones de calculo mediante FPGAs.

GPUs:
La última tendencia en sistemas HPC es la inclusión de servidores con múltiples GPUs Nvidia Tesla Fermi de 512 nucleos cada una con una potencia de hasta 665 GFLOPs. Este diseño permite una aceleracion realmente grande en aplicaciones con un gran paralelismo. Actualmente disponemos de servidores con soporte para 2 tarjetas en 1U, hasta 4 GPUs en 2U/4U y Blade de hasta 2 GPU por hoja, todos ellos con soporte para GPUdirect, una tecnologia que acelera la comunicaion entre GPUs permitiendo la comunicacion directa a traves de una red Infiniband Mellanox.

Tambien contamos con estaciones de trabajo (Workstation) con hasta 4 GPUs, lo que permite poder contar con una potente estacion de calculo cientifico.

Almacenamiento:
Estos sistemas suelen tener un sistemas de almacenamiento compartido. Además de los sistemas de almacenamiento RAID tradicionales como los sistemas SAN o NAS, NAS Infiniband, SAN IP (iSCSI), disponemos de soluciones de almacenamiento paralelizado orientado a objetos orientado a clusters de Superconmutación orientado a objetos del fabricante Panasas.
Este almacenamiento se caracteriza por tener múltiples controladoras trabajando en paralelo para conseguir hasta 600MB/s de tasa de transferencia en sostenido por puertos 10GbE ó Infiniband.

Hay que destacar que con las redes de baja latencia y un sistema de almacenamiento cluster de Panasas se pueden conseguir mejoras del rendimiento hasta en 37 veces trabajando en aplicaciones como Fluent.

Gestión:
Contamos con distintos elementos que facilitan la gestión de este tipo de instalación. Si bien se pueden gestionar mediante SSH, facilita mucho la labor el puerto dedicado para la gestión remota y KVM-IP que permite:

Administracion de los sitemas.

- Encendio y apagado remoto de los equipos.

Monitorización y análisis preventivo de elementos como:

- La temperatura de CPUs y del sistema.
- Régimen de giro de los ventiladores así como su fallo
- Voltajes de la fuente de alimentación y fallo en una de sus fuentes.
- Errores de memoria
- Detección de apertura del equipo.

Por ultimo cabe destacar la compatiilidad de nuestros equipos con soluciones avanzadas de despliegue de imagenes tanto gratuitas (Rocks por ejemplo), como las soluciones de pago Brightcluster y Platform Computing.

Esta aplicación soporta SNMP para la gestión de alarmas por fallo de elementos o por exceder los umbrales de las medidas.

Lista de servidores para cluster. Consúltanos para una configuración personalizada. info@flytech.es