Cluster de Supercomputacion, HPC. Servidores multiprocesador, GPUs y FPGAs. Redes baja latencia 10 Gigabit, Infiniband, Myrinet.

Cluster Supercomputacion:

En un entorno de Supercomputación todos los servidores (denominadas nodos) trabajan como uno solo para la aceleración de los cálculos. Es un modelo muy utilizado en centros de cálculo científico de alto rendimiento, Investigación y Universidades para evitar los costes de los grandes Host, y que debido a su flexibilidad permite ampliar con nuevas arquitecturas lo que garantiza la inversión inicial. En Flytech contamos con los servidores multiprocesador más avanzados del mercado, a los que podemos añadir FPGAs, GPUs y redes de baja latencia como Infiniband dependiendo de las necesidades para multiplicar exponencialmente el rendimiento.

Sus aplicaciones son múltiples: Simuladores: Aviación, Formula 1, vehículos militares, espacial Investigación: Genoma, Proteinas, ADN, Oncología, radiación Termodinámica de fluidos: Fluent, Túnel de viento, predicción meteorológica. Resistencia materiales: Simulación de fatiga, composición. Bolsa: Simulación, inversiones. Imagenes Sísmicas: Busqueda de Petróleo, GAS, Agua. Render: Animación, Composición., Skins.

En la actualidad los servidores más avanzados disponen de 6 Núcleos por procesador en el caso de equipar Intel Xeon serie 5600 y 8-12 núcleos por procesador en el caso de AMD con los nuevos Opteron de la serie 6100.

 

Redes de baja latencia Infiniband :

Como sistema alternativo al tradicional Gigabit Ethernet existe la posibilidad de utilizar redes de baja latencia, que incrementan espectacularmente las prestaciones dependiendo del numero de cores. Cuando el numero de cores es considerable las colisiones de la red se multiplican y las latencias consumen gran parte del tiempo de calculo provocando que el escalado de potencia del cluster no sea lineal con el aumento de numero de nodos. Para estos casos se recurre a redes de baja latencia, del tipo de Myrinet, SCI, o las nuevas redes basadas en PCI-Express Infiniband.

En la actualidad la comunicación Gigabit ethernet es un cuello de botella para el calculo en paralelo cuando incrementamos el numero de nodos, es por ello que llega un momento que es mas rentable invertir en un sistema de comunicación de baja latencia que incrementar el numero de nodos como se puede apreciar en esta grafica.

En la actualidad ofrecemos 2 redes de baja latencia diferentes. Infiniband y Myrinet. La primera obtiene las mejores prestaciones de la actualidad, mientras que la segunda ofrece mayor compatibilidad.
Destacar de las redes Infiniband que disponen de las mejores latencias y un ancho de banda de hasta 3400MB/s reales. Comparativa entre redes de baja latencia Infiniband, Myrinet, Quadrics y 10GE.

	InfiniBand		Proprietary		GigE	10GigE
Fabricante	Mellanox ConnectX IB 40Gb/s PCIe x8	QLogic InfiniPath IB 20Gb/s PCIe x8	Myrinet 10G PCIe x8	Quadrics QSNetII		Chelsio T210-CX PCIe x8
Latencia (µs)	<1	1.3	2.2	1.5	30-100	8.9
Ancho de banda Maximo Unidireccional (MB/s) PCIe Gen1	1500	1400	1200	910	125	860
Ancho de banda Maximo Unidireccional (MB/s) PCIe Gen2	3400	N/A	N/A	N/A	N/A	N/A

Los anchos de banda teóricos de las distintas redes Infiniband sin descontar la perdida del 20% producida por el encoding 8b/10b.

	Infiniband SDR	Infiniband DDR	Infiniband QDR
4X	10 GB/s	20 GB/s	40 GB/s

Tarjetas Infiniband

Además de la conectividad del BUS (PCI-X, PCI-E y PCI-E Gen2) existen diferentes chipset que nos indican su generación, potencia y funcionalidad. Los Chipset de ultima generación permiten comunicación Infiniband QDR 40Gb/s y redes 10GE. Mellanox, el proveedor líder de soluciones con tecnología Infiniband ofrece diversas HCAs dependiendo del slot de conexion, la memoria de la tarjeta y las prestaciones puesto que existe versión SDR, DDR y QDR de hasta 40GB/s.

Mellanox InfiniHost® Adapter Cards - Infiniband SDR
MHET2X-1TC InfiniHost® HCA card, dual-port CX4, SDR, PCI-X, 128MB memory
MHET2X-2TC InfiniHost® HCA card, dual-port CX4, SDR, PCI-X, 256MB memory

Mellanox InfiniHost® III Adapter Cards - Infiniband SDR, DDR
MHEA28-1TC InfiniHost® III Ex HCA card, dual-port CX4, SDR, PCIe x8, 128MB memory
MHGA28-1TC InfiniHost® III Ex HCA card, dual-port CX4, DDR, PCIe x8, 128MB memory
MHEA28-2TC InfiniHost® III Ex HCA card, dual-port CX4, SDR, PCIe x8, 256MB memory
MHEA28-XTC InfiniHost® III Ex HCA card, dual-port CX4, SDR, PCIe x8, mem-free
MHGA28-XTC InfiniHost® III Ex HCA card, dual-port CX4, DDR, PCIe x8, mem-free
MHES18-XTC InfiniHost® III Lx HCA card, single-port CX4, SDR, PCIe x8, mem-free
MHGS18-XTC InfiniHost® III Lx HCA card, single-port CX4, DDR, PCIe x8, mem-free
MHES14-XTC InfiniHost® III Lx HCA card, single-port CX4, SDR, PCIe x4, mem-free

Mellanox ConnectX® Adapter Cards - Infiniband SDR, DDR, QDR y 10GE
MHEH28-XTC ConnectX® VPI adapter card, dual-port CX4, IB 10Gb/s and 10GigE, PCIe2.0 x8 2.5GT/s, mem-free
MHGH18-XTC ConnectX® VPI adapter card, single-port CX4, IB 20Gb/s and 10GigE, PCIe2.0 x8 2.5GT/s, mem-free
MHGH19-XTC ConnectX® VPI adapter card, single-port CX4, IB 20Gb/s and 10GigE, PCIe2.0 x8 5.0GT/s, mem-free
MHGH28-XTC ConnectX® VPI adapter card, dual-port CX4, IB 20Gb/s and 10GigE, PCIe2.0 x8 2.5GT/s, mem-free
MHGH29-XTC ConnectX® VPI adapter card, dual-port CX4, IB 20Gb/s and 10GigE, PCIe2.0 x8 5.0GT/s, mem-free
MHJH29-XTC ConnectX® VPI adapter card, dual-port CX4, IB 40Gb/s and 10GigE, PCIe2.0 x8 5.0GT/s, mem-free
MHQH19-XTC ConnectX® VPI adapter card, single-port QSFP, IB 40Gb/s and 10GigE, PCIe2.0 x8 5.0GT/s, mem-free
MHQH29-XTC ConnectX® VPI adapter card, dual-port QSFP, IB 40Gb/s and 10GigE, PCIe2.0 x8 5.0GT/s, mem-free
MHRH19-XTC ConnectX® VPI adapter card, single-port QSFP, IB 20Gb/s and 10GigE, PCIe2.0 x8 5.0GT/s, mem-free
MHRH29-XTC ConnectX® VPI adapter card, dual-port QSFP, IB 20Gb/s and 10GigE, PCIe2.0 x8 5.0GT/s, mem-free

Mellanox ConnectX®-2 Adapter Cards - Infiniband SDR, DDR, QDR y 10GE
MHEH28B-XTR ConnectX®-2 VPI adapter card, dual-port CX4, IB 10Gb/s and 10GigE, PCIe2.0 x8 2.5GT/s
MHGH18B-XTR ConnectX®-2 VPI adapter card, single-port CX4, IB 20Gb/s and 10GigE, PCIe2.0 x8 2.5GT/s
MHGH19B-XTR ConnectX®-2 VPI adapter card, single-port CX4, IB 20Gb/s and 10GigE, PCIe2.0 x8 5.0GT/s
MHGH28B-XTR ConnectX®-2 VPI adapter card, dual-port CX4, IB 20Gb/s and 10GigE, PCIe2.0 x8 2.5GT/s
MHGH29B-XTR ConnectX®-2 VPI adapter card, dual-port CX4, IB 20Gb/s and 10GigE, PCIe2.0 x8 5.0GT/s
MHJH29B-XTR ConnectX®-2 VPI adapter card, dual-port CX4, IB 40Gb/s and 10GigE, PCIe2.0 x8 5.0GT/s
MHQH19B-XTR ConnectX®-2 VPI adapter card, single-port QSFP, IB 40Gb/s and 10GigE, PCIe2.0 x8 5.0GT/s
MHQH29B-XTR ConnectX®-2 VPI adapter card, dual-port QSFP, IB 40Gb/s and 10GigE, PCIe2.0 x8 5.0GT/s
MHRH19B-XTR ConnectX®-2 VPI adapter card, single-port QSFP, IB 20Gb/s and 10GigE, PCIe2.0 x8 5.0GT/s
MHRH29B-XTR ConnectX®-2 VPI adapter card, dual-port QSFP, IB 20Gb/s and 10GigE, PCIe2.0 x8 5.0GT/s
MHZH29-XTR ConnectX®-2 VPI adapter card, 40Gb/s IB QSFP and 10GigE SFP+, PCIe2.0 x8 5.0GT/s

Mellanox ConnectX® Adapter Cards for 10Gig Ethernet
MNEH28-XTC ConnectX® EN network interface card, dual-port, 10GBASE-CX4, PCIe2.0 x8 2.5GT/s, mem-free
MNEH29-XTC ConnectX® EN network interface card, dual-port, 10GBASE-CX4, PCIe2.0 x8 5.0GT/s, mem-free
MNPH28B-XTC ConnectX® EN network interface card, dual-port SFP+, PCIe2.0 x8 2.5GT/s, mem-free
MNPH29B-XTC ConnectX® EN network interface card, dual-port SFP+, PCIe2.0 x8 5.0GT/s, mem-free

Mellanox ConnectX-2® Adapter Cards for 10Gig Ethernet
MNEH28B-XTR ConnectX®-2 EN network interface card, dual-port, 10GBASE-CX4, PCIe2.0 x8 2.5GT/s,
MNEH29B-XTR ConnectX®-2 EN network interface card, dual-port, 10GBASE-CX4, PCIe2.0 x8 5.0GT/s,
MNPH28C-XTR ConnectX®-2 EN network interface card, dual-port SFP+, PCIe2.0 x8 2.5GT/s,
MNPH29C-XTR ConnectX®-2 EN network interface card, dual-port SFP+, PCIe2.0 x8 5.0GT/s,
MNTH29C-XTR ConnectX®-2 ENt network interface card, dual-ports, 10GBASE-T, PCIe2.0 x8 5.0GT/s

 

Switches Infiniband.
La electrónica de red es una pieza fundamental el dimensionamiento del cluster. Hay Switches Infiniband desde 36 Puertos en tan solo 1U hasta 648 puertos en switches de chasis, todos ellos Non Blocking. También existe la posibilidad de montar redes CBB (Constant Bi-Sectional Bandwidth) ó topología Fat Tree con el fin de buscar una reducción de coste.

	Edge Switches			Director Switches
Modelo	IS5030	IS5035	MTS3600	IS5100	IS5200	MTS3610	IS5600
Puertos	36	36	36	108	216	324	648
Switching Capacity	2.88Tb/s	2.88Tb/s	2.88Tb/s	8.64Tb/s	17.28Tb/s	25.9Tb/s	51.8Tb/s
Performance	Non-blocking	Non-blocking	Non-blocking	Non-blocking	Non-blocking	Non-blocking	Non-blocking
Bridge Infiniband / 10GE ó FC*	-	-	-	Yes	Yes	-	Yes

*Bridge Infiniband / 10GE ó FC: Modulo Bridge con puertos Up Link Infiniband 10GE / Infiniband y puertos Down Link 10Ge / Fibre Channel (FC).

 

Entregamos la solución completa llave en mano, con todos los componentes que sean necesarios, armario Rack especial que garantiza la refrigeración, KVM analógico y/o digital, conectividad, pantalla teclado y raton en 1U, y todo ello estructurado de tal manera que la administración del sistema y agregar o sustituir componentes se haga de una manera rápida, fácil y cómoda.

Lista de servidores para cluster. Consúltanos para una configuración personalizada.

Aspectos Técnicos del Hardware:

Armario:
El armario Rack es una parte fundamental a la hora de dimensionar un cluster. Influye directamente en aspectos como la refrigeración, la accesibilidad, y la optimización del espacio. Para Clusters HPC y granjas de render donde la densidad es alta es obligatorio ventilación horizontal para favorecer el flujo de aire natural de los servidores.
La refrigeración afecta directamente al proceso de calculo y un exceso de temperatura provoca perdida de rendimiento, de hecho en la actualidad la mayoría de los procesadores bajan la velocidad del microprocesador cuando detectan exceso de temperatura. Además una refrigeración adecuada alarga la vida de los componentes mas alla de la garantía, lo que disminuye el coste del mantenimiento del Cluster.

Servidores:
Se busca la mejor relación rendimiento/ precio, cuidando aspectos como la densidad y el consumo eléctrico. Estos 2 últimos aspectos son fundamentales sobretodo si alojamos el cluster en un centro de proceso de datos, ya que nos van a cobrar por huella y consumo eléctrico.
Para la elección del servidor, disponemos de servidores con microprocesadores Intel y AMD. En todos los casos buscamos la plataforma que da mas prestaciones para la aplicación del cliente, y en función de los acuerdos a los que se lleguen podemos incluso hacer una demo para comprobar prestaciones y tener plena certeza de que la plataforma elegida es la mas adecuada.
Actualmente las opciones mas buscadas para HPC son los servidores con procesadores Intel Xeon Westemere serie 5600 de 6 nucleos y los AMD Opteron serie 6100 de 8 y 12 Nucleos:
- Servidores 1U Dual Xeon

 

FPGAs:
También ofrecemos la posibilidad de montar clusters con FPGAs in Socket ó con tarjetas PCI-E x8. Actualmente trabajamos con los principales fabricantes a nivel mundial como Xtremedata, Gidel y Phoenics Electronics. Estos fabricantes trabajan con los chipsets mas avanzados del mercado como el Stratix IV de Altera y el Virtex-5 de Xilinx. Además contamos con desarrolladores de software propio para portar tus aplicaciones de calculo mediante FPGAs.

GPUs:
La última tendencia en sistemas HPC es la inclusión de servidores con múltiples GPUs Nvidia Tesla Fermi de 448 nucleos cada una. Actualmente disponemos de servidores con soporte para 2 tarjetas en 1U y hasta 4 en 4U.

Almacenamiento:
Estos sistemas suelen tener un sistemas de almacenamiento compartido. Además de los sistemas de almacenamiento RAID tradicionales como los sistemas SAN o NAS, NAS Infiniband, SAN IP (iSCSI), disponemos de soluciones de almacenamiento paralelizado orientado a objetos orientado a clusters de Superconmutación orientado a objetos del fabricante Panasas.
Este almacenamiento se caracteriza por tener múltiples controladoras trabajando en paralelo para conseguir hasta 600MB/s de tasa de transferencia en sostenido por puertos 10GbE ó Infiniband.

Hay que destacar que con las redes de baja latencia y un sistema de almacenamiento cluster de Panasas se pueden conseguir mejoras del rendimiento hasta en 37 veces trabajando en aplicaciones como Fluent.

Gestión:
Contamos con distintos elementos que facilitan la gestión de este tipo de instalación. Si bien se pueden gestionar mediante SSH, facilita mucho la labor la inclusión de un teclado monitor y ratón plegable, que ocupa solo 1U dentro del rack.
Además disponemos de sistemas KVM para monitorizar todos los nodos compartiendo monitor teclado y ratón, e incluso con acceso por IP con múltiples usuarios.
Los últimos servidores multiprocesador que ofrecemos incorporan un puerto dedicado para la gestión remota y KVM-IP que permite monitorización y análisis preventivo de elementos como:
Los ultimos servidores multiprocesador que ofrecemos incorporan un puerto dedicado para la gestion remota y KVM-IP que permite monitorización y análisis preventivo de elementos como:
- La temperatura de CPUs y del sistema.
- Régimen de giro de los ventiladores así como su fallo
- Voltajes de la fuente de alimentación y fallo en una de sus fuentes.
- Errores de memoria
- Detección de apertura del equipo.
Esta aplicación soporta SNMP para la gestión de alarmas por fallo de elementos o por exceder los umbrales de las medidas.
• Testigos luminosos: LEDs en el frontal que nos facilitan información del sistema de aspectos como: Power On, exceso de temperatura, tráfico de los 2 puertos de red, fallo de la fuente y acceso a disco.
• KVM por IP.

Lista de servidores para cluster. Consúltanos para una configuración personalizada. info@flytech.es