NVIDIA presenta la GPU Tensor Core H200 dirigida a cargas de trabajo de IA y HPC

NVIDIA lanza la GPU Tensor Core H200 diseñada para cargas de trabajo de IA y HPC

La semana pasada, NVIDIA presentó la GPU H200 Tensor Core. Esta GPU espera establecer un nuevo estándar como la GPU más poderosa del mundo diseñada para potenciar la inteligencia artificial y las cargas de trabajo de computación de alto rendimiento o HPC.

La H200 se basa en la arquitectura NVIDIA Hopper y la GPU cuenta con HBM3e, proporcionando un impresionante 141 gigabytes de memoria a una velocidad asombrosa de 4.8 terabytes por segundo. Esto es casi el doble de la capacidad de su predecesora, la GPU Tensor Core NVIDIA H100 H100, con 1.4 veces más ancho de banda de memoria.

Como podemos ver, este es un aumento notable en el tamaño y velocidad de la memoria que acelera la inteligencia artificial generativa y los modelos de lenguaje grandes, al tiempo que mejora la computación científica para cargas de trabajo de HPC. Por ejemplo, en la inferencia Llama2 70B, logra velocidades 1.9 veces más rápidas y la inferencia GPT-3 175B a 1.6 veces más rápido.

• ¿Es necesario probar aún más el código generado por la IA?
• Google DeepMind presenta Lyria un innovador generador de música de inteligencia artificial y un parque de juegos creativo.
• Cómo SnapLogic creó una aplicación de texto a tubería con Amazon Bedrock para traducir la intención empresarial en acción

El ancho de banda de memoria juega un papel fundamental en las aplicaciones de HPC, permitiendo una transferencia de datos más rápida y reduciendo los cuellos de botella de procesamiento. Para tareas intensivas en memoria como simulaciones, investigación científica e IA, el mayor ancho de banda de memoria de la H200 se traduce en un tiempo de resultados notablemente 110 veces más rápido en comparación con las CPU tradicionales.

La H200 también aumenta la velocidad de inferencia hasta 2 veces en comparación con su predecesora, la GPU H100, especialmente cuando se manejan LLM complejos como Llama2. Dicho esto, la H200 mantiene la eficiencia energética, operando dentro del mismo perfil de potencia que la H100.

Esto ayuda a las empresas a mantenerse y alinearse con las prácticas eco-amigables. El consumo de energía ha sido un problema creciente a medida que más empresas se mueven hacia la IA generativa y parece que NVIDIA ha tenido eso en cuenta con la H200.

NVIDIA espera que con la introducción de la H200, se establezca un nuevo estándar para las capacidades de las GPU. Esto se vuelve más importante a medida que las comunidades de IA y científicas continúan dependiendo de la salida de IA para ayudar en investigaciones punteras.

En los últimos años, cada vez más equipos de investigación han estado dependiendo del poder de los modelos para encontrar nuevas combinaciones de proteínas y detectar la enfermedad de Parkinson. Cómo esto afectará al mercado general de las GPU aún se desconoce.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!