Search Results Megatron

Cómo entrenar un Modelo de Lenguaje con Megatron-LM

Entrenar modelos de lenguaje grandes en Pytorch requiere más que un simple bucle de entrenamiento. Por lo general, se distribuye en múltiples dispositivos, con…

Conoce a GigaGPT la implementación de Cerebras del nanoGPT de Andrei Karpathy que entrena modelos de IA del tamaño de GPT-3 en solo 565 líneas de código.

Entrenar modelos de transformadores grandes presenta desafíos significativos, especialmente cuando se busca modelos con miles de millones o incluso billones de parámetros. El obstáculo…

Principales 8 tendencias de IA de 2023 Un año en revisión

A medida que las hojas se vuelven doradas y el frío de diciembre se instala, es hora de reflexionar sobre un año que presenció…

Permite un entrenamiento más rápido con la biblioteca de paralelismo de datos de Amazon SageMaker

El entrenamiento de modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés) se ha vuelto cada vez más popular en el…

Conoce a Meditron una suite de modelos de lenguaje médicos de código abierto basados en LLaMA-2 (Large Language Models para Medicina)

Una de las aplicaciones más emocionantes de los Modelos de Lenguaje Amplio (LLMs, por sus siglas en inglés) es en medicina, con algunos de…

Training de IA en IA GatorTronGPT a la Vanguardia de las Innovaciones de IA Médica de la Universidad de Florida

¿Cómo se entrena a una IA para entender el lenguaje clínico con menos datos clínicos? Entrena a otra IA para sintetizar datos de entrenamiento.…

Corporate

Investigadores de Microsoft presentan FP8 Mixed-Precision Training Framework Potenciando la eficiencia del entrenamiento de modelos de lenguaje grandes

Los modelos de lenguaje grandes han demostrado una destreza sin precedentes en la creación y comprensión del lenguaje, abriendo el camino a avances en…

Las mejores 22 alternativas a ChatGPT que puedes probar en 2023 (gratuitas y de pago)

ChatGPT es la herramienta de inteligencia artificial (IA) más famosa y comúnmente utilizada para diversas tareas. Con numerosos cursos y materiales educativos sobre cómo…

Ajuste fino rápido y rentable de LLaMA 2 con AWS Trainium

Los grandes modelos de lenguaje (LLMs) han capturado la imaginación y la atención de desarrolladores, científicos, tecnólogos, empresarios y ejecutivos de varias industrias. Estos…

IA generativa para conocimientos biomédicos

Explore OpenBIOML y BIO GPT para la IA generativa, un nuevo enfoque para entender y tratar enfermedades utilizando Modelos de Lenguaje Grande (LLMs).

Recuperación de Información para Generación con Recuperación Mejorada

Tres (y medio) consejos simples y probados en batalla que pueden mejorar drásticamente el rendimiento de su Recuperación de Información.

Modelos de Lenguaje Grandes ¿Una Nueva Ley de Moore?

Hace unos días, Microsoft y NVIDIA presentaron Megatron-Turing NLG 530B, un modelo basado en Transformers aclamado como “el modelo generativo de lenguaje más grande…

La Tecnología Detrás del Entrenamiento BLOOM

En los últimos años, se ha vuelto habitual entrenar modelos de lenguaje cada vez más grandes. Si bien se discute con frecuencia el tema…

Historia de optimización Inferencia de Bloom

Este artículo te brinda información sobre cómo creamos un servidor de inferencia eficiente que alimenta a bloom, un servidor de inferencia que alimenta https://huggingface.co/bigscience/bloom.…

Un análisis empírico del entrenamiento de modelos de lenguaje grandes óptimos en cómputo

Nos hacemos la pregunta ¿Cuál es el tamaño óptimo del modelo y el número de tokens de entrenamiento para un presupuesto computacional dado? Para…

Technical blog

¿Qué son los Modelos de Lenguaje Grandes (LLMs)? Aplicaciones y Tipos de LLMs

Los programas informáticos llamados modelos de lenguaje grandes proporcionan opciones novedosas para analizar y crear texto. No es raro que los modelos de lenguaje…

NYU y NVIDIA colaboran en un gran modelo de lenguaje para predecir la readmisión de pacientes.

Darse de alta en el hospital es un hito importante para los pacientes, pero a veces no es el final de su camino hacia…

Learn more about Search Results Megatron