acelerando más de 130,000 modelos de Hugging Face con ONNX Runtime

Potenciando más de 130,000 modelos de Hugging Face con ONNX Runtime

¿Qué es ONNX Runtime?

ONNX Runtime es una herramienta de aprendizaje automático de plataforma cruzada que se puede utilizar para acelerar una amplia variedad de modelos, especialmente aquellos con soporte ONNX.

Soporte de Hugging Face para ONNX Runtime

Existen más de 130,000 modelos con soporte ONNX en Hugging Face, una comunidad de código abierto que permite a los usuarios construir, entrenar y desplegar cientos de miles de modelos de aprendizaje automático disponibles públicamente. Estos modelos con soporte ONNX, que incluyen muchos modelos de lenguaje de gran tamaño (LLMs) y modelos en la nube cada vez más populares, pueden aprovechar ONNX Runtime para mejorar el rendimiento, junto con otros beneficios. Por ejemplo, al utilizar ONNX Runtime para acelerar el modelo whisper-tiny, se puede mejorar la latencia promedio por inferencia, con una ganancia de hasta el 74.30% en comparación con PyTorch. ONNX Runtime trabaja en estrecha colaboración con Hugging Face para garantizar que los modelos más populares del sitio sean compatibles. En total, ONNX Runtime admite más de 90 arquitecturas de modelos de Hugging Face, incluyendo las 11 arquitecturas más populares (donde la popularidad se determina por el número correspondiente de modelos cargados en el Hugging Face Hub):

Obtener más información

Para obtener más información sobre cómo acelerar los modelos de Hugging Face con ONNX Runtime, visita nuestra publicación reciente en el Microsoft Open Source Blog.

• Probablemente conozcas las GANs, pero ¿sabes cómo entrenarlas?
• Orquesta Pipelines de Aprendizaje Automático con AWS Step Functions
• Técnica de conjunto AdaBoost completamente explicada con ejemplo en Python

We will continue to update Zepes; if you have any questions or suggestions, please contact us!