Investigadores de Google proponen MEMORY-VQ un nuevo enfoque de IA para reducir los requisitos de almacenamiento de los modelos de memoria aumentada sin sacrificar el rendimiento

Google researchers propose MEMORY-VQ, a new AI approach to reduce storage requirements of augmented memory models without sacrificing performance.

Investigaciones recientes en modelos de lenguaje han enfatizado la importancia de la mejora de la recuperación para mejorar el conocimiento factual. La mejora de la recuperación implica proporcionar a estos modelos pasajes de texto relevantes para mejorar su rendimiento, pero esto conlleva un mayor costo computacional. Un nuevo enfoque, representado por LUMEN y LUMEN-VQ, tiene como objetivo acelerar la mejora de la recuperación mediante la precodificación de pasajes del corpus. Este enfoque ayuda a reducir la carga computacional manteniendo la calidad. Sin embargo, la precodificación requiere un almacenamiento sustancial, lo cual ha sido un desafío.

LUMEN-VQ, una combinación de cuantización de productos y métodos VQ-VAE, aborda este problema de almacenamiento al lograr una tasa de compresión de 16x. Esto implica que las representaciones de memoria para vastos corpus se pueden almacenar de manera eficiente. Este avance marca un paso significativo hacia la mejora práctica de la recuperación a gran escala, beneficiando la comprensión del lenguaje y las tareas de recuperación de información.

Investigadores de Google presentan MEMORY-VQ como un método para reducir los requisitos de almacenamiento. Lo hace comprimiendo las memorias utilizando cuantización de vectores y reemplazando los vectores de memoria originales con códigos enteros que se pueden descomprimir sobre la marcha. Los requisitos de almacenamiento para cada vector cuantizado dependen del número de subespacios y el número de bits necesarios para representar cada código, determinado por el logaritmo del número de códigos. Este enfoque se aplica al modelo LUMEN, dando como resultado LUMEN-VQ. Emplea cuantización de productos y VQ-VAE para la compresión y descompresión, con una inicialización cuidadosa del libro de códigos y la división de la memoria.

• ¿Qué características son perjudiciales para su modelo de clasificación?
• Conoce T2I-Adapter-SDXL Modelos de Control Pequeños y Eficientes.
• Grandes Modelos de Lenguaje SBERT

En conclusión, MEMORY-VQ es un método pionero que reduce eficazmente las demandas de almacenamiento en modelos de lenguaje con memoria aumentada, manteniendo un alto rendimiento. Hace que la mejora de la memoria sea una solución práctica para lograr un aumento sustancial en la velocidad de inferencia, especialmente cuando se trata de extensos corpus de recuperación.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!