Meet mPLUG-Owl2 un modelo de base multilingüe multimodal que transforma los modelos de lenguaje multilingües multimodales (MLLM) mediante la colaboración de modalidades.

Conoce mPLUG-Owl2 un modelo multilingüe multimodal que transforma los modelos de lenguaje multilingües multimodales (MLLM) con la colaboración de diferentes modalidades.

Los Modelos de Lenguaje Grandes, con sus capacidades de imitación humana, han causado sensación en la comunidad de Inteligencia Artificial. Con habilidades excepcionales de comprensión y generación de texto, modelos como GPT-3, LLaMA, GPT-4 y PaLM han ganado mucha atención y popularidad. GPT-4, el modelo recientemente lanzado por OpenAI debido a sus capacidades multimodales, ha despertado el interés de todos en la convergencia de aplicaciones de visión y lenguaje, como resultado de la cual se han desarrollado los MLLMs (Modelos de Lenguaje Grandes Multimodales). Los MLLMs se han introducido con la intención de mejorarlos añadiendo capacidades de resolución de problemas visuales.

Los investigadores se han centrado en el aprendizaje multimodal, y estudios anteriores han encontrado que varias modalidades pueden funcionar bien juntas para mejorar el rendimiento en tareas de texto y multimodales al mismo tiempo. Las soluciones actualmente existentes, como los módulos de alineación multimodal, limitan el potencial de colaboración modal. Los Modelos de Lenguaje Grandes se ajustan durante la instrucción multimodal, lo que lleva a un compromiso en el rendimiento de las tareas de texto que representa un gran desafío.

Para abordar todos estos desafíos, un equipo de investigadores de Alibaba Group ha propuesto un nuevo modelo básico multimodal llamado mPLUG-Owl2. La arquitectura de red modularizada de mPLUG-Owl2 tiene en cuenta la interferencia y la colaboración modal. Este modelo combina módulos funcionales comunes para fomentar la colaboración multimodal y un módulo adaptativo de modalidad para realizar transiciones sin problemas entre varias modalidades. Al hacer esto, utiliza un decodificador de lenguaje como una interfaz universal.

• Tendencias de Carreras en IA Lo más popular en el mundo de la Inteligencia Artificial
• CogVLM, un modelo multimodal revolucionario que introduce la fusión profunda
• Pruebas AB Bayesianas con Pyro

Este módulo adaptativo de modalidad garantiza la colaboración entre las dos modalidades proyectando las modalidades verbales y visuales en un espacio semántico común al mismo tiempo que mantiene las características específicas de cada modalidad. El equipo ha presentado un paradigma de entrenamiento de dos etapas para mPLUG-Owl2 que consiste en la sintonización conjunta de instrucción de visión-lenguaje y el preentrenamiento de visión-lenguaje. Con la ayuda de este paradigma, el codificador de visión se ha vuelto más eficiente para recopilar información visual semántica de alto y bajo nivel.

El equipo ha realizado diversas evaluaciones y ha demostrado la capacidad de mPLUG-Owl2 para generalizarse a problemas de texto y actividades multimodales. El modelo muestra su versatilidad como un único modelo genérico al lograr resultados de vanguardia en una variedad de tareas. Los estudios han demostrado que mPLUG-Owl2 es único, ya que es el primer modelo MLLM que muestra colaboración modal en escenarios que incluyen tanto texto puro como múltiples modalidades.

En conclusión, mPLUG-Owl2 es sin duda un avance importante y un gran paso adelante en el área de los Modelos de Lenguaje Grandes Multimodales. A diferencia de enfoques anteriores que se concentraban principalmente en mejorar las habilidades multimodales, mPLUG-Owl2 enfatiza la sinergia entre las modalidades para mejorar el rendimiento en una amplia gama de tareas. El modelo utiliza una arquitectura de red modularizada, en la que el decodificador de lenguaje actúa como una interfaz de propósito general para controlar varias modalidades.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!