Desbloquea el avance de la comprensión de video de IA con MM-VID para GPT-4V(isión)

Desbloquea el potencial de la comprensión de video de IA con MM-VID para GPT-4V(isión)

En todo el mundo, las personas crean una gran cantidad de videos todos los días, incluyendo transmisiones en vivo generadas por los usuarios, transmisiones en vivo de videojuegos, clips cortos, películas, transmisiones deportivas y publicidad. Como un VoAGI versátil, los videos transmiten información y contenido a través de diversas modalidades, como texto, imágenes y sonido. Desarrollar métodos capaces de aprender de estas diversas modalidades es crucial para diseñar máquinas cognitivas con capacidades mejoradas para analizar videos del mundo real sin curación, trascendiendo las limitaciones de los conjuntos de datos curados a mano.

Sin embargo, la riqueza de esta representación plantea numerosos desafíos para explorar la comprensión de videos, especialmente al enfrentarse a videos de larga duración. Comprender los matices de videos largos, especialmente aquellos que duran más de una hora, requiere métodos sofisticados para analizar imágenes y secuencias de audio a lo largo de varios episodios. Esta complejidad aumenta con la necesidad de extraer información de fuentes diversas, distinguir a los hablantes, identificar a los personajes y mantener la coherencia narrativa. Además, responder preguntas basadas en evidencia de video exige una comprensión profunda del contenido, el contexto y los subtítulos.

En las transmisiones en vivo y los videos de juegos, surgen desafíos adicionales al procesar entornos dinámicos en tiempo real, lo que requiere comprensión semántica y la capacidad de participar en una planificación estratégica a largo plazo.

• Humane lanza un revolucionario wearable con inteligencia artificial el AI Pin
• Creando un GPT personalizado Lecciones y consejos
• Investigando un Chatbot de Informe de Situación de Desastre Humanitario – Utilizando GPT-4-Turbo y solicitud de contexto completo

En tiempos recientes, se ha logrado un progreso considerable en los modelos preentrenados grandes de lenguaje y video, mostrando sus habilidades de razonamiento competentes para el contenido de video. Sin embargo, estos modelos suelen entrenarse en clips concisos (por ejemplo, videos de 10 segundos) o clases de acciones predefinidas. En consecuencia, estos modelos pueden tener limitaciones para proporcionar una comprensión matizada de videos intrincados del mundo real.

La complejidad de comprender videos del mundo real implica identificar a las personas en la escena y discernir sus acciones. Además, es necesario señalar estas acciones, especificando cuándo y cómo ocurren. Además, implica reconocer matices sutiles e indicios visuales en diferentes escenas. El objetivo principal de este trabajo es enfrentar estos desafíos y explorar metodologías directamente aplicables a la comprensión de videos del mundo real. El enfoque implica descomponer el contenido de video extendido en narrativas coherentes, utilizando posteriormente estas historias generadas para el análisis de video.

Avances recientes en los Modelos Multimodales Grandes (LMMs), como GPT-4V (Visión), han marcado avances significativos en el procesamiento de imágenes de entrada y texto para la comprensión multimodal. Esto ha suscitado el interés en extender la aplicación de LMMs al dominio del video. El estudio informado en este artículo presenta MM-VID, un sistema que integra herramientas especializadas con GPT-4V para la comprensión de video. El resumen del sistema se ilustra en la figura de abajo.

Al recibir un video de entrada, MM-VID inicia el preprocesamiento multimodal, que incluye detección de escena y reconocimiento automático del habla (ASR), para recopilar información crucial del video. Posteriormente, el video de entrada se segmenta en varios clips basados en el algoritmo de detección de escena. Luego se emplea GPT-4V, utilizando fotogramas de video a nivel de clip como entrada para generar descripciones detalladas para cada clip de video. Finalmente, GPT-4V produce un guion coherente para todo el video, condicionado a las descripciones de video a nivel de clip, ASR y metadatos de video disponibles. El guion generado permite que MM-VID ejecute una variedad diversa de tareas de video.

A continuación se presentan algunos ejemplos tomados del estudio.

Este fue el resumen de MM-VID, un novedoso sistema de IA que integra herramientas especializadas con GPT-4V para la comprensión de video. Si estás interesado y deseas obtener más información al respecto, no dudes en consultar los enlaces citados a continuación.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!