Un vistazo más cercano a DALL-E 3 de OpenAI

Un vistazo más profundo a DALL-E 3 de OpenAI

En el mundo de la inteligencia artificial generativa, estar al día es el nombre del juego. Y cuando se trata de generar imágenes, Stable Diffusion y Midjourney eran la plataforma de la que todos hablaban, hasta ahora.

OpenAI, respaldado por el gigante tecnológico Microsoft, presentó DALL·E 3 el 20 de septiembre de 2023.

DALL-E 3 no se trata solo de crear imágenes; se trata de dar vida a tus ideas, tal y como las imaginaste. ¿Y la mejor parte? Es rápido, muy rápido. Tienes una idea, la alimentas a DALL-E 3 y boom, tu imagen está lista.

Así que, en este artículo, vamos a profundizar en lo que DALL-E 3 representa. Hablaremos de cómo funciona, qué lo diferencia del resto y por qué podría ser la herramienta que no sabías que necesitabas. Ya seas diseñador, artista o simplemente alguien con muchas ideas geniales, querrás seguir leyendo. Empecemos.

• Este artículo sobre IA revela Cómo los modelos de lenguaje grandes se comparan con los motores de búsqueda en eficiencia de verificación de hechos
• Este boletín de inteligencia artificial es todo lo que necesitas #71
• IA vs analistas de datos 6 principales limitaciones que impactan el futuro del análisis

Lo nuevo de DALL·E 3 es que comprende el contexto mucho mejor que DALL·E 2. Las versiones anteriores podrían haber pasado por alto algunos detalles o ignorar ciertos detalles aquí y allá, pero DALL·E 3 está en el punto. Captura los detalles exactos de lo que estás buscando, brindándote una imagen más cercana a lo que imaginaste.

¿La parte genial? DALL·E 3 y ChatGPT ahora están integrados. Trabajan juntos para ayudarte a refinar tus ideas. Lanzas un concepto, ChatGPT ayuda a ajustar la instrucción y DALL·E 3 lo hace realidad. Si no te gusta la imagen, puedes pedirle a ChatGPT que ajuste la instrucción y hacer que DALL·E 3 lo intente de nuevo. Por una tarifa mensual de 20$, tienes acceso a GPT-4, DALL·E 3 y muchas otras funciones geniales.

Bing Chat de Microsoft se adelantó a ChatGPT de OpenAI y ahora no solo las grandes empresas, sino todos pueden jugar con él de forma gratuita. La integración en Bing Chat y Bing Image Creator lo hace mucho más fácil de usar para todos.

El auge de los modelos de difusión

En los últimos 3 años, la IA visual ha presenciado el auge de los modelos de difusión, dando un salto significativo, especialmente en la generación de imágenes. Antes de los modelos de difusión, las Redes Generativas Antagónicas (GANs) eran la tecnología más utilizada para generar imágenes realistas.

GANs

Sin embargo, tenían sus desafíos, incluida la necesidad de grandes cantidades de datos y potencia de cálculo, lo que a menudo dificultaba su manejo.

Entra en escena los modelos de difusión. Surgieron como una alternativa más estable y eficiente a las GANs. A diferencia de las GANs, los modelos de difusión operan agregando ruido a los datos, oscureciéndolos hasta que solo queda aleatoriedad. Luego, trabajan en sentido contrario para revertir este proceso, reconstruyendo datos significativos a partir del ruido. Este proceso ha demostrado ser efectivo y requiere menos recursos, lo cual ha convertido a los modelos de difusión en un tema candente en la comunidad de IA.

El punto de inflexión real ocurrió alrededor de 2020, con una serie de artículos innovadores y la introducción de la tecnología CLIP de OpenAI, que mejoró significativamente las capacidades de los modelos de difusión. Esto hizo que los modelos de difusión fueran excepcionalmente buenos en la síntesis de texto a imagen, lo que les permitía generar imágenes realistas a partir de descripciones textuales. Estos avances no solo se dieron en la generación de imágenes, sino también en campos como la composición musical y la investigación biomédica.

Hoy en día, los modelos de difusión no son solo un tema de interés académico, sino que se utilizan en escenarios prácticos del mundo real.

Modelado Generativo y Capas de Autoatención: DALL-E 3

Fuente

Uno de los avances más importantes en este campo ha sido la evolución del modelado generativo, con enfoques basados en muestreo como el modelado generativo autoregresivo y los procesos de difusión liderando el camino. Han transformado los modelos de texto a imagen, lo que ha llevado a mejoras drásticas en el rendimiento. Al descomponer la generación de imágenes en pasos discretos, estos modelos se han vuelto más tratables y más fáciles de aprender para las redes neuronales.

Paralelamente, el uso de capas de autoatención ha desempeñado un papel crucial. Estas capas, apiladas juntas, han ayudado a generar imágenes sin la necesidad de sesgos espaciales implícitos, un problema común con las convoluciones. Este cambio ha permitido que los modelos de texto a imagen se escalen y mejoren de manera confiable, debido a las propiedades de escalado bien entendidas de los transformadores.

Desafíos y Soluciones en la Generación de Imágenes

A pesar de estos avances, la controlabilidad en la generación de imágenes sigue siendo un desafío. Problemas como el seguimiento de instrucciones, donde el modelo puede que no se adhiera estrictamente al texto de entrada, han sido frecuentes. Para abordar esto, se han propuesto nuevos enfoques como la mejora de subtítulos, con el objetivo de mejorar la calidad de las combinaciones de texto e imagen en los conjuntos de datos de entrenamiento.

Mejora de Subtítulos: Un Enfoque Novedoso

La mejora de subtítulos implica generar subtítulos de mejor calidad para las imágenes, lo que a su vez ayuda a entrenar modelos de texto a imagen más precisos. Esto se logra mediante un generador de subtítulos de imágenes robusto que produce descripciones detalladas y precisas de las imágenes. Al entrenar con estos subtítulos mejorados, DALL-E 3 ha logrado resultados notables, que se asemejan mucho a las fotografías y obras de arte producidas por humanos.

Entrenamiento con Datos Sintéticos

El concepto de entrenamiento con datos sintéticos no es nuevo. Sin embargo, la contribución única aquí radica en la creación de un sistema novedoso de generación de subtítulos descriptivos de imágenes. El impacto de utilizar subtítulos sintéticos para entrenar modelos generativos ha sido sustancial, lo que ha llevado a mejoras en la capacidad del modelo para seguir instrucciones con precisión.

Evaluación de DALL-E 3

A través de múltiples evaluaciones y comparaciones con modelos anteriores como DALL-E 2 y Stable Diffusion XL, DALL-E 3 ha demostrado un rendimiento superior, especialmente en tareas relacionadas con el seguimiento de instrucciones.

Comparación de modelos de texto a imagen en varias evaluaciones

El uso de evaluaciones automatizadas y referentes ha proporcionado evidencia clara de sus capacidades, consolidando su posición como un generador de texto a imagen de vanguardia.

Indicaciones y Habilidades de DALL-E 3

DALL-E 3 ofrece un enfoque más lógico y refinado para crear imágenes visuales. A medida que avanzas, puedes notar cómo DALL-E elabora cada imagen, con una combinación de precisión e imaginación que se ajusta a la indicación dada.

A diferencia de su predecesor, esta versión mejorada se destaca en la disposición natural de objetos dentro de una escena y en la representación precisa de rasgos humanos, incluso el número correcto de dedos en una mano. Las mejoras se extienden a detalles más finos y ahora están disponibles a una mayor resolución, lo que garantiza un resultado más realista y profesional.

Las capacidades de renderizado de texto también han visto una mejora sustancial. Donde las versiones anteriores de DALL-E producían texto sin sentido, DALL-E 3 ahora puede generar tipografía legible y con estilo profesional (a veces), e incluso logotipos limpios en ocasiones.

La comprensión del modelo de solicitudes de imágenes complejas y matizadas ha sido significativamente mejorada. DALL-E 3 ahora puede seguir con precisión descripciones detalladas, incluso en escenarios con múltiples elementos e instrucciones específicas, lo que demuestra su capacidad para producir imágenes coherentes y bien compuestas. Veamos algunas indicaciones y los resultados correspondientes que obtuvimos:

Diseña el embalaje para una línea de tés orgánicos. Incluye espacio para el nombre y descripción del producto.

DALL-E 3 imágenes basadas en indicaciones de texto (Nota que el póster izquierdo tiene una mala ortografía)

Crea un banner web que promocione una venta de verano en muebles de exterior. La imagen muestra un entorno de playa con diferentes piezas de muebles de exterior, y un texto que anuncia '¡Grandes ahorros de verano!'

DALL-E 3 imágenes basadas en indicaciones de texto

Un póster de viaje vintage de París con un texto audaz y estilizado que dice 'Visita París' en la parte inferior.

DALL-E 3 imágenes basadas en indicaciones de texto (Nota que ambos pósters tienen mala ortografía)

Una escena bulliciosa del festival de Diwali en la India, con familias encendiendo lámparas, fuegos artificiales en el cielo, y dulces y decoraciones tradicionales.

DALL-E 3 imágenes basadas en indicaciones de texto

Un detallado mercado en la antigua Roma, con personas vistiendo ropa apropiada para esa época, varios productos a la venta, y arquitectura de la época.

DALL-E 3 imágenes basadas en indicaciones de texto

Genera una imagen de una figura histórica famosa, como Cleopatra o Leonardo da Vinci, ubicada en un entorno contemporáneo, utilizando tecnología moderna como teléfonos inteligentes o computadoras portátiles.

DALL-E 3 imágenes basadas en indicaciones de texto

Limitaciones y riesgos de DALL-E 3

OpenAI ha tomado medidas significativas para filtrar contenido explícito de los datos de entrenamiento de DALL-E 3, con el objetivo de reducir sesgos y mejorar el resultado del modelo. Esto incluye la aplicación de filtros específicos para categorías de contenido sensible y una revisión de los umbrales para filtros más amplios. La pila de mitigación también incluye varias capas de salvaguardias, como mecanismos de rechazo en ChatGPT para temas sensibles, clasificadores de entrada de indicaciones para prevenir violaciones de políticas, listas de bloqueo para categorías de contenido específicas y transformaciones para asegurar que las indicaciones se ajusten a las directrices.

A pesar de sus avances, DALL-E 3 tiene limitaciones en la comprensión de las relaciones espaciales, la representación precisa de textos largos y la generación de imágenes específicas. OpenAI reconoce estos desafíos y está trabajando en mejoras para futuras versiones.

La compañía también está trabajando en formas de diferenciar las imágenes generadas por IA de las creadas por humanos, reflejando su compromiso con la transparencia y el uso responsable de la IA.

DALL·E 3

DALL-E 3, la última versión, estará disponible en fases, comenzando con grupos de clientes específicos y luego expandiéndose a laboratorios de investigación y servicios API. Sin embargo, aún no se ha confirmado una fecha de lanzamiento pública gratuita.

OpenAI está realmente estableciendo un nuevo estándar en el campo de la IA con DALL-E 3, fusionando de manera transparente capacidades técnicas complejas con interfaces fáciles de usar. La integración de DALL-E 3 en plataformas ampliamente utilizadas como Bing refleja un cambio de aplicaciones especializadas a formas de entretenimiento y utilidad más amplias y accesibles.

El verdadero cambio en los próximos años probablemente será el equilibrio entre la innovación y el empoderamiento del usuario. Las empresas que prosperen serán aquellas que no solo empujen los límites de lo que la IA puede lograr, sino que también brinden a los usuarios la autonomía y el control que desean. OpenAI, con su compromiso con la IA ética, está navegando cuidadosamente este camino. El objetivo es claro: crear herramientas de IA que no solo sean poderosas, sino también confiables e inclusivas, asegurando que los beneficios de la IA sean accesibles para todos.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!