Esta investigación de IA de Corea presenta MagiCapture un método de personalización para integrar conceptos de sujeto y estilo para generar imágenes de retratos de alta resolución.

Investigación de IA de Corea presenta MagiCapture, un método de personalización para generar imágenes de retratos de alta resolución.

Las personas a menudo necesitan asistir a un estudio fotográfico, seguido de un costoso y lento procedimiento de edición de imágenes, para producir fotografías de retrato de alta calidad adecuadas para currículos o celebraciones de bodas. Imagina una situación en la que pudieras obtener fotografías de retrato de alta calidad en estilos específicos, como fotos de pasaporte o de perfil, utilizando solo unos pocos selfies y fotos de referencia. Este artículo automatiza el procedimiento. Las fotografías de retrato de alta fidelidad y realistas ahora son alcanzables gracias a los recientes avances en modelos de texto a imagen a gran escala como Stable Diffusion e Imagen. El estudio actual sobre la personalización de estos modelos tiene como objetivo combinar ciertos temas o estéticas utilizando fotos de entrenamiento disponibles.

Definen su objetivo como un desafío de personalización multi-concepto en su artículo. La salida compuesta se produce una vez que se han aprendido el material de origen y el estilo de referencia, respectivamente. El uso de imágenes de referencia en lugar de la edición basada en texto permite a los usuarios ofrecer consejos detallados, lo que lo hace más adecuado para este propósito. Sin embargo, a pesar de los alentadores resultados de técnicas anteriores de personalización, con frecuencia se obtienen imágenes que carecen de realismo y no son comercialmente viables. Este problema ocurre generalmente al intentar actualizar los parámetros de modelos grandes con solo unas pocas fotos. En una generación multi-concepto, donde la falta de imágenes de referencia para los conceptos combinados comúnmente resulta en la mezcla artificial de diferentes conceptos o en la divergencia de los conceptos originales, esta reducción en la calidad es aún más evidente.

Debido a su sesgo humano intrínseco, cualquier artefacto artificial o cambio en la identidad se hace evidente fácilmente en la producción de imágenes de retrato, donde este problema es más obvio. MagiCapture, un enfoque de personalización multi-concepto para fusionar ideas de tema y estilo y crear fotografías de retrato de alta resolución utilizando solo unas pocas referencias de tema y estilo, es presentado por investigadores de KAIST AI y la Universidad Sogang como una solución a estos problemas. Su enfoque utiliza el aprendizaje de indicaciones compuestas, que incluye la indicación compuesta como parte del proceso de entrenamiento y fortalece la integración estrecha del material de origen y el estilo de referencia. Se utilizan pérdidas auxiliares y etiquetas falsas para lograr esto. También sugieren la pérdida de enfoque de atención en combinación con un objetivo de reconstrucción disfrazada, una táctica esencial para lograr la desentrelazamiento de información y evitar la filtración de información durante la inferencia. MagiCapture tiene un rendimiento mejor que otros enfoques de referencia en evaluaciones cuantitativas y cualitativas, y con solo unos pocos ajustes, se puede aplicar a otros objetos no humanos.

• La colaboración multi-AI ayuda al razonamiento y la precisión factual en modelos de lenguaje grandes.
• Desbloqueando el poder del difuminado facial en los medios una exploración exhaustiva y comparación de modelos
• 10 formas de mejorar el rendimiento de los sistemas de generación mejorada de recuperación

A continuación se presentan las principales contribuciones de su artículo:

• Proporcionan una técnica de personalización multi-concepto que puede producir fotografías de retrato de alta resolución que replican con precisión las características tanto de las fotografías de origen como de las de referencia.

• Proporcionan una nueva pérdida de enfoque de atención con un objetivo de reconstrucción enmascarado que separa con éxito la información necesaria de las imágenes de entrada y evita la filtración de información durante la producción.

• Proporcionan una estrategia de aprendizaje de indicaciones compuestas que utiliza pérdidas auxiliares y pseudoetiquetas para fusionar de manera efectiva el material de origen y el estilo de referencia. Su método supera los enfoques de referencia existentes en evaluaciones cuantitativas y cualitativas y, con ligeras modificaciones, se puede aplicar para producir imágenes de cosas no humanas.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!