Conoce T2I-Adapter-SDXL Modelos de Control Pequeños y Eficientes.

'Meet T2I-Adapter-SDXL Small and Efficient Control Models.

Los T2I-Adapters son herramientas plug-and-play que mejoran los modelos de texto a imagen sin requerir un nuevo entrenamiento completo, lo que los hace más eficientes que alternativas como ControlNet. Alinean el conocimiento interno con señales externas para una edición precisa de imágenes. A diferencia de ControlNet, que requiere una gran potencia computacional y ralentiza la generación de imágenes, los T2I-Adapters se ejecutan solo una vez durante el proceso de eliminación de ruido, ofreciendo una solución más rápida y eficiente.

Los parámetros del modelo y los requisitos de almacenamiento ofrecen una imagen clara de esta ventaja. Por ejemplo, ControlNet-SDXL cuenta con 1251 millones de parámetros y 2.5 GB de almacenamiento en formato fp16. En cambio, T2I-Adapter-SDXL reduce significativamente los parámetros (79 millones) y el almacenamiento (158 MB) con una reducción del 93.69% y 94%, respectivamente.

Recientes esfuerzos de colaboración entre el equipo de Diffusers y los investigadores de T2I-Adapters han logrado el soporte para T2I-Adapters en Stable Diffusion XL (SDXL). Esta colaboración se ha centrado en entrenar T2I-Adapters en SDXL desde cero y ha dado resultados prometedores en diversos factores de condicionamiento, incluyendo boceto, canny, arte lineal, profundidad y openpose.

• Grandes Modelos de Lenguaje SBERT
• LLMs y Análisis de Datos Cómo la IA está dando sentido a los grandes datos para obtener información empresarial
• Ingeniería de Aprendizaje Automático en el Mundo Real

El entrenamiento de T2I-Adapter-SDXL se realizó utilizando 3 millones de pares de imágenes y texto de alta resolución de LAION-Aesthetics V2, con ajustes de entrenamiento que especifican 20000-35000 pasos, un tamaño de lote de 128 (paralelo con una GPU única con un tamaño de lote de 16), una tasa de aprendizaje constante de 1e-5 y precisión mixta (fp16). Estos ajustes equilibran velocidad, eficiencia de memoria y calidad de imagen, lo que los hace accesibles para uso comunitario.

La utilización de T2I-Adapter-SDXL dentro del marco de Diffusers se simplifica mediante una serie de pasos. Primero, los usuarios deben instalar las dependencias necesarias, incluyendo los paquetes diffusers, controlnet_aux, transformers y accelerate. A continuación, el proceso de generación de imágenes con T2I-Adapter-SDXL implica principalmente dos pasos: preparar imágenes de condición en el formato de control adecuado y pasar estas imágenes y promts al StableDiffusionXLAdapterPipeline.

En un ejemplo práctico, se carga el Adaptador de Arte Lineal y se realiza la detección de arte lineal en una imagen de entrada. Posteriormente, se inicia la generación de imágenes con promts y parámetros definidos, lo que permite a los usuarios controlar el grado de condicionamiento aplicado a través de argumentos como “adapter_conditioning_scale” y “adapter_conditioning_factor”.

En conclusión, los T2I-Adapters ofrecen una alternativa convincente a los ControlNets, abordando los desafíos computacionales de ajustar modelos pre-entrenados de texto a imagen. Su tamaño reducido, funcionamiento eficiente y facilidad de integración los convierten en una herramienta valiosa para personalizar y controlar la generación de imágenes en diversas condiciones, fomentando la creatividad e innovación en la inteligencia artificial.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!