Investigadores de LinkedIn y UC Berkeley proponen un nuevo método para detectar fotos de perfil generadas por IA.

LinkedIn and UC Berkeley researchers propose a new method to detect AI-generated profile photos.

La sofisticación de los perfiles falsos ha aumentado junto con la proliferación de medios generados por inteligencia artificial (IA) sintética y de texto a imagen. LinkedIn se asoció con UC Berkeley para estudiar métodos de detección de vanguardia. Su método de detección reciente identifica con precisión las imágenes de perfil generadas artificialmente el 99,6% del tiempo, mientras que solo el 1% de las imágenes genuinas se identifican como falsas.

Se pueden utilizar dos tipos de métodos forenses para investigar este problema. 

• Los métodos basados en hipótesis pueden detectar rarezas en las caras hechas sintéticamente. Los métodos se benefician aprendiendo anomalías semánticas flagrantes. El problema, sin embargo, es que los motores de síntesis capaces de aprendizaje parecen tener estas características.
• Los métodos impulsados por datos, como el aprendizaje automático, pueden distinguir entre caras naturales y caras generadas por computadora. Cuando se presentan imágenes fuera de su área de experiencia, no es raro que un sistema entrenado tenga dificultades para clasificarlas. 

El trabajo propuesto adopta un enfoque híbrido, primero identificando un atributo geométrico único en las caras generadas por computadora y luego utilizando métodos impulsados por datos para medirlo y detectarlo. Este método utiliza un clasificador ligero y de fácil entrenamiento y requiere entrenamiento en un pequeño conjunto de caras sintéticas. Se utilizan cinco motores de síntesis distintos para construir 41.500 caras sintéticas y se utilizan 100.000 imágenes de perfil de LinkedIn reales como datos adicionales.

• El Avance Computacional Ayudará a los Investigadores a Modelar el Clima con Mayor Fidelidad.
• Perro Robot Hace Moonwalk al Estilo MJ Esta Investigación de IA Propone Utilizar Recompensas Representadas en Código como una Interfaz Flexible Entre LLMs y un Controlador de Movimiento Basado en Optimización.
• La IA responsable en Google Research IA para el bien social

Para ver cómo se comparan las imágenes de perfil de LinkedIn reales (disponibles públicamente) con las caras generadas sintéticamente (StyleGAN2), tomaron un promedio de 400 cada una y las pusieron una al lado de la otra. Dado que las fotos reales de las personas son tan diferentes entre sí, la mayoría de las imágenes de perfil son solo tomas genéricas de la cabeza. En comparación, la cara típica de StyleGAN tiene características muy claras y ojos afilados. Esto se debe a que la ubicación ocular y la distancia interocular de las caras de StyleGAN están estandarizadas. Las imágenes de perfil reales suelen centrarse en la parte superior del cuerpo y los hombros, mientras que las caras de StyleGAN se generan generalmente desde el cuello hacia arriba. Querían aprovechar las similitudes y diferencias que existen dentro y entre los grupos sociales.

Para identificar intercambios de rostros deepfake en el conjunto de datos de FaceForensics++, los investigadores combinan un autoencoder variacional de una clase (VAE) con un autoencoder de una clase básica. A diferencia de trabajos anteriores centrados en deepfakes de intercambio de rostros, este trabajo enfatiza las caras sintéticas (por ejemplo, StyleGAN). Los investigadores también utilizan un clasificador considerablemente más simple y fácil de entrenar en un número relativamente pequeño de imágenes sintéticas, mientras que logran un rendimiento general de clasificación comparable.

Utilizando imágenes generadas con Generated.photos y Stable Diffusion, evalúan la capacidad de generalización de los modelos. Las caras generadas por Generated.photos, generadas utilizando una red generativa adversaria (GAN), son relativamente generalizables utilizando su método, mientras que las caras de difusión estables no lo son.

TPR significa “tasa de verdaderos positivos” y mide la identificación exitosa de imágenes falsas como tales. Para calcular la FPR, tome el número de imágenes genuinas etiquetadas incorrectamente como falsas. Los resultados muestran que el método propuesto identifica con precisión solo el 1% (FPR) de las imágenes de perfil de LinkedIn auténticas como falsas, mientras que identifica correctamente el 99,6% (TPR) de las caras sintéticas de StyleGAN, StyleGAN2 y StyleGAN3.

También evalúan el método frente a un modelo de red neuronal convolucional (CNN) de vanguardia utilizado para la clasificación forense de imágenes y descubren que sus métodos funcionan mejor. 

Según el equipo, su método puede ser fácilmente comprometido por un ataque de recorte, lo que es una gran desventaja. Las imágenes generadas por StyleGAN ya están recortadas alrededor de la cara, por lo que este ataque podría llevar a fotos de perfil inusuales. Planean utilizar técnicas avanzadas y pueden ser capaces de aprender representaciones invariantes a la escala y la traducción. 

We will continue to update Zepes; if you have any questions or suggestions, please contact us!