Google AI presenta un novedoso algoritmo de agrupación que combina de manera efectiva los beneficios de escalabilidad de los modelos de incrustación con la calidad de los modelos de atención cruzada.

Google AI presenta un innovador algoritmo de agrupación que une de manera efectiva los beneficios de escalabilidad de los modelos de incrustación con la calidad de los modelos de atención cruzada.

La agrupación sirve como un desafío fundamental y extendido en el ámbito de la minería de datos y el aprendizaje automático no supervisado. Su objetivo es reunir elementos similares en grupos distintos. Hay dos tipos de agrupación: agrupación métrica y agrupación de grafos. La agrupación métrica implica utilizar un espacio métrico específico, que establece las distancias entre varios puntos de datos. Estas distancias sirven como base para agrupar los puntos de datos, siendo el proceso de agrupación dependiente de la separación entre ellos. Por otro lado, la agrupación de grafos emplea un grafo dado que conecta puntos de datos similares a través de aristas. El proceso de agrupación organiza entonces estos puntos de datos en grupos basados en las conexiones existentes entre ellos.

Una estrategia de agrupación implica utilizar modelos de incrustación como BERT o RoBERTa para formular un problema de agrupación métrica. Alternativamente, otro enfoque utiliza modelos de atención cruzada (CA) como PaLM o GPT para establecer un problema de agrupación de grafos. Mientras que los modelos de CA pueden ofrecer puntuaciones de similitud altamente precisas, la construcción del grafo de entrada puede requerir un número cuadrático impracticable de llamadas de inferencia al modelo. Por el contrario, las distancias entre las incrustaciones producidas por modelos de incrustación pueden definir de manera efectiva un espacio métrico.

Los investigadores presentaron un algoritmo de agrupación llamado KwikBucks: Clasificación de Correlación con Señales Débiles-Baratas y Señales Fuertes-Caras. Este innovador algoritmo fusiona de manera efectiva las ventajas de escalabilidad de los modelos de incrustación con la calidad superior que los modelos de CA proporcionan. El algoritmo de agrupación de grafos tiene acceso a consultas tanto al modelo de CA como al modelo de incrustación. Sin embargo, se impone una restricción en el número de consultas realizadas al modelo de CA. Este algoritmo utiliza el modelo de CA para abordar las consultas de aristas y aprovecha el acceso ilimitado a las puntuaciones de similitud del modelo de incrustación.

• OpenAI anuncia su modelo más reciente GPT-4 Turbo
• Los investigadores de Microsoft revelan ‘EmotionPrompt’ mejorando la inteligencia emocional de la IA en múltiples modelos de lenguaje
• Hacia la IA generativa para la arquitectura del modelo

El proceso implica identificar primero un conjunto de documentos conocidos como centros que no comparten aristas de similitud y luego crear grupos basados en estos centros. Se presenta un método llamado el oráculo de similitud combo para equilibrar la información de alta calidad ofrecida por los modelos de atención cruzada (CA) y las operaciones efectivas de los modelos de incrustación.

En esta metodología, se utiliza el modelo de incrustación para guiar la selección de consultas dirigidas al modelo de CA. Cuando se presenta un conjunto de documentos centrales y un documento objetivo, el mecanismo del oráculo de similitud combo genera una salida identificando un centro del conjunto similar al documento objetivo si existe tal similitud. El oráculo de similitud combo resulta valioso para conservar el presupuesto asignado mediante la restricción en el número de llamadas de consulta al modelo de CA durante la selección de centros y la formación de grupos. Esto se logra clasificando inicialmente los centros según su similitud de incrustación con el documento objetivo y posteriormente realizando consultas al modelo de CA para la pareja identificada.

Después de la agrupación inicial, también hay un paso de postprocesamiento posterior en el que los grupos se fusionan. Esta fusión ocurre cuando se identifica una conexión fuerte entre dos grupos, específicamente cuando el número de aristas que conectan supera el número de aristas no encontradas entre los dos grupos.

Los investigadores probaron el algoritmo en varios conjuntos de datos con diferentes características. El rendimiento del algoritmo se probó contra los dos algoritmos de referencia de mejor rendimiento utilizando una variedad de modelos basados en incrustaciones y atención cruzada.

El enfoque propuesto de agrupación de correlación de consultas eficientes solo puede utilizar el modelo de atención cruzada (CA) y las funciones dentro de los límites de agrupamiento presupuestado. Se aplica agrupación espectral utilizando el grafo de vecinos más cercanos (kNN) para lograr esto. Al utilizar la similitud basada en incrustaciones para consultar el modelo de CA para los k vecinos más cercanos de cada vértice, se crea este grafo.

La evaluación implica el cálculo de precisión y recuperación. La precisión cuantifica el porcentaje de pares similares entre todos los pares coagrupados, mientras que la recuperación mide el porcentaje de pares similares coagrupados entre todos los pares similares.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!