Un nuevo estudio de investigación de IA de DeepMind propone dos codificaciones posicionales direccionales y estructurales para grafos dirigidos

Un nuevo estudio de IA de DeepMind propone codificaciones posicionales para grafos dirigidos.

Los modelos Transformer han ganado mucha popularidad recientemente. Estos modelos de redes neuronales siguen las relaciones en la entrada secuencial, como las palabras en una oración, para aprender el contexto y el significado. Con la introducción de modelos como GPT 3.5 y GPT 4, propuestos por OpenAI, el campo de la Inteligencia Artificial y, por lo tanto, el Aprendizaje Profundo, ha avanzado realmente y ha sido tema de conversación. La programación competitiva, la respuesta a preguntas conversacionales, los problemas de optimización combinatoria y las tareas de aprendizaje de gráficos incorporan transformadores como componentes clave.

Los modelos Transformer se utilizan en la programación competitiva para producir soluciones a partir de descripciones textuales. El conocido chatbot ChatGPT, que es un modelo basado en GPT y un modelo de respuesta a preguntas conversacionales muy popular, es el mejor ejemplo de un modelo transformer. Los transformadores también se han utilizado para resolver problemas de optimización combinatoria como el Problema del Viajante de Comercio, y han tenido éxito en tareas de aprendizaje de gráficos, especialmente cuando se trata de predecir las características de las moléculas.

Los modelos Transformer han mostrado una gran versatilidad en modalidades como imágenes, audio, video y gráficos no dirigidos, pero los transformadores para gráficos dirigidos aún carecen de atención. Para abordar esta brecha, un equipo de investigadores ha propuesto dos codificaciones posicionales conscientes de la dirección y la estructura específicamente diseñadas para gráficos dirigidos. El Laplaciano Magnético, una extensión consciente de la dirección del Laplaciano Combinatorio, proporciona la base para la primera codificación posicional propuesta. Los eigenvectores proporcionados capturan información estructural crucial teniendo en cuenta la direccionalidad de las aristas en un gráfico. El modelo transformer se vuelve más consciente de la direccionalidad del gráfico al incluir estos eigenvectores en el método de codificación posicional, lo que le permite representar con éxito la semántica y las dependencias encontradas en los gráficos dirigidos.

• ChatGPT investigado por la Comisión Federal de Comercio por posibles daños
• Conoce Objaverse-XL Un conjunto de datos abierto de más de 10 millones de objetos en 3D.
• Puedes conservar tu trabajo, pero no será el mismo trabajo

Las codificaciones de caminata aleatoria direccional son la segunda técnica de codificación posicional que se ha sugerido. Las caminatas aleatorias son un método popular para explorar y analizar gráficos en los que el modelo aprende más sobre la estructura direccional de un gráfico dirigido al realizar caminatas aleatorias en el gráfico e incorporar la información de la caminata en las codificaciones posicionales. Dado que ayuda a la comprensión del modelo de los enlaces y el flujo de información dentro del gráfico, este conocimiento se utiliza en una variedad de actividades posteriores.

El equipo ha compartido que el análisis empírico ha demostrado cómo las codificaciones posicionales conscientes de la dirección y la estructura han tenido un buen rendimiento en varias tareas posteriores. Las pruebas de corrección de redes de clasificación, que es una de estas tareas, implican determinar si un conjunto particular de operaciones realmente constituye una red de clasificación. El modelo sugerido supera al método anterior de última generación en un 14,7%, según lo medido por el Código de Referencia de Gráficos Abiertos 2, al utilizar la información de direccionalidad en la representación del gráfico de redes de clasificación.

El equipo ha resumido las contribuciones de la siguiente manera:

1. Se ha establecido una conexión clara entre las codificaciones posicionales sinusoidales, comúnmente utilizadas en los transformadores, y los eigenvectores del Laplaciano.

1. El equipo ha propuesto codificaciones posicionales espectrales que se extienden a gráficos dirigidos, proporcionando una forma de incorporar información de direccionalidad en las codificaciones posicionales.

1. Se han ampliado las codificaciones posicionales de caminatas aleatorias a gráficos dirigidos, lo que permite al modelo capturar la estructura direccional del gráfico.

1. El equipo ha evaluado la capacidad predictiva de las codificaciones posicionales conscientes de la estructura para diversas distancias de gráficos, demostrando su efectividad. Han introducido la tarea de predecir la corrección de las redes de clasificación, mostrando la importancia de la direccionalidad en esta aplicación.

1. El equipo ha cuantificado los beneficios de representar una secuencia de declaraciones de programa como un gráfico dirigido y ha propuesto un nuevo método de construcción de gráficos para el código fuente, mejorando el rendimiento predictivo y la robustez.

1. Se ha logrado un nuevo rendimiento de última generación en el conjunto de datos OGB Code2, específicamente para la predicción del nombre de la función, con un puntaje F1 2.85% más alto y una mejora relativa del 14.7%.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!