El ciclo virtuoso de la investigación en IA

El ciclo de investigación en IA.

Ver roles abiertos: https://www.deepmind.com/careers/jobs?sort=alphabetical

Recientemente nos pusimos al día con Petar Veličković, un científico investigador en DeepMind. Junto con sus coautores, Petar está presentando su artículo The CLRS Algorithmic Reasoning Benchmark en ICML 2022 en Baltimore, Maryland, EE. UU.

Mi camino hacia DeepMind…

A lo largo de mis cursos de pregrado en la Universidad de Cambridge, la incapacidad para jugar hábilmente al juego de Go se consideraba una clara evidencia de las deficiencias de los sistemas de aprendizaje profundo modernos. Siempre me pregunté cómo el dominio de tales juegos podría escapar del ámbito de lo posible.

Sin embargo, a principios de 2016, justo cuando comencé mi doctorado en aprendizaje automático, todo cambió. DeepMind se enfrentó a uno de los mejores jugadores de Go del mundo en un desafío, que pasé varias noches sin dormir viendo. DeepMind ganó, produciendo un juego revolucionario (por ejemplo, “Movimiento 37”) en el proceso.

• De control de motor a inteligencia encarnada
• En conversación con la IA construyendo mejores modelos de lenguaje
• Mi viaje desde ser pasante de DeepMind hasta mentor

A partir de ese momento, pensé en DeepMind como una empresa que podía hacer que cosas aparentemente imposibles sucedieran. Así que centré mis esfuerzos en unirme a la empresa algún día. Poco después de presentar mi doctorado a principios de 2019, ¡comencé mi camino como científico investigador en DeepMind!

Mi rol…

Mi rol es un ciclo virtuoso de aprender, investigar, comunicar y asesorar. Siempre estoy tratando activamente de aprender cosas nuevas (recientemente Category Theory, una forma fascinante de estudiar la estructura computacional), leer literatura relevante y ver charlas y seminarios.

Luego, utilizando estos conocimientos, hago lluvia de ideas con mis compañeros de equipo sobre cómo podemos ampliar este cuerpo de conocimientos para impactar positivamente en el mundo. A partir de estas sesiones, nacen ideas, y aprovechamos una combinación de análisis teórico y programación para establecer y validar nuestras hipótesis. Si nuestros métodos dan frutos, generalmente escribimos un artículo compartiendo conocimientos con la comunidad en general.

Investigar un resultado no es tan valioso sin comunicarlo adecuadamente y capacitar a otros para que lo utilicen de manera efectiva. Debido a esto, paso mucho tiempo presentando nuestro trabajo en conferencias como ICML, dando charlas y coasesorando a estudiantes. Esto a menudo conduce a establecer nuevas conexiones y descubrir nuevos resultados científicos para explorar, ¡poniendo en marcha el ciclo virtuoso una vez más!

En ICML…

Estamos haciendo una presentación destacada sobre nuestro artículo, The CLRS algorithmic reasoning benchmark, que esperamos apoye y enriquezca los esfuerzos en el área emergente de la reasoning algorítmica neural. En esta investigación, asignamos redes neuronales de grafos para ejecutar treinta algoritmos diversos del libro Introduction to Algorithms.

Muchos esfuerzos de investigación recientes buscan construir redes neuronales capaces de ejecutar cálculos algorítmicos, principalmente para dotarlas de capacidades de razonamiento, que las redes neuronales suelen carecer. Críticamente, cada uno de estos artículos genera su propio conjunto de datos, lo que dificulta seguir el progreso y aumenta la barrera de entrada al campo.

El benchmark CLRS, con sus generadores de conjuntos de datos fácilmente accesibles y código disponible públicamente, busca mejorar estos desafíos. Ya hemos visto un gran nivel de entusiasmo por parte de la comunidad y esperamos canalizarlo aún más durante ICML.

El futuro de la reasoning algorítmica…

El sueño principal de nuestra investigación sobre la reasoning algorítmica es capturar la computación de algoritmos clásicos dentro de ejecutores neuronales de alta dimensión. Esto nos permitiría implementar directamente estos ejecutores sobre representaciones de datos crudos o ruidosos y, por lo tanto, “aplicar el algoritmo clásico” a entradas para las que no fue diseñado para ser ejecutado.

Lo emocionante es que este método tiene el potencial de permitir el aprendizaje por refuerzo con uso eficiente de datos. El aprendizaje por refuerzo está repleto de ejemplos de algoritmos clásicos fuertes, pero la mayoría de ellos no se pueden aplicar en entornos estándar (como Atari), dado que requieren acceso a una gran cantidad de información privilegiada. Nuestro plan permitiría que este tipo de aplicación sea posible al capturar la computación de estos algoritmos dentro de ejecutores neuronales, después de lo cual se pueden implementar directamente sobre las representaciones internas de un agente. Incluso tenemos un prototipo funcional que se publicó en NeurIPS 2021. ¡No puedo esperar para ver qué viene después!

Estoy deseando…

Estoy deseando el taller ICML sobre Colaboración y Trabajo en Equipo entre Humanos y Máquinas, un tema que me apasiona. En esencia, creo que las mayores aplicaciones de la IA surgirán a través de la sinergia con expertos humanos en diversos campos. Este enfoque está muy alineado con nuestro trabajo reciente sobre potenciar la intuición de matemáticos puros utilizando IA, el cual fue publicado en la portada de Nature a finales del año pasado.

Los organizadores del taller me han invitado para participar en una mesa redonda donde se discutirán las implicaciones más amplias de estos esfuerzos. Participaré como ponente junto a un grupo fascinante de panelistas, entre ellos Sir Tim Gowers, a quien admiré durante mis estudios de pregrado en el Trinity College de Cambridge. ¡No hace falta decir que estoy muy emocionado por esta mesa redonda!

Mirando hacia el futuro…

Para mí, las grandes conferencias como el ICML representan un momento para reflexionar sobre la diversidad y la inclusión en nuestro campo. Si bien los formatos de conferencias híbridas y virtuales hacen que los eventos sean accesibles para más personas que nunca, todavía hay mucho más que debemos hacer para que la IA sea un campo diverso, equitativo e inclusivo. Las intervenciones relacionadas con la IA nos afectarán a todos, y debemos asegurarnos de que las comunidades subrepresentadas sigan siendo una parte importante de la conversación.

Por eso mismo, estoy impartiendo un curso sobre Aprendizaje Profundo Geométrico en el African Master’s in Machine Intelligence (AMMI), un tema de mi libro prototipo, que escribí en colaboración recientemente. AMMI ofrece una educación de primer nivel en aprendizaje automático a los investigadores emergentes más brillantes de África, creando un ecosistema saludable de profesionales de IA en la región. Me alegra mucho haber conocido recientemente a varios estudiantes de AMMI que han conseguido pasantías en DeepMind.

También me apasionan enormemente las oportunidades de divulgación en la región de Europa del Este, de donde soy originario y donde adquirí la base científica y la curiosidad necesarias para dominar los conceptos de inteligencia artificial. La comunidad de Aprendizaje Automático de Europa del Este (EEML) es particularmente impresionante: a través de sus actividades, los estudiantes y profesionales aspirantes de la región se conectan con investigadores de clase mundial y reciben valiosos consejos para sus carreras. Este año, ayudé a llevar el EEML a mi ciudad natal, Belgrado, como uno de los principales organizadores del Taller de Aprendizaje Automático de Serbia del EEML. Espero que este sea solo el primero de una serie de eventos para fortalecer la comunidad local de IA y capacitar a los futuros líderes en la región de Europa del Este.

‍

Ver puestos de trabajo disponibles: https://www.deepmind.com/careers/jobs?sort=alphabetical

We will continue to update Zepes; if you have any questions or suggestions, please contact us!