Investigadores de Google presentan una biblioteca de código abierto en JAX para el aprendizaje profundo en superficies esféricas

Google presenta la biblioteca de código abierto JAX para el aprendizaje profundo en superficies esféricas

El aprendizaje profundo, un subconjunto del aprendizaje automático, aprende automáticamente representaciones complejas de la entrada. Sus aplicaciones se utilizan en muchos campos, como el reconocimiento de imágenes y voz para el procesamiento del lenguaje, detección de objetos y diagnóstico de imágenes médicas; finanzas para el trading algorítmico y detección de fraudes; vehículos autónomos que utilizan redes neuronales convolucionales para la toma de decisiones en tiempo real; y sistemas de recomendación para contenido personalizado. 

Las redes neuronales convolucionales (CNN) y los transformadores de visión (ViT), dos ejemplos de modelos de aprendizaje profundo para la visión por computadora, analizan señales asumiendo regiones planas. Por ejemplo, las fotografías digitales se presentan como una cuadrícula de píxeles en una superficie plana. Sin embargo, este tipo de datos representa solo una fracción de los diversos datos encontrados en aplicaciones científicas.

No obstante, algunos aspectos podrían mejorarse procesando señales esféricas mediante un enfoque plano. En primer lugar, existe un problema de muestreo, lo que significa que es imposible definir cuadrículas uniformes en una esfera, necesarias para las CNN y los ViT planos, sin una distorsión significativa. En segundo lugar, las rotaciones con frecuencia confunden las señales y los patrones locales en la esfera. Para asegurar que el modelo aprenda las características con precisión, necesitamos la equivariancia a las rotaciones 3D. Como resultado, los parámetros del modelo se utilizan de manera más efectiva y es posible entrenar con menos datos.

• Un sencillo chat de GPT para transmitir claramente tu mensaje a cualquiera, en cualquier momento.
• Investigadores de la Universidad de Manchester presentan MentalLLaMA la primera serie LLM de código abierto para el análisis legible de salud mental con capacidad de seguir instrucciones.
• Desequilibrio de clases y sobre muestreo una introducción formal

Intuitivamente, tanto la predicción de propiedades moleculares como los problemas de pronóstico del clima se beneficiarían de las CNN esféricas. Las propiedades intrínsecas de las moléculas son invariantes a las rotaciones de la estructura 3D (posiciones de los átomos), por lo que las representaciones equivariantes a las rotaciones proporcionarían una forma natural de codificar esta simetría.

Consecuentemente, los investigadores han formulado una biblioteca de código abierto en JAX para el aprendizaje profundo en superficies esféricas. Supera los resultados de última generación en pruebas de predicción de propiedades moleculares y pronóstico del clima, que generalmente se gestionan mediante transformadores y redes neuronales de grafo.

Los investigadores destacaron que esto permite resolver tanto los problemas de muestreo como la robustez a la rotación. Esto se logra aprovechando las operaciones de convolución y correlación cruzada esféricas. Las CNN esféricas ofrecen aplicaciones prometedoras en dos dominios críticos: la investigación médica y el análisis del clima, con el potencial de catalizar avances transformadores para la sociedad.

Las CNN esféricas presentan una ventaja teórica al abordar los desafíos relacionados con la predicción de propiedades químicas y la comprensión de los estados climáticos. Aprovechar las representaciones equivariantes a las rotaciones se vuelve especialmente lógico para capturar las simetrías inherentes de las estructuras moleculares, donde las propiedades permanecen invariantes ante rotaciones 3D (ubicaciones de los átomos).

Dado que los datos atmosféricos se muestran naturalmente en una esfera, las CNN esféricas son adecuadas para esta tarea. También pueden manejar de manera efectiva patrones repetidos en dichos datos en varios lugares y orientaciones.

Los investigadores señalaron que sus modelos superan o igualan a los modelos climáticos neurales basados en CNN tradicionales en varios puntos de referencia de pronóstico del clima. El modelo pronostica los valores de varias variables atmosféricas con seis horas de anticipación, y se muestran los resultados de un entorno de prueba a continuación. Luego, el modelo se evalúa hasta cinco días con anticipación durante el entrenamiento y realiza predicciones hasta tres días con anticipación.

Además, los modelos demuestran un rendimiento excepcional en diversos escenarios de pronóstico del clima, lo que demuestra la efectividad de las CNN esféricas como modelos climáticos neurales en un logro innovador. Este estudio describe las mejores estrategias para escalar las CNN esféricas y proporciona datos reales para respaldar su aplicabilidad en estas aplicaciones particulares.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!