Este artículo de IA presenta una novedosa clase de objetivos sin simulación para el aprendizaje de modelos generativos estocásticos en tiempo continuo entre distribuciones generales de origen y destino.

Este artículo de IA presenta una nueva clase de objetivos sin simulación para aprender modelos generativos estocásticos en tiempo continuo entre distribuciones generales de origen y destino.

Una potente familia de modelos generativos que puede representar distribuciones complicadas en espacios de alta dimensión son los modelos generativos basados en puntuaciones (SBGMs), que incluyen modelos de difusión. El desarrollo de una densidad de origen, casi siempre gaussiana, se simula comúnmente utilizando SBGMs mediante una ecuación diferencial estocástica (SDE) para producir muestras. Los SBGMs están limitados por su suposición de una fuente gaussiana, que es necesaria para la optimización con el objetivo de eliminación de ruido sin simulación, a pesar de su éxito empírico. El uso de SBGMs para comprender la dinámica subyacente está prohibido ya que esta suposición se rompe con frecuencia en el desarrollo temporal de sistemas físicos o biológicos, como en el caso de los datos de expresión génica a nivel de células individuales.

Los flujos normalizadores continuos (CNFs), también conocidos como modelos generativos basados en flujos, han sido el método de elección para resolver estos problemas. La densidad de origen se transforma en la densidad objetivo utilizando una ecuación diferencial ordinaria (ODE), que se ajusta en modelos basados en flujos bajo la suposición de un proceso generativo determinista continuo en el tiempo. Trabajos anteriores introdujeron objetivos de entrenamiento sin simulación que hacen que los CNFs sean competitivos con los SBGMs cuando se asume una fuente gaussiana, y estos objetivos se extendieron al caso de distribuciones de origen arbitrarias. Los modelos basados en flujos estaban anteriormente limitados por objetivos de entrenamiento basados en simulación ineficientes que requieren una integración costosa de la ODE durante el entrenamiento.

Sin embargo, estos objetivos todavía necesitan cubrir el aprendizaje de dinámicas estocásticas, que podrían ser útiles tanto para la modelización generativa como para recuperar las dinámicas de sistemas reales. El problema del puente de Schrödinger (SB) considera el desarrollo más probable entre una distribución de origen y una distribución objetivo bajo un cierto proceso de referencia. Es la formulación probabilística básica de la asignación estocástica entre dos distribuciones arbitrarias. La modelización de sistemas dinámicos estocásticos naturales, juegos de campo medio y modelización generativa son solo algunos de los problemas para los que se ha utilizado el problema del SB. Normalmente, el problema del SB carece de una solución en forma cerrada, excepto para varias situaciones específicas (como la gaussiana). Sin embargo, se puede aproximar utilizando técnicas iterativas que requieren replicar el proceso estocástico aprendido.

• Un Enfoque Práctico para la Ingeniería de Características en Aprendizaje Automático
• Construyendo una aplicación web completa en los servicios de AWS
• Listas de Python vs. Arrays de NumPy Un análisis detallado sobre la organización en memoria y los beneficios en rendimiento

Aunque teóricamente válido, estos enfoques tienen problemas numéricos y prácticos que solo permiten la escalabilidad en dimensiones altas. Investigadores del Instituto de IA de Mila Québec, Université de Montréal, Universidad McGill, Universidad de Toronto e Instituto Vector estudian el objetivo de coincidencia de puntuación y flujo sin simulación (2M) para el problema del puente de Schrödinger. Los objetivos sin simulación para CNFs y el objetivo de entrenamiento de reducción de ruido para modelos de difusión se generalizan simultáneamente mediante 2M para dinámicas estocásticas y distribuciones de origen arbitrarias, respectivamente. En su enfoque, el puente de Schrödinger se define como la Markovización de una colección de puentes brownianos utilizando una relación entre el problema del SB y el transporte óptimo entrópico (OT).

2M puede beneficiarse de mapeos estáticos de OT entrópico entre distribuciones de origen y objetivo, que se aproximan eficazmente mediante el método Sinkhorn o algoritmos estocásticos en lugar de enfoques dinámicos de SB, que requieren simular una SDE en cada iteración. Utilizan conjuntos de datos simulados y del mundo real para mostrar la utilidad de 2M. En datos artificiales, demuestran que 2M supera a trabajos anteriores comparables en términos de métricas de modelización generativa y descubre una aproximación más precisa al verdadero puente de Schrödinger. Investigaron la modelización de secuencias de medidas transversales (es decir, observaciones de series de tiempo no emparejadas) mediante una sucesión de puentes de Schrödinger como una aplicación a datos reales.

Aunque ha habido varios enfoques anteriores para modelar células con puentes de Schrödinger en entornos estáticos o dinámicos de baja dimensión, 2M es el primer enfoque que puede escalar a miles de dimensiones de genes, ya que su entrenamiento no requiere simulación. También proporcionan un mapa geodésico de variedad estática, ilustrando uno de los primeros usos del mundo real de aproximaciones de puentes de Schrödinger con costos no euclidianos, que mejora las interpolaciones de células en el entorno dinámico. Finalmente, demuestran que, a diferencia del ejemplo estático de transporte óptimo, pueden modelar y reconstruir directamente la red de interacción gen-gen que controla las dinámicas de la célula. El código y ejemplos están disponibles en GitHub.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!