Investigadores de Stanford presentan PLATO Un nuevo enfoque de IA para abordar el ajuste excesivo en el aprendizaje automático de alta dimensión y baja muestra con regularización mejorada mediante gráficos de conocimiento.

Investigadores de Stanford presentan PLATO Un nuevo enfoque de IA para abordar el ajuste excesivo en el aprendizaje automático de alta dimensión y baja muestra, con regularización mejorada mediante gráficos de conocimiento.

Un gráfico de conocimiento (KG) es una base de datos basada en gráficos que almacena información como nodos y aristas. Por otro lado, un perceptrón multicapa (MLP) es un tipo de red neuronal utilizado en el aprendizaje automático. Los MLP están compuestos por nodos interconectados dispuestos en múltiples capas. Cada nodo obtiene información de la capa anterior y envía su resultado a la siguiente capa.

Investigadores de la Universidad de Stanford han presentado un nuevo modelo de aprendizaje automático llamado PLATO, que aprovecha un KG para proporcionar información auxiliar sobre el dominio. PLATO regulariza un MLP introduciendo un sesgo inductivo que garantiza que los nodos similares en el KG tengan vectores de peso equivalentes en la primera capa del MLP. Este método aborda el desafío de que los modelos de aprendizaje automático necesiten ayuda con conjuntos de datos tabulares que tienen muchas dimensiones en comparación con las muestras.

PLATO aborda el escenario poco explorado de conjuntos de datos tabulares con características de alta dimensión y muestras limitadas, a diferencia de los métodos de aprendizaje profundo tabular existentes diseñados para configuraciones con más piezas que características. Se distingue de otros modelos tabulares profundos, como NODE y transformadores tabulares, y enfoques tradicionales como PCA y LASSO al introducir un KG para regularización. A diferencia de los métodos de regularización de gráficos, PLATO incorpora nodos de características y no características en el KG. Infiera pesos para un modelo MLP, utilizando el gráfico como un prior para predicciones en un conjunto de datos tabulares distintos.

• Informe Estado de DevOps 2023 Hallazgos Clave e Ideas
• Explicación intuitiva del promedio móvil exponencial
• Este artículo de IA de China presenta UniRepLKNet arquitecturas pioneras de ConvNet de núcleo grande para mejorar el rendimiento multimodal en el análisis de datos de imagen, audio y series temporales.

Los modelos de aprendizaje automático suelen destacarse en entornos ricos en datos, pero necesitan ayuda con conjuntos de datos tabulares donde el número de características supera ampliamente el número de muestras. Esta discrepancia es especialmente evidente en conjuntos de datos científicos, lo que limita el rendimiento del modelo. Los enfoques de aprendizaje profundo tabular existentes se centran principalmente en escenarios con más ejemplos que características, mientras que los métodos estadísticos tradicionales dominan en el régimen de baja cantidad de datos con más características que muestras. Al abordar esto, PLATO, un marco que utiliza un KG auxiliar para regularizar un MLP, permite el aprendizaje profundo para datos tabulares con características > muestras y logra un rendimiento superior en conjuntos de datos con características de alta dimensión y modelos limitados.

Utilizando un KG auxiliar, PLATO asocia cada característica de entrada con un nodo de KG e infiere vectores de peso para la primera capa de un MLP basándose en la similitud de los nodos. El enfoque utiliza múltiples rondas de transmisión de mensajes para refinar las incrustaciones de características. En un estudio de ablación, PLATO demuestra un rendimiento consistente en métodos de incrustación de nodos poco profundos (TransE, DistMult, ComplEx) en el KG. Este método innovador ofrece mejoras potenciales para modelos de aprendizaje profundo en configuraciones tabulares con escasez de datos.

PLATO, un método para datos tabulares con características de alta dimensión y muestras limitadas, supera hasta un 10.19% a 13 puntos de referencia de vanguardia en seis conjuntos de datos. La evaluación del rendimiento implica una búsqueda aleatoria con 500 configuraciones por modelo, informando la media y la desviación estándar de la correlación de Pearson entre los valores predichos y los valores reales. Los resultados confirman la eficacia de PLATO, aprovechando un KG auxiliar para lograr un rendimiento robusto en el desafiante régimen de baja cantidad de datos. El análisis comparativo frente a diversos puntos de referencia destaca la superioridad de PLATO, estableciendo su eficacia en mejorar las predicciones de conjuntos de datos tabulares.

En conclusión, la investigación realizada se puede resumir en los siguientes puntos:

• PLATO es un marco de aprendizaje profundo para datos tabulares.
• Cada característica de entrada se asemeja a un nodo en un KG auxiliar.
• PLATO regula un MLP y logra un rendimiento robusto en datos tabulares con características de alta dimensión y muestras limitadas.
• El marco infiere vectores de peso basados en la similitud de nodos del KG, capturando el sesgo inductivo de que características de entrada similares deben compartir vectores de peso similares.
• PLATO supera a 13 puntos de referencia en hasta un 10.19% en seis conjuntos de datos.
• Se demuestra que el uso de KG auxiliares mejora el rendimiento en regímenes de baja cantidad de datos.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!