Ensamble Apilado para Modelado Predictivo Avanzado con H2O.ai y Optuna

Ensamble Apilado para Modelado Predictivo Avanzado con H2O.ai y Optuna La combinación perfecta

¡Y cómo me clasifiqué en el top 10% en la competencia de aprendizaje automático más grande de Europa con ellos!

Todos sabemos que los modelos de conjunto superan a cualquier modelo individual en el modelado predictivo. Probablemente hayas escuchado sobre Bagging y Boosting como métodos de conjunto comunes, con Bosques Aleatorios (Random Forests) y Máquinas de Reforzamiento de Gradiente (Gradient Boosting Machines) como ejemplos respectivos.

Pero ¿qué pasa si combinamos diferentes modelos bajo un modelo separado de nivel superior? Aquí es donde entran los conjuntos apilados. Este artículo es una guía paso a paso sobre cómo entrenar conjuntos apilados utilizando la popular biblioteca de aprendizaje automático, H2O.

Para demostrar el poder de los conjuntos apilados, proporcionaré un recorrido por todo mi código para entrenar un conjunto apilado de 40 modelos de Redes Neuronales Profundas, XGBoost y LightGBM para la tarea de predicción planteada en la Competencia de Codificación Cloudflight 2023 (Categoría de IA), una de las competencias de codificación más grandes de Europa, ¡donde me clasifiqué en el top 10% en el tablero de clasificación de la competencia en un tiempo de entrenamiento de 1 hora!

Esta guía cubrirá:

• ¿Puede Chat GPT jugar al ajedrez?
• Revisión de Sudowrite ¿Puede la IA escribir una novela que suene humana?
• Destaques y Contribuciones de NeurIPS 2023

1. ¿Qué son los conjuntos apilados y cómo funcionan?
2. Cómo entrenar conjuntos apilados con H2O.ai
3. Comparar el rendimiento de un conjunto apilado versus modelos independientes

1. ¿Qué son los Conjuntos Apilados?

Un conjunto apilado combina predicciones de múltiples modelos a través de otro modelo de nivel superior, con el objetivo de aumentar el rendimiento predictivo general al aprovechar las fortalezas únicas de cada modelo constituyente. Involucra 2 etapas:

Etapa 1: Múltiples Modelos Base

Primero, se entrenan múltiples modelos base de forma independiente en el mismo conjunto de datos de entrenamiento. Estos modelos idealmente deben ser diversos, desde simples regresiones lineales hasta modelos de aprendizaje profundo complejos. La clave es que deben diferir entre sí de alguna manera, ya sea en términos de algoritmo o configuraciones de hiperparámetros.

Cuanto más diversos sean los modelos base, más poderoso será el conjunto apilado resultante. Esto se debe a que los diferentes modelos son capaces de capturar diferentes patrones en los…

We will continue to update Zepes; if you have any questions or suggestions, please contact us!