Optimiza eficazmente tu modelo de regresión con ajuste de hiperparámetros bayesianos

Optimiza tu modelo de regresión con ajuste bayesiano de hiperparámetros

Aprende a optimizar eficazmente los hiperparámetros y evitar crear modelos sobreajustados para XGBoost, CatBoost y LightBoost

Las técnicas de aumento de gradiente como XGBoost, CatBoost y LightBoost han ganado mucha popularidad en los últimos años tanto para tareas de clasificación como de regresión. Una parte importante del proceso es ajustar los hiperparámetros para obtener el mejor rendimiento del modelo. La clave está en optimizar el espacio de búsqueda de hiperparámetros junto con encontrar un modelo que pueda generalizar en nuevos datos no vistos. En este blog, demostraré 1. cómo aprender un modelo de árbol de decisión aumentado de regresión con hiperparámetros optimizados mediante la optimización bayesiana, 2. cómo seleccionar un modelo que pueda generalizar (y no esté sobreajustado), 3. cómo interpretar y explicar visualmente el espacio de hiperparámetros optimizados junto con la precisión del rendimiento del modelo. La biblioteca HGBoost es ideal para esta tarea, ya que realiza, entre otras cosas, una validación cruzada de doble bucle para protegerse contra el sobreajuste.

Una breve introducción.

Los algoritmos de aumento degradado como Extreme Gradient Boosting (XGBoost), Light Gradient Boosting (Lightboost) y CatBoost son algoritmos poderosos de aprendizaje automático de conjuntos para modelado predictivo (tareas de clasificación y regresión) que se pueden aplicar a conjuntos de datos en forma de tablas, continuos y formas mixtas [1,2,3 ]. Aquí me centraré en la tarea de regresión. En las siguientes secciones, entrenaremos un modelo de árbol de decisión aumentado utilizando un bucle de validación cruzada de doble bucle. Dividiremos cuidadosamente el conjunto de datos, configuraremos el espacio de búsqueda y realizaremos la optimización bayesiana utilizando la biblioteca Hyperopt. Después de entrenar el modelo, podemos interpretar los resultados de manera más profunda creando gráficos informativos.

Si necesitas más información de fondo o no estás completamente familiarizado con estos conceptos, recomiendo leer este blog:

Una guía para encontrar el mejor modelo de aumento utilizando la optimización bayesiana de hiperparámetros pero sin…

Los algoritmos de árbol de decisión aumentado pueden superar a otros modelos, pero el sobreajuste es un peligro real. Ajusta tu modelo usando…

towardsdatascience.com

• Aprendizaje automático con efectos mixtos para datos longitudinales y de panel con GPBoost (Parte III)
• Explora el poder de las imágenes dinámicas con Text2Cinemagraph una nueva herramienta de IA para la generación de cinemagraphs a partir de indicaciones de texto
• Introducción práctica a los modelos de Transformer BERT

We will continue to update Zepes; if you have any questions or suggestions, please contact us!