Aprendizaje automático para regresión con datos desequilibrados

AutoML para regresión con datos desequilibrados

Por qué es tan difícil predecir valores atípicos en tu conjunto de datos y qué puedes hacer al respecto

¿Qué es un conjunto de datos desequilibrado?

Muchos conjuntos de datos del mundo real sufren de desequilibrio, donde ciertos tipos de muestras están sobre-representadas en el conjunto de datos, mientras que otras ocurren con menos frecuencia. Algunos ejemplos son:

• Cuando se clasifican las transacciones con tarjeta de crédito como fraudulentas o legítimas, la gran mayoría de las transacciones pertenecerán a la última categoría
• Las lluvias intensas ocurren con menos frecuencia que las lluvias moderadas, pero pueden causar más daño a las personas y la infraestructura
• Cuando se intenta identificar el uso del suelo, hay más píxeles que representan bosques y agricultura que asentamientos urbanos

En esta publicación, nuestro objetivo es brindar una explicación intuitiva de por qué los algoritmos de aprendizaje automático tienen dificultades con los conjuntos de datos desequilibrados, mostrarte cómo cuantificar el rendimiento de tu algoritmo usando evaluación de cuantiles y mostrarte tres estrategias diferentes para mejorar el rendimiento de tu algoritmo.

Conjunto de datos de ejemplo para regresión: viviendas de California

El desequilibrio del conjunto de datos se ilustra a menudo en problemas de clasificación, donde una clase mayoritaria eclipsa a una clase minoritaria. Aquí, nos centramos en la regresión, donde el objetivo es un valor numérico continuo. Vamos a utilizar el conjunto de datos de viviendas de California que está disponible en scikit-learn. El conjunto de datos contiene más de 20,000 muestras de casas con características como la ubicación, el número de habitaciones y dormitorios, la antigüedad de la casa, el metraje cuadrado y el ingreso mediano del vecindario. La variable objetivo es el valor mediano de la vivienda, medido en millones de dólares estadounidenses. Para ver si el conjunto de datos está desequilibrado, trazamos el histograma de la variable objetivo.

• Matemáticas en el Mundo Real Pruebas, Simulaciones y Más
• Cómo diseñar una búsqueda empresarial basada en IA en AWS
• Cuánto tiempo deberías dedicar a la preparación de la entrevista de Ciencia de Datos

We will continue to update Zepes; if you have any questions or suggestions, please contact us!