Densidad del núcleo de profundidad para la detección de valores atípicos en datos funcionales

Densidad del núcleo de profundidad para la detección de outliers en datos funcionales

 

Introducción

 

En la era actual de conjuntos de datos masivos y patrones de datos intrincados, el arte y la ciencia de detectar anomalías, o valores atípicos, se ha vuelto más matizada. Si bien las técnicas tradicionales de detección de valores atípicos están bien equipadas para lidiar con datos escalares o multivariados, los datos funcionales, que consisten en curvas, superficies o cualquier cosa en un continuo, plantean desafíos únicos. Una de las técnicas innovadoras que se ha desarrollado para abordar este problema es el método de ‘Densidad Kernel Depth’ (DKD).

• Samsung presenta ‘Gauss’ un nuevo modelo de lenguaje de IA para desafiar el reinado de ChatGPT.
• Esta investigación de IA presenta métodos innovadores para adaptar modelos de lenguaje a la diseño de chips
• VoAGI News, 8 de noviembre 5 simples pasos para dominar Python, SQL, Scikit-learn, PyTorch y Google Cloud • SQL para visualización de datos

En este artículo, profundizaremos en el concepto de DKD y sus implicaciones en la detección de valores atípicos para datos funcionales desde el punto de vista de un científico de datos.

 

1. Comprendiendo los Datos Funcionales

 

Antes de adentrarnos en las complejidades de DKD, es fundamental comprender qué son los datos funcionales. A diferencia de los puntos de datos tradicionales que son valores escalares, los datos funcionales consisten en curvas o funciones. Piense en ello como tener una curva completa como una sola observación de datos. Este tipo de datos suele surgir en situaciones en las que se toman mediciones de forma continua a lo largo del tiempo, como curvas de temperatura durante un día o trayectorias del mercado de valores.

Dado un conjunto de datos de n curvas observadas en un dominio D, cada curva se puede representar como:

 

2. El Desafío de la Detección de Valores Atípicos en Datos Funcionales

 

Para datos escalares, podríamos calcular la media y la desviación estándar y luego determinar los valores atípicos en función de los puntos de datos que se encuentren a cierta cantidad de desviaciones estándar de la media.

Para datos funcionales, este enfoque es más complicado porque cada observación es una curva.

Un enfoque para medir la centralidad de una curva es calcular su “profundidad” en relación con otras curvas. Por ejemplo, utilizando una medida simple de profundidad:

Donde n es el número total de curvas.

Aunque lo anterior es una representación simplificada, en realidad los conjuntos de datos funcionales pueden consistir en miles de curvas, lo que dificulta la detección visual de valores atípicos. Formulaciones matemáticas como la medida de profundidad proporcionan un enfoque más estructurado para evaluar la centralidad de cada curva y detectar posibles valores atípicos.

En un escenario práctico, se necesitarían métodos más avanzados, como el Density Kernel Depth, para determinar de manera efectiva los valores atípicos en datos funcionales.

 

3. Cómo Funciona DKD

 

DKD funciona comparando la densidad de cada curva en cada punto con la densidad general de todo el conjunto de datos en ese punto. La densidad se estima utilizando métodos de kernel, que son técnicas no paramétricas que permiten la estimación de densidades en estructuras de datos complejas.

Para cada curva, el DKD evalúa su “extrañeza” en cada punto e integra estos valores en todo el dominio. El resultado es un número único que representa la profundidad de la curva. Los valores más bajos indican posibles valores atípicos.

La estimación de densidad del kernel en el punto t para una curva dada Xi?(t) se define como:

Dónde:

• K (.) es la función de kernel, generalmente una función gaussiana.
• h es el parámetro de ancho de banda.

La elección de la función de kernel K (.) y del ancho de banda h puede influir significativamente en los valores de DKD:

• Función de kernel: Las funciones gaussianas se utilizan comúnmente debido a sus propiedades suaves.
• Ancho de banda: Determina la suavidad de la estimación de densidad. A menudo se emplean métodos de validación cruzada para seleccionar un valor óptimo de h.

 

3. Cálculo de la Profundidad de Curvas de Kernel de Densidad

 

La profundidad de una curva Xi?(t) en relación con todo el conjunto de datos se calcula de la siguiente manera:

Donde:

El valor resultante de DKD para cada curva proporciona una medida de su centralidad:

• Las curvas con valores de DKD más altos son más centrales para el conjunto de datos.
• Las curvas con valores de DKD más bajos son posibles valores atípicos.

 

4. Ventajas de utilizar DKD en el Análisis de Datos Funcionales

 

Flexibilidad: DKD no hace suposiciones fuertes sobre la distribución subyacente de los datos, lo que lo hace versátil para diversas estructuras de datos funcionales.

Interpretación: Al proporcionar un valor de profundidad para cada curva, DKD permite comprender intuitivamente qué curvas son centrales y cuáles son posibles valores atípicos.

Eficiencia: A pesar de su complejidad, DKD es computacionalmente eficiente, lo que lo hace viable para conjuntos de datos funcionales grandes.

 

5. Implicaciones Prácticas

 

Imaginemos un escenario en el que un científico de datos está analizando las curvas de frecuencia cardíaca de los pacientes durante 24 horas. La detección tradicional de valores atípicos podría identificar lecturas ocasionales de frecuencia cardíaca alta como valores atípicos. Sin embargo, con el análisis de datos funcionales utilizando DKD, pueden detectarse curvas de frecuencia cardíaca anormal completa, lo que podría indicar arritmias, proporcionando una visión más holística de la salud del paciente.

 

 Conclusión

 

A medida que los datos continúan creciendo en complejidad, las herramientas y técnicas para analizarlos deben evolucionar al mismo ritmo. La Profundidad de Kernel de Densidad ofrece un enfoque prometedor para navegar por el intrincado paisaje de los datos funcionales, asegurando que los científicos de datos puedan detectar valores atípicos con confianza y obtener conocimientos significativos a partir de ellos. Si bien DKD es solo una de las muchas herramientas en el arsenal de un científico de datos, su potencial en el análisis de datos funcionales es innegable y está allanando el camino para técnicas de análisis más sofisticadas en el futuro.  

[Kulbir Singh](https://www.linkedin.com/in/kulbirsingh8) es un distinguido líder en el ámbito de la analítica y la ciencia de datos, con más de dos décadas de experiencia en Tecnologías de la Información. Su experiencia es multifacética, abarcando liderazgo, análisis de datos, aprendizaje automático, inteligencia artificial (IA), diseño de soluciones innovadoras y resolución de problemas. Actualmente, Kulbir ocupa el cargo de Gerente de Información de Salud en Elevance Health. Apasionado por el avance de la Inteligencia Artificial (IA), Kulbir fundó AIboard.io, una plataforma innovadora dedicada a crear contenido educativo y cursos centrados en IA y la atención médica.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!