Visión Probabilística del Análisis de Componentes Principales

Visión Probabilística del Análisis de Componentes Principales' - Probabilistic Perspective of Principal Component Analysis

Variables Latentes, Expectation-Maximization & Inferencia Variacional

Una de las técnicas de reducción de dimensiones más utilizadas en ciencia de datos y aprendizaje automático es el Análisis de Componentes Principales (PCA). Anteriormente, ya hemos discutido algunos ejemplos de aplicación de PCA en un pipeline con Máquina de Vectores de Soporte y aquí veremos una perspectiva probabilística de PCA para proporcionar una comprensión más sólida y completa de la estructura subyacente de los datos. Una de las mayores ventajas de PCA Probabilístico (PPCA) es que puede manejar valores faltantes en un conjunto de datos, lo cual no es posible con PCA clásico. Dado que discutiremos el Modelo de Variables Latentes y el algoritmo Expectation-Maximization, también puedes consultar esta publicación detallada.

¿Qué puedes esperar aprender de esta publicación?

1. Introducción breve a PCA.
2. Elementos matemáticos fundamentales para PPCA.
3. ¿Algoritmo Expectation Maximization (EM) o Inferencia Variacional? ¿Qué usar para la estimación de parámetros?
4. Implementación de PPCA con TensorFlow Probability para un conjunto de datos de juguete.

¡Vamos a sumergirnos en esto!

1. Descomposición en Valores Singulares (SVD) y PCA:

Uno de los conceptos más importantes en Álgebra Lineal es el SVD y es una técnica de factorización para matrices reales o complejas donde, por ejemplo, una matriz (digamos A) puede factorizarse como:

• Aprendizaje por Refuerzo sin Modelo para el Desarrollo de Procesos Químicos
• Herramientas y Agentes de HuggingFace Transformers Práctica
• Error de Calibración Esperado (ECE) – una explicación visual paso a paso

donde U,Vᵀ son matrices ortogonales (la transpuesta es igual a la inversa) y Σ sería una matriz diagonal. A no necesita ser una matriz cuadrada, supongamos que es una matriz N×D, por lo que ya podemos pensar en esto como nuestra matriz de datos con N instancias y D características. U,V son matrices cuadradas (N×N) y (D×D) respectivamente, y Σ será entonces una matriz N×D donde el subconjunto D×D será diagonal y las entradas restantes serán cero.

También conocemos la descomposición de valores propios. Dada una matriz cuadrada (B) que es diagonalizable, se puede factorizar como:

donde Q es la matriz cuadrada N×N cuya columna i-ésima es el vector propio q_i de B, y Λ es la matriz diagonal cuyos elementos diagonales son los valores propios correspondientes.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!