Introducción
El Análisis de Componentes Principales (PCA) es una técnica estadística fundamental en el análisis de datos multivariados. Su objetivo es reducir la dimensionalidad de un conjunto de datos preservando la mayor cantidad de información posible. Imagina que tienes un dataset con cientos de variables: PCA te ayuda a simplificarlo identificando las direcciones (componentes) donde los datos varían más. Esta técnica es ampliamente utilizada en campos como la genómica, el procesamiento de imágenes y el aprendizaje automático. En este artículo, exploraremos sus fundamentos matemáticos, demostraremos teoremas clave y resolveremos ejercicios prácticos.
Fundamentos Matemáticos
PCA se basa en conceptos de álgebra lineal y estadística. Dado un conjunto de datos $X \in \mathbb{R}^{n \times p}$ con $n$ observaciones y $p$ variables, PCA busca transformar $X$ en un nuevo conjunto de variables no correlacionadas llamadas componentes principales. Estas componentes se obtienen mediante una combinación lineal de las variables originales.
Teorema 1: Descomposición Espectral
Sea $X$ una matriz de datos centrada (media cero). La matriz de covarianza $S = \frac{1}{n}X^TX$ puede descomponerse como:
$$ S = V \Lambda V^T $$
donde $V$ es una matriz ortogonal cuyas columnas son los autovectores de $S$ y $\Lambda$ es una matriz diagonal con los autovalores correspondientes.
Demostración:
Por el teorema espectral, toda matriz simétrica real puede diagonalizarse. Como $S$ es simétrica, existe una base ortonormal de autovectores que forman $V$, y $\Lambda$ contiene los autovalores en orden descendente.
Ejemplo 1: PCA en Datos Bidimensionales
Consideremos un dataset con dos variables $x_1$ y $x_2$:
$$ X = \begin{bmatrix} 1 & 2 \\ 2 & 3 \\ 3 & 4 \end{bmatrix} $$
Pasos para aplicar PCA:
- Centrar los datos: restar la media de cada columna.
- Calcular la matriz de covarianza $S$.
- Encontrar autovalores y autovectores de $S$.
Tras aplicar estos pasos, la primera componente principal será la dirección del autovector asociado al mayor autovalor.
Teorema 2: Varianza Explicada
La varianza explicada por la $k$-ésima componente principal es igual al $k$-ésimo autovalor $\lambda_k$ de $S$. La proporción de varianza explicada por las primeras $m$ componentes es:
$$ \frac{\sum_{i=1}^m \lambda_i}{\sum_{i=1}^p \lambda_i} $$
Demostración:
La varianza total es la traza de $S$, que es igual a la suma de autovalores. Cada autovalor $\lambda_i$ representa la varianza a lo largo de su autovector correspondiente.
Ejercicios Resueltos
Ejercicio 1
Dada la matriz de datos centrados:
$$ X = \begin{bmatrix} -1 & -1 \\ 0 & 0 \\ 1 & 1 \end{bmatrix} $$
Calcula las componentes principales.
Solución:
1. Matriz de covarianza: $S = \frac{1}{3}X^TX = \begin{bmatrix} \frac{2}{3} & \frac{2}{3} \\ \frac{2}{3} & \frac{2}{3} \end{bmatrix}$
2. Autovalores: $\lambda_1 = \frac{4}{3}$, $\lambda_2 = 0$.
3. Primera componente: dirección $(1, 1)^T$.
Ejercicio 2
Para un dataset con matriz de covarianza $S = \begin{bmatrix} 5 & 2 \\ 2 & 2 \end{bmatrix}$, calcula la proporción de varianza explicada por la primera componente.
Solución:
1. Autovalores: $\lambda_1 = 6$, $\lambda_2 = 1$.
2. Proporción: $\frac{6}{6+1} \approx 85.71\%$.
Aplicaciones Prácticas
PCA tiene numerosas aplicaciones:
- Compresión de imágenes: Reducción de dimensionalidad en matrices de píxeles.
- Genómica: Análisis de expresión génica en miles de muestras.
- Finanzas: Identificación de factores de riesgo en mercados.
Para profundizar en aplicaciones estadísticas, visita nuestro artículo sobre aplicaciones estadísticas en ciencia de datos.
Teorema 3: Optimalidad de PCA
Las componentes principales proporcionan la proyección lineal óptima que maximiza la varianza retenida en un subespacio de dimensión $k$.
Demostración:
Sea $W$ una matriz ortonormal. La varianza de los datos proyectados es $tr(W^TSW)$. Maximizar esto sujeto a $W^TW = I$ conduce a los autovectores de $S$.
Conclusión
PCA es una herramienta poderosa para reducir la dimensionalidad y extraer patrones en datos multivariados. Hemos cubierto sus fundamentos matemáticos, demostrado teoremas clave y resuelto ejercicios prácticos. Para aprender más sobre técnicas relacionadas, explora nuestro contenido sobre descomposición en valores singulares.
En resumen:
- PCA transforma datos correlacionados en componentes no correlacionadas.
- Las componentes se ordenan por varianza explicada.
- Tiene amplias aplicaciones en ciencia de datos e ingeniería.
«`