Introducción
La regresión es una de las herramientas más poderosas en el análisis de datos y el aprendizaje automático. Desde la regresión lineal básica hasta modelos más sofisticados como la regresión logística o los modelos de efectos mixtos, estas técnicas permiten entender relaciones complejas entre variables y hacer predicciones precisas. En este artículo, exploraremos modelos avanzados de regresión, sus fundamentos matemáticos y aplicaciones prácticas en campos como la economía, la medicina y la ingeniería. Si deseas repasar los conceptos básicos, puedes consultar nuestro artículo sobre Introducción a la Regresión Lineal.
Modelos de Regresión Avanzada
1. Regresión Polinómica
La regresión polinómica extiende la regresión lineal al permitir relaciones no lineales entre las variables independientes y dependientes. El modelo se expresa como:
Donde $\epsilon$ es el término de error. Este modelo es útil cuando la relación entre variables no es lineal, como en el crecimiento de poblaciones o en fenómenos físicos.
2. Regresión Logística
La regresión logística se utiliza cuando la variable dependiente es categórica (binaria o multinomial). La función logística (o sigmoide) transforma la salida lineal a un valor entre 0 y 1:
Este modelo es ampliamente usado en medicina para predecir la probabilidad de enfermedades.
3. Modelos de Efectos Mixtos
Los modelos de efectos mixtos combinan efectos fijos y aleatorios, útiles en datos agrupados o jerárquicos. Por ejemplo, en estudios educativos donde los estudiantes están agrupados por escuelas:
Donde $u_j$ es el efecto aleatorio de la escuela $j$.
4. Regresión Ridge y Lasso
Estas técnicas de regularización evitan el sobreajuste en modelos con muchas variables. Ridge añade una penalización $L_2$ y Lasso una penalización $L_1$ a la función de costo:
$$ \text{Lasso: } \min_{\beta} \left( \sum (y_i – X_i \beta)^2 + \lambda \sum |\beta_j| \right) $$
Teoremas Fundamentales
Teorema 1: Teorema de Gauss-Markov
En el modelo de regresión lineal $y = X\beta + \epsilon$, si los errores $\epsilon$ son no correlacionados, con media cero y varianza constante, entonces los estimadores MCO (Mínimos Cuadrados Ordinarios) son MELI (Mejores Estimadores Lineales Insesgados).
Demostración: Bajo las condiciones del teorema, la varianza de cualquier estimador lineal insesgado es mayor o igual que la de MCO. Esto se deriva de la optimización de la matriz de covarianza.
Teorema 2: Consistencia de MCO
Si los errores son i.i.d. con $E(\epsilon|X) = 0$ y $E(\epsilon^2|X) = \sigma^2$, entonces los estimadores MCO son consistentes: $\hat{\beta} \xrightarrow{p} \beta$.
Demostración: Usando la Ley de Grandes Números y el supuesto de exogeneidad, se muestra que $\frac{X’X}{n} \xrightarrow{p} Q$ y $\frac{X’\epsilon}{n} \xrightarrow{p} 0$, lo que implica la consistencia.
Teorema 3: Propiedades de Lasso
Bajo ciertas condiciones de dispersión, Lasso selecciona correctamente las variables relevantes con probabilidad tendiendo a 1 cuando $n \to \infty$.
Demostración: Se basa en la optimalidad de las condiciones KKT y la restricción de la norma $L_1$ que favorece la esparsidad.
Ejercicios Resueltos
Ejercicio 1: Regresión Polinómica
Ajusta un modelo cuadrático a los datos $(1,2), (2,3), (3,5), (4,8)$.
Solución: El modelo es $y = \beta_0 + \beta_1 x + \beta_2 x^2$. Resolviendo el sistema normal $X’X \beta = X’y$:
La solución es $\beta = (1.5, -0.5, 0.5)$, luego $y = 1.5 – 0.5x + 0.5x^2$.
Ejercicio 2: Regresión Logística
Dados los datos $(1,0), (2,0), (3,1), (4,1)$, estima $\beta_0$ y $\beta_1$ en el modelo logístico.
Solución: Maximizando la verosimilitud, iteramos con el método de Newton-Raphson hasta convergencia. Tras 3 iteraciones, obtenemos $\beta_0 = -4.357$ y $\beta_1 = 1.606$.
Ejercicio 3: Regresión Ridge
Para los datos del Ejercicio 1, aplica Ridge con $\lambda = 1$.
Solución: Resolvemos $(X’X + \lambda I)\beta = X’y$:
La solución es $\beta = (1.47, -0.48, 0.49)$, mostrando cómo Ridge reduce ligeramente los coeficientes.
Ejercicio 4: Interpretación de Coeficientes
En un modelo logístico con $\beta_0 = -2$ y $\beta_1 = 0.5$, interpreta el efecto de $x$.
Solución: Un aumento de 1 unidad en $x$ multiplica la razón de probabilidades por $e^{0.5} \approx 1.648$, aumentando la probabilidad de $y=1$.
Ejercicio 5: Selección de Modelo
Compara AIC y BIC para un modelo lineal y uno polinómico de grado 2 con RSS = 15.2 y 12.8 respectivamente (n=30, p=2 y p=3).
Solución:
$$ \text{AIC}_1 = 30 \ln(15.2/30) + 2 \times 2 = -45.3 $$
$$ \text{AIC}_2 = 30 \ln(12.8/30) + 2 \times 3 = -47.1 $$
$$ \text{BIC}_1 = 30 \ln(15.2/30) + \ln(30) \times 2 = -40.1 $$
$$ \text{BIC}_2 = 30 \ln(12.8/30) + \ln(30) \times 3 = -39.8 $$
AIC prefiere el modelo polinómico, mientras BIC prefiere el lineal por su penalización más fuerte a la complejidad.
Aplicaciones Prácticas
Los modelos avanzados de regresión tienen aplicaciones en diversos campos:
- Medicina: Predicción de riesgo de enfermedades usando regresión logística.
- Economía: Modelos de efectos mixtos para datos panel en estudios de crecimiento económico.
- Marketing: Uso de regresión polinómica para modelar respuesta a campañas publicitarias.
- Ingeniería: Optimización de procesos con regresión Ridge/Lasso en presencia de multicolinealidad.
Para profundizar en aplicaciones económicas, visita nuestro artículo sobre Regresión en Econometría.
Conclusión
En este artículo hemos explorado modelos avanzados de regresión, desde técnicas polinómicas hasta métodos de regularización como Ridge y Lasso. Hemos presentado teoremas fundamentales que sustentan estos métodos y resuelto ejercicios prácticos. Estas herramientas son esenciales para el análisis de datos moderno, permitiendo modelar relaciones complejas y hacer predicciones precisas en diversos campos. El dominio de estos conceptos abre puertas a aplicaciones innovadoras en ciencia de datos e investigación cuantitativa.
«`