Introducción
La regresión lineal es una de las herramientas más fundamentales en estadística y aprendizaje automático. Permite modelar relaciones entre variables y hacer predicciones basadas en datos observados. Desde predecir precios de viviendas hasta analizar tendencias económicas, sus aplicaciones son vastas. En este artículo, exploraremos los fundamentos matemáticos, demostraremos teoremas clave, resolveremos ejercicios prácticos y discutiremos aplicaciones reales. Si deseas profundizar en conceptos básicos de aritmética, visita Introducción a la Aritmética.
Fundamentos de la Regresión Lineal
La regresión lineal simple modela la relación entre una variable dependiente $y$ y una variable independiente $x$ mediante la ecuación:
Donde $\beta_0$ es el intercepto, $\beta_1$ es la pendiente y $\epsilon$ es el error aleatorio.
El objetivo es encontrar los valores de $\beta_0$ y $\beta_1$ que minimicen la suma de los errores al cuadrado.
Estimación de Parámetros
Los parámetros $\beta_0$ y $\beta_1$ se estiman usando el método de mínimos cuadrados:
Teorema 1: Estimadores de Mínimos Cuadrados
Los estimadores $\hat{\beta}_0$ y $\hat{\beta}_1$ que minimizan $\sum (y_i – \hat{y}_i)^2$ están dados por:
$$ \hat{\beta}_1 = \frac{\sum (x_i – \bar{x})(y_i – \bar{y})}{\sum (x_i – \bar{x})^2} $$
$$ \hat{\beta}_0 = \bar{y} – \hat{\beta}_1 \bar{x} $$
Demostración:
Derivamos la función de pérdida $L = \sum (y_i – \beta_0 – \beta_1 x_i)^2$ respecto a $\beta_0$ y $\beta_1$, igualamos a cero y resolvemos el sistema de ecuaciones.
Ejercicios Resueltos
Ejercicio 1: Calcular $\hat{\beta}_0$ y $\hat{\beta}_1$
Dados los puntos $(1, 2), (2, 3), (3, 5)$, encuentra la línea de regresión.
Solución:
Calculamos $\bar{x} = 2$, $\bar{y} = \frac{10}{3}$.
$\hat{\beta}_1 = \frac{(1-2)(2-\frac{10}{3}) + \dots}{(1-2)^2 + \dots} = \frac{4/3}{2} = \frac{2}{3}$.
$\hat{\beta}_0 = \frac{10}{3} – \frac{2}{3} \cdot 2 = 2$.
La línea es $y = 2 + \frac{2}{3}x$.
Teorema 2: Propiedades de los Estimadores
Bajo los supuestos clásicos, $\hat{\beta}_0$ y $\hat{\beta}_1$ son estimadores insesgados:
$$ E[\hat{\beta}_0] = \beta_0 $$
$$ E[\hat{\beta}_1] = \beta_1 $$
Demostración:
Usando linealidad del valor esperado y $E[\epsilon] = 0$.
Aplicaciones Prácticas
La regresión lineal se usa en:
- Economía: Predecir PIB basado en inversión.
- Medicina: Relacionar dosis de fármaco con respuesta.
- Marketing: Estimar ventas en función de gasto publicitario.
Para más sobre análisis de datos, consulta Análisis de Datos Básico.
Teorema 3: Distribución de los Estimadores
Si $\epsilon \sim N(0, \sigma^2)$, entonces:
$$ \hat{\beta}_1 \sim N\left(\beta_1, \frac{\sigma^2}{\sum (x_i – \bar{x})^2}\right) $$
Demostración:
$\hat{\beta}_1$ es combinación lineal de normales, luego es normal.
Conclusión
La regresión lineal es una herramienta poderosa con fundamentos matemáticos sólidos. Hemos cubierto estimación, propiedades y aplicaciones. Dominar estos conceptos es esencial para avanzar en estadística y ciencia de datos.
«`