Modelo clásico de regresión lineal

Question

Si se cumplen todos los supuestos (modelo lineal, error medio-cero, homocedasticidad, ausencia de correlación serial y distribución normal), ¿la covarianza entre $\epsilon_{n+1}$ et $\hat{\beta}_{n}$ (el estimador) sea cero?

Sé que el $cov(x_{i},\epsilon_{i})=0$ por la hipótesis de error medio cero y la ley de expectativas iteradas. Y creo que el término de error y el estimador también tienen que estar descorrelacionados. ¿Puede alguien explicarme por qué o quizás derivarlo matemáticamente?

Gracias de antemano

Answer 1

Me gustaría mostrarte una intuición detrás de esto.

Bien, primero piensa en qué hace exactamente la regresión.

En sentido figurado, filtra la variabilidad ( "información" ) del componente aleatorio de alguna variable aleatoria. Lo hace encontrando tal objeto (por ejemplo, línea, plano, hiperplano, etc...) que minimiza la suma de los residuos al cuadrado que son una distancia entre la variable dependiente y este objeto, medida exactamente en unidades de la variable dependiente. En la regresión, este objeto se define de forma paramétrica.

¿Qué significa eso? Usted tiene su parámetro $\hat{\beta_i}$ que es una variable aleatoria, lo que significa que seleccionando un poco de datos diferentes, el resultado sería diferente. Pero aquí está la captura ... Para cada realización de $\hat{\beta_i}$ tendrías un conjunto de realizaciones de los residuos $\hat{e}$ . Si se toman nuevos datos de alguna población, sólo se cambia 1 valor de $\hat{\beta_i}$ sino tantos valores de residuos como el número de datos que utilice. Por lo tanto, si se cambian los datos, se cambian los residuos y el parámetro. ¿Están por tanto correlacionados por provenir del mismo proceso de generación? Bueno, no exactamente...

Ilustración: Considere la configuración en la que tiene un modelo de regresión simple $y = \beta_0 + \epsilon$ y se toma repetidamente la muestra de 2 datos de la población que contiene $n$ . Y en cada muestra se realiza la regresión. Ver a continuación:

Como puede ver, para dos parámetros dados arbitrariamente $\hat{\beta_i}$ puede obtener residuos similares (ver dos pares de puntos rojos o dos pares de puntos azules). Cambian al azar a medida que cambia el parámetro. Así, $\hat{\beta_i}$ y $\hat{e}$ son independientes