Sesgo de especificación - la varianza estimada es un estimador sesgado de la verdadera varianza del término de error

Question

Considere los dos modelos $(a) y = X\beta + u$ donde $X$ es $n \times K$ y b) $y = Z\gamma + \omega$ donde $Z$ es $n \times r$ . Bajo los supuestos clásicos (y $Z$ y $X$ no son estocásticos) si el modelo (a), es decir $y = X\beta + u$ es el verdadero modelo, demuestre que $E(\sigma^{2}_{\omega}) \geq \sigma^2_u$ y explique la implicación de su resultado.

Puedo hacerlo en dos casos cuando $r>k$ (sobreajuste) o cuando $r<k$ (infraajuste).

¿Hay alguna forma corta de hacerlo, sin casos (porque tanto para el overfitting como para el underfitting la varianza está sesgada)? Entonces, lo que pregunto es si se pueden agrupar para que el resultado no dependa de la relación entre $r$ y $k$ ?

Answer 1

Si el modelo $(a) y = X\beta + u$ es verdadera, entonces $\omega = u + X\beta - Z\gamma$ en $(b)$ y la afirmación es la siguiente.

Answer 2

De a) obtenemos $y - \hat{y}_x = M_xy = M_xu$ y de b) $y - \hat{y}_z = M_zy = M_zX\beta + M_zu$ , donde $M_x$ y $M_z$ son las matrices de los residuos (las de la respuesta aceptada de la pregunta que enlazaste) y $\hat{y}_x$ y $\hat{y}_z$ son los valores predichos de y basados en los modelos lineales de who.

La estimación de la varianza es $s_x^2 = \frac{(y - \hat{y}_x)^T(y - \hat{y}_x)}{n-k}$ para el primer modelo y $s_z^2 = \frac{(y - \hat{y}_z)^T(y - \hat{y}_z)}{n-r}$ para el segundo.

Así, $E(s_z^2) = \frac{E[(M_zX\beta + M_zu)^T(M_zX\beta + M_zu)]}{n-r} = \frac{1}{n-r}( E[(M_zX\beta)^T(M_zX\beta)] + E[(M_zX\beta)^T(M_zu)] + E[(M_zu)^T(M_zX\beta)] + E[(M_zu)^T(M_zu)]) = \frac{1}{n-r}( E[(M_zX\beta)^T(M_zX\beta)] + 2E[(M_zX\beta)^T(M_zu)] + E[(M_zu)^T(M_zu)]) = \frac{1}{n-r}( E[||M_zX\beta||_2^2] + 2E[\beta^TX^TM_zu] + E[(M_zu)^T(M_zu)]),$

como $(M_zX\beta)^T(M_zu) = (M_zu)^T(M_zX\beta) = \beta^TX^TM_z^TM_zu = \beta^TX^TM_zu \hspace{.2cm} \in \mathbb{R}.$

Porque $Z, X -$ fijo $||M_zX\beta||_2^2$ y $\beta^TX^TM_z$ son constantes.

Así, $$E(s_z^2) = \frac{1}{n-r}(||M_zX\beta||_2^2 + 2\beta^TX^TM_zE(u) + E(u^TM_zu)) =$$ $$= \frac{||M_zX\beta||_2^2}{n-r} + 0 + \frac{E(u^TM_zu)}{n-r} = \frac{||M_zX\beta||_2^2}{n-r} + \sigma^2 \neq \sigma^2 \hspace{.2cm} in \hspace{.1cm}general.$$