Considere los dos modelos $ (a) y = X\beta + u $ donde $X$ es $n \times K$ y b) $y = Z\gamma + \omega $ donde $Z$ es $n \times r$ . Bajo los supuestos clásicos (y $Z$ y $X$ no son estocásticos) si el modelo (a), es decir $y = X\beta + u$ es el verdadero modelo, demuestre que $E(\sigma^{2}_{\omega}) \geq \sigma^2_u$ y explique la implicación de su resultado.
Puedo hacerlo en dos casos cuando $r>k$ (sobreajuste) o cuando $r<k$ (infraajuste).
¿Hay alguna forma corta de hacerlo, sin casos (porque tanto para el overfitting como para el underfitting la varianza está sesgada)? Entonces, lo que pregunto es si se pueden agrupar para que el resultado no dependa de la relación entre $r$ y $k$ ?
0 votos
Si se pregunta si la varianza de $w$ se espera que sea mayor que la varianza de $u$ ¿no deberías escribir $\mathrm E [\sigma^2_w] > \mathrm E[\sigma^2_u]$ ?
0 votos
No, porque a) es un modelo verdadero (que se asemeja a la población) y b) es un modelo mal especificado, la dirección de la mala especificación no se da. Por eso he tomado los casos. Pero como en ambos casos la varianza esperada será mayor que la verdadera (estimador sesgado). Por lo tanto, mi pregunta es si se pueden agrupar, es decir, si podemos demostrarlo sin tener en cuenta si r es mayor o menor que K. Si es así, ¿cómo podemos hacerlo?
0 votos
E. Sommer entendió lo que le pedía. Hicieron la edición apropiada de la notación para esa desigualdad.
0 votos
¿Qué quiere decir con que la "varianza está sesgada"? Si se estima $\sigma^2$ por $s^2$ entonces la última variable aleatoria es insesgada para $\sigma^2$ .