¿Cómo demostrar que el estimador GLS es consistente en el modelo de regresión?

Question

$$\mathbf Y=\mathbf X\beta + \mathbf U$$ $$\mathbf E[\mathbf U\mathbf U']=\Omega $$

$$\hat \beta - \beta=(\mathbf X'\Omega^{-1}\mathbf X)^{-1}\mathbf X'\Omega^{-1}\mathbf U$$

dejar $\mathbf X^{*}=\Omega^{-0.5}\mathbf X$ y $\mathbf U^{*}=\Omega^{-0.5}\mathbf U$ . es evidente que $\mathbf u^{*}_i$ que es el elemento i-ésimo de $\mathbf U^{*}$ es iid sigue la distribución normal estándar, si suponemos que $\mathbf U$ sigue una distribución normal. Pero $x_i^{*'}$ la fila i-ésima de $\mathbf X^{*}$ no es necesariamente independiente, ya que es la combinación lineal de todas las filas de $\mathbf X$ (que se supone iid para que representen observaciones de la misma distribución).

Por lo tanto, lo que sigue no es necesariamente cierto bajo la Ley del Gran Número independiente y el Teorema Central del Límite:

1. $plim\frac{\mathbf X'\Omega^{-1}\mathbf U}{n}=plim\frac{\mathbf X^{*'}\mathbf U^{*}}{n}= plim\frac{1}{n}\Sigma x_i^{*}u_i^{*} =0$

2. $\frac{\mathbf X'\Omega^{-1}\mathbf U}{\sqrt n}=\frac{\mathbf X^{*'}\mathbf U^{*}}{\sqrt n}= \frac{1}{\sqrt n}\Sigma x_i^{*}u_i^{*} $ converge a la distribución normal

Entiendo que cuando $\mathbf \Omega $ es una matriz diagonal, entonces $x_i^{*}$ es independiente y no es un problema, lo que si cuando $\mathbf \Omega $ no es una matriz diagonal? ¿Qué tipo de LLN y CLT dependientes se pueden aplicar aquí? ¿Debemos hacer otras suposiciones?

Answer 1

Si los regresores son estrictamente exógeno al término de error (que es el supuesto inicial estándar realizado), lo que significa que si el error vector es independiente de la media del regresor matriz

$$E(\mathbf u \mid \mathbf X) = \mathbf 0$$

entonces la consistencia sigue inmediatamente. Fijar para la conveniencia $\mathbf \Omega ^{-1/2} \equiv \mathbf C$ . Entonces

$$\text{plim}\left(n^{-1} (\mathbf C\mathbf X)'\mathbf u \right)= \text{plim}\left(n^{-1}\mathbf X'\mathbf C'\mathbf u\right)$$

Este es un $k \times 1$ matriz. ¿Cuál sería un elemento típico, digamos el primero?

La matriz $\mathbf C'\mathbf u$ es un $n\times 1$ vectorial,

$$\mathbf C'\mathbf u = \left(\sum_{i=1}^nc_{1i}u_i,..., \sum_{i=1}^nc_{ni}u_i\right)'$$

Mutliplicado por la primera fila de $\mathbf X' = (x_{11}\;...\;x_{1n})$ da

$$\left [\mathbf X'\mathbf C'\mathbf u\right]_1 =x_{11}\cdot \sum_{i=1}^nc_{1i}u_i\;+...\;+ x_{1n}\cdot\sum_{i=1}^nc_{ni}u_i$$

Ahora entra en juego la exogeneidad estricta: es más fuerte y por tanto implica que

$$E(\mathbf u \mid \mathbf X) = \mathbf 0 \implies E(x_{1i}u_j)=0\;\;\forall i,j$$

Así que la anterior suma de sumas, escalada por $n^{-1}$ tenderá a cero asintóticamente, ya que todos los productos de cada suma tenderán a un valor esperado cero. Esto demuestra la consistencia.

Nótese que la exogeneidad estricta es realmente necesaria, para el caso en que la matriz $\Omega$ es una función de los regresores. En tal caso, estaríamos buscando productos de la forma

$$x_{1i}\cdot h(\mathbf x) \cdot u_j$$

lo cual todavía son cero en términos de valor esperado, porque la independencia de la media implica ortogonalidad entre el término de error y cualquier función de los regresores.

Si $\Omega$ no depende de los regresores, entonces podríamos debilitar la exogeneidad estricta a la condición RHS, que es más fuerte que la "descorrelación contemporánea", esta última necesaria para OLS.

Dejo el caso de la normalidad asintótica para quien esté interesado.