¿Es correcto este uso de la Ley de los Grandes Números?

Question

En el LLN habitual que he visto, el teorema establece que $1/n \sum u_t \rightarrow^p E(u_t)=\mu$ donde el valor esperado es independiente de t. Sin embargo, no puedo aplicarlo al ejercicio siguiente.

En la imagen, el autor parece estar utilizando $ \displaystyle \frac{1}{n} \sum u_t \rightarrow^p \lim_{n \rightarrow \infty}\frac{1}{n} \sum E(u_t)$

El resultado (3.44) es $Var(\hat u_t^2)=E(\hat u_t^2)=(1-h_t)\sigma^2$ y también es el resultado al que se refieren como "en el ejercicio anterior", y (3.46) es sólo la primera ecuación, sin los plims.

Entonces, ¿qué LLN puedo aplicar?

Se agradecería cualquier ayuda.

Answer 1

¿Son los $\hat{u}_t^2$ ¿Independiente? En caso afirmativo, el resultado es una versión de la ley de los grandes números debida a Kolmogorov, y que trata de procesos independientes (pero no necesariamente idénticamente distribuidos).

Aquí está la declaración formal. Supongamos que $\{u_t\}_{t=1}^{\infty}$ es una secuencia de variables aleatorias independientes de valor real que satisface \begin{equation*} \sum_{t=1}^{\infty}{\dfrac{Var(u_t)}{t^2}}<\infty \end{equation*}

Entonces la variable aleatoria \begin{equation*} \dfrac{1}{n} \sum_{t=1}^{n}{[u_t-\mathbb{E}(u_t)]} \end{equation*} converge a 0 con casi total seguridad.

Edición: la suposición de independencia parece más fuerte de lo necesario, y el siguiente resultado (una versión adaptada de la ley de los grandes números para procesos no independientes) podría ser útil. Si $\sigma_{n,m}=Cov(u_n,u_m)$ existe, y si hay $0< \alpha <1$ y $M \in \mathbb{R}$ tal que $\sigma_{n,m} < M \alpha^{|n-m|}$ para todos $(n,m)$ entonces \begin{equation*} \mathbb{P}(|\dfrac{1}{n}\sum_{t=1}^{n}u_t- \dfrac{1}{n}\sum_{t=1}^{n}\mathbb{E}(u_t)|>\epsilon] < \dfrac{M}{n \epsilon^2} \end{equation*} para cualquier $\epsilon$ .

Answer 2

Una formulación un poco más intuitiva de una condición suficiente para que se cumpla la ley (débil) de los grandes números (que es la asociada a la propiedad de consistencia), para la media de una colección de variables aleatorias no independientes y no idénticamente distribuidas con varianzas y covarianzas finitas, es la siguiente (la "condición de Markov"):

$$\text {Var}\left (\frac 1{n}\sum_{t=1}^n x_t\right) \rightarrow 0 $$

Esto dice simplemente que es suficiente que la varianza de la media va a cero, lo que se intuye. Descomponiendo,

$$\text {Var}\left (\frac 1{n}\sum_{t=1}^n x_t\right) = \frac 1{n^2}\sum_{t=1}^n \text {Var}(x_t) +\frac 1{n^2}\sum_{t\neq s} \text {Cov}(x_t,x_s) \rightarrow 0$$

Como todas las varianzas son finitas, la primera suma es cero. En cuanto a la segunda suma, si cada elemento está correlacionado con todos los demás, independientemente de su número, esta suma (doble) tiene $n^2-n$ elementos estrictamente no nulos, es decir, de orden $O(n^2)$ . Si este es el caso, entonces no lo hace son cero, y la condición suficiente no se cumple.

La forma más fácil de ver esto es suponer que todos los rv están equicorrelacionados: si

$$\text {Cov}(x_t,x_s) = c\;\forall t,s \implies \text {Var}\left (\frac 1{n}\sum_{t=1}^n x_t\right) = \frac 1{n^2}\sum_{t=1}^n \text {Var}(x_t) +\left(1-\frac 1n\right) c\rightarrow c$$

Por cierto, así se puede vislumbrar por qué, con la correlación "todos con todos", la media de la muestra sigue siendo una variable aleatoria independientemente del tamaño de la muestra.

Así que lo que se necesita para obtener el débil $\text{LLN}$ ?

Podemos suponer $m-$ dependencia, es decir, que cada rv está correlacionado sólo con $m$ otros, con $m$ siendo un número fijo. Esto enviará la varianza de la media de la muestra a cero.

Podemos suponer que a medida que aumenta el tamaño de la muestra, el número de covarianzas distintas de cero aumenta con ella, pero no al mismo ritmo: $m(n)/n \rightarrow 0$ .

Si queremos mantener que cada rv está correlacionado con todos los demás (que es el caso del PO ya que se trata de residuos de estimación), entonces llegamos a la condición indicada en la respuesta de @Oliv: tiene un significado intuitivo (y una justificación) como "la covarianza disminuye a medida que aumenta la distancia" sólo cuando hay un ordenamiento natural de la muestra (temporal o espacial). Cuando la muestra es verdaderamente transversal y se pueden reordenar los rv a voluntad, la condición es simplemente matemática.