Cálculo del error estándar

Question

Consideremos un modelo de regresión de la forma

$y_{i} = \alpha + \beta_{1}X_{i} + u_{i}$ (1)

Me han dado $var(u_{i}|X_{i}) = 10$ y conozco las estimaciones OLS para $\alpha$ y $\beta$ y utilizando esto tengo que calcular los errores estándar de las estimaciones de los parámetros.

Estoy siguiendo el libro de Hayashi y sé que

$se(b_{k}) = \sqrt(s^{2}(X'X)^{-1}_{kk})$

Dónde $b_{k}$ es la estimación del parámetro de interés. Se $(X'X)^{-1}$ pero lo que me confunde es pasar del modelo dado a expresarlo en notación matricial y que ésta no utilice la varianza del término de error.

Puedo expresar (1) como $Y = X\beta + u$ y como $var(u_{i}|X_{i}) = var(y_{i} - \alpha - \beta_{2}X_{i}|X_{i})$ pero ¿es esto igual a $var(Y - X\beta|X)$ ?

Si es así, puedo expresar $var(u_{i}|X_{i}) = 10$ como $\sigma^{2}I_{n}$ donde $\sigma^{2} = 10$ . Y entonces podría usar el hecho de que

$var(b_{k}|X) = (X'X)^{-1}X' \sigma^{2} I_{n} X(X'X)^{-1}$

Para encontrar los errores estándar de interés.

Answer 1

Tu notación está un poco dispersa, así que voy a intentar estandarizarla para un caso general.

Dejemos que $X$ sea el matriz de regresión (que incluye una columna de 1s para el término de intercepción) y $\beta$ sea el vector de coeficientes a estimar mediante MCO (que incluye el término de intercepción). $Var(u_i|X) = 10 = \sigma^2$ para todos $i$ . Así, los errores son homocedásticos (varianza constante) y la matriz de varianza-covarianza de los errores $\Omega$ tiene entradas diagonales que son todas iguales a $\sigma^2$ . Además, si se asume que los términos de error no están correlacionados serialmente, entonces los términos de covarianza no diagonales $Cov(u_i, u_j|X)$ para todos $i \neq j$ en la matriz de varianza-covarianza $\Omega$ son cero.

Estos son dos de los supuestos estándar de Gauss-Markov utilizados para establecer la BLUEness del estimador OLS. Bajo estos supuestos, $\Omega$ es

$$ E[uu'|X] = \left[ \begin{array}{ccccc} \sigma^2 \\ & \sigma^2 & & \huge0 \\ & & \ddots \\ & \huge0 & & \sigma^2 \\ & & & & \sigma^2 \end{array} \right] = \sigma^2I. $$

Para obtener la varianza de las estimaciones OLS $b = \hat{\beta}$ En primer lugar, hay que tener en cuenta que

$$ \begin{align} b &= (X'X)^{-1}X'y \\ &= (X'X)^{-1}X'(X\beta + u) \\ &= \beta + (X'X)^{-1}X'u \\ \implies b - \beta &= (X'X)^{-1}X'u, \end{align} $$

utilizando $y = X\beta + u$ . Entonces,

$$ \begin{align} Var(b|X) &= E[(b-\beta)(b-\beta)'|X] \\ &= E[(X'X)^{-1}X'u((X'X)^{-1}X'u)'|X] \\ &= E[(X'X)^{-1}X'uu'X(X'X)^{-1}|X] \\ &= (X'X)^{-1}X'E[uu'|X]X(X'X)^{-1}. \end{align} $$

Pero recordemos que derivamos $E[uu'|X] = \sigma^2 I$ a través de la hipótesis de Gauss-Markov de errores esféricos . Así, por sustitución,

$$ \begin{align} Var(b|X) &= (X'X)^{-1}X'E[uu'|X]X(X'X)^{-1} \\ &= (X'X)^{-1}X'(\sigma^2 I)X(X'X)^{-1} \\ &= \sigma^2 (X'X)^{-1} X'X(X'X)^{-1} \\ \implies Var(b) &= \sigma^2 (X'X)^{-1}. \end{align} $$

La desviación estándar de $b$ es simplemente root cuadrada de la varianza, o

$$ sd(b) = \sqrt{\sigma^2 (X'X)^{-1}}. $$

Para encontrar la desviación estándar del $k^{th}$ coeficiente estimado en $b$ , $b_{k}$ simplemente extraemos el $k^{th}$ elemento diagonal de $(X'X)^{-1}$ , denotado como $(X'X)_{kk}^{-1}$ :

$$ sd(b_k) = \sqrt{\sigma^2 (X'X)_{kk}^{-1}}. $$

---

$\sigma^2$ es la varianza (común) de los errores y, por desgracia, este valor no se observa en nuestra muestra. Sin embargo, en su pregunta, parece que este valor se le acaba de dar directamente - es $10$ . Sin embargo, en general, $\sigma^2$ debe estimarse utilizando los datos . Resulta que dados los errores homocedásticos, un estimador insesgado de $\sigma^2$ es

$$ s^2 = \frac{e'e}{n-P}, $$

donde $n$ es el número de observaciones, $P$ es el número de columnas en $X$ y $e = \hat{u}$ es decir, el vector de residuos $y - Xb$ .

Así, el error estándar de $\mathbf{b_k}$ se estima como

$$ \boldsymbol{se(b_k) = \sqrt{s^2 (X'X)_{kk}^{-1}}}, $$

que es el resultado de Hayashi.