Encontrando la distribución en OLS

Question

Tengo el siguiente modelo de regresión lineal: $$ Y_i = \beta_0 + \beta_1 x_i + \epsilon_i $$ donde $\epsilon_i$ son variables aleatorias independientes $N(0, \sigma^2)$. Sea $\hat{\beta}_i$ el estimador de mínimos cuadrados ordinarios de los parámetros $\beta_0$ y $\beta_1$ para $i=0,1$. Quiero determinar la distribución de $$ \frac{\hat{\beta}_0 - \beta_0}{\sqrt{s^2 \left( \frac{1}{n} + \frac{\bar{x}^2}{s_{xx}} \right)}} $$ donde $$ s^2 = \frac{1}{n-2} \left( s_{yy} - \frac{s_{xy}^2}{s_{xx}} \right) $$ y $s_{xx}$, $s_{yy}$ y $s_{xy}$ son las sumas de cuadrados y productos cruzados.

Además, quiero derivar un intervalo de confianza del $(1-\alpha)100\%$ para $\beta_0$. ¿Alguien podría ayudarme con los pasos y la derivación?

Answer 1

La varianza de $\hat{\beta}_0$ está dada por: $$ \operatorname{Var}\left(\hat{\beta}_0\right)=\sigma^2\left(\frac{1}{n}+\frac{\bar{x}^2}{s_{x x}}\right) $$ donde $s_{x x}=\sum_{i=1}^n\left(x_i-\bar{x}\right)^2$. El estimador $\hat{\beta}_0$ sigue una distribución normal porque los errores $\epsilon_i$ están normalmente distribuidos. Por lo tanto: $$ \hat{\beta}_0 \sim N\left(\beta_0, \sigma^2\left(\frac{1}{n}+\frac{\bar{x}^2}{s_{x x}}\right)\right) . $$

Para estandarizar $\hat{\beta}_0$, consideramos: $$ \frac{\hat{\beta}_0-\beta_0}{\sqrt{\operatorname{Var}\left(\hat{\beta}_0\right)}}=\frac{\hat{\beta}_0-\beta_0}{\sqrt{\sigma^2\left(\frac{1}{n}+\frac{\bar{x}^2}{s x x}\right)}} \sim N(0,1) \text {. } $$

Dado que no conocemos $\sigma^2$, lo reemplazamos con el estimador no sesgado $s^2$, donde: $s^2=\frac{1}{n-2}\left(s_{y y}-\frac{s_{x y}^2}{s_{x x}}\right)$ y $s_{y y}=\sum_{i=1}^n\left(Y_i-\bar{Y}\right)^2, s_{x y}=\sum_{i=1}^n\left(x_i-\bar{x}\right)\left(Y_i-\bar{Y}\right)$. Por lo tanto, la forma estandarizada se convierte en: $$ \frac{\hat{\beta}_0-\beta_0}{\sqrt{s^2\left(\frac{1}{n}+\frac{\bar{x}^2}{s_{x x}}\right)}} . $$

Bajo el supuesto de errores distribuidos normalmente, esto sigue una distribución $t$ con $n-2$ grados de libertad: $$ \frac{\hat{\beta}_0-\beta_0}{\sqrt{s^2\left(\frac{1}{n}+\frac{\bar{x}^2}{s_{x x}}\right)}} \sim t_{n-2} $$

Un intervalo de confianza del $(1-\alpha) 100 \%$ para $\beta_0$ se deriva de la distribución $t$: $$ \hat{\beta}_0 \pm t_{\alpha / 2, n-2} \cdot \sqrt{s^2\left(\frac{1}{n}+\frac{\bar{x}^2}{s_{x x}}\right)} $$ donde $t_{\alpha / 2, n-2}$ es el valor crítico de la distribución $t$ con $n-2$ grados de libertad en el nivel de significancia $\alpha / 2$.

Por lo tanto, el intervalo de confianza para $\beta_0$ es: $$ \left[\hat{\beta}_0-t_{\alpha / 2, n-2} \cdot \sqrt{s^2\left(\frac{1}{n}+\frac{\bar{x}^2}{s_{x x}}\right)}, \hat{\beta}_0+t_{\alpha / 2, n-2} \cdot \sqrt{s^2\left(\frac{1}{n}+\frac{\bar{x}^2}{s_{x x}}\right)}\right] . $$

Esto proporciona el intervalo de confianza deseado del $(1-\alpha) 100 \%$ para $\beta_0$.