Cuando es un MCO del parámetro sin cambios en una submuestra?

Question

Hay una muestra de $n$ observaciones, cada elemento tiene un numéricos $Y$ y $X$ característico. Hay una regresión por MCO sobre la muestra $$ Y = b_0 + b_1 X + \textbf{u}, $$ $\textbf{u}$, siendo el vector de residuos. Supongamos que quitar de observación de la $i$ a partir de la muestra, la restricción a $n-1$ observaciones y correr una regresión por MCO de nuevo, produciendo $$ Y_{-i} = b_0' + b_1' X_{-i} + \textbf{u}'. $$ Subíndice de $_{-i}$ denota que $Y$ y $X$ no son los mismos vectores, como antes, como la observación $i$ es la que falta.

A mí me parece que si la observación i $$ quitamos está en la muestra original de 'regresión', que es si $$ Y_i = b_0 + b_1 X_i, $$ entonces $b_0 = b_0'$ y $b_1 = b_1'$.

Ejemplo: (en código R)

x = c(5,3,4,5,4,4)
y = c(20,15,14,21,10,25)

plot(x,y)
abline(coef(reg))

plot(x[-1],y[-1])

reg1 = lm(y[-1] ~ x[-1])
abline(coef(reg1))

Mis preguntas son:

1) Es cierto, y si sí, ¿cuál es la prueba?
[Me di cuenta de esto, uno en el ínterin, pero se sienten libres para dar una mejor solución.]

2) Es posible que después de la eliminación de una observación (no en la línea de regresión') tenemos

($b_0 = b_0'$ y $b_1 \neq b_1'$) o ($b_0 \neq b_0'$ y $b_1 = b_1'$)?

Answer 1

Creo que he entendido 1). Todavía estoy interesado en 2).

OLS establece $b_0$ y $b_1$ de tal manera que

$$ (b_0 \ \ b_1) = \arg\min_{a_0, a_1} \sum_j \left(Y_j - a_0 - a_1 X_j\derecho)^2. $$ Las condiciones de primer orden son $$ (-2)\sum_j \left(Y_j - b_0 - b_1 X_j\derecho) = 0 $$ y $$ (-2)\sum_j X_j \left(Y_j - b_0 - b_1 X_j\derecho) = 0. $$ Si la observación i $$ es sobre la línea de regresión, a continuación, $$ \begin{align*} \left(Y_i - b_0 - b_1 X_i\derecho) & = 0 \\ \\ X_i\left(Y_i - b_0 - b_1 X_i\derecho) & = 0. \end{align*} $$ Se sigue de esto y el original de la primera de las condiciones de la orden que $$ \begin{align*} (-2)\sum_{j\neq i} \left(Y_j - b_0 - b_1 X_j\derecho) & = 0 \\ \\ (-2)\sum_{j\neq i} X_j\left(Y_j - b_0 - b_1 X_j\derecho) & = 0, \end{align*} $$ cuales son las condiciones de primer orden de la submuestra del OLS problema.

Answer 2

Desde la Q1 ha sido resuelto, me centraré en la Q2. Sí, es posible eliminar un punto de la muestra que no está en la línea de regresión, pero aún los rendimientos de $b_{1}=b_{1}'$ y $b_{0}\ne b_{0}'$. Dichos puntos tienen la propiedad de $x_{j}=\bar{x}$, donde $\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x_{i}$. Estos puntos son conocidos como puntos sin apalancamiento.

Supongamos que $\left(x_{j},y_{j}\right)$ es un punto sin apalancamiento, pero no sobre la línea de regresión, es decir, $x_{j}=\overline{x}$ y $y_{j}\ne\overline{y}$. Sabemos

\begin{align*} b_{1} & =\frac{\sum_{i}\left(x_{i}-\bar{x}\derecho)y_{i}}{\sum_{i}\left(x_{i}-\bar{x}\derecho)^{2}}\\ & =\frac{\sum_{-j}\left(x_{i}-\bar{x}\right)y_{i}+\left(x_{j}-\overline{x}\right)y_{j}}{\sum_{-j}\left(x_{i}-\bar{x}\right)^{2}+\left(x_{j}-\overline{x}\right)^{2}}\\ & =\frac{\sum_ {j}\left(x_{i}-\bar{x}\derecho)y_{i}}{\sum_ {j}\left(x_{i}-\bar{x}\derecho)^{2}}\\ & =\frac{\sum_{-j}\left(x_{i}-\bar{x}_{-j}\right)y_{i}}{\sum_{-j}\left(x_{i}-\bar{x}_{-j}\right)^{2}}\\ & =b_{1}' \end{align*} aquí usamos las condiciones $x_{j}-\overline{x}=0$ y $\overline{x}=\overline{x}_{j}$. Combinado con la condición $\overline{y}\ne\overline{y}_{j}$, no han \begin{align*} b_{0}' & =\overline{y}_{j}-b_{1}'\overline{x}_{j}\\ & \ne\overline{y}-b_{1}\overline{x}\\ & =b_{0} \end{align*}