La suma de los residuos en la regresión múltiple es igual a 0

Question

Entiendo que en la regresión múltiple $$\sum_{}^{} X_{i,j}\hat{u}_{i} = 0$$ pero no entiendo cómo mi libro de texto dice que si incluimos el intercepto en la regresión ( $X_{i,0} = 1$ )entonces obtenemos: $$\sum_{}^{} \hat{u}_{i} = 0$$

Answer 1

Completar la notación con los índices $$\forall j: \sum_{i=1}^{n} X_{i,j}\hat{u}_{i} = 0.$$ Como usted dice, si $X_0$ es la constante entonces $$\forall i: X_{i,0} = 1.$$ Introduciendo $j = 0$ en la primera ecuación $$\begin{align*} \sum_{i=1}^{n} X_{i,0}\hat{u}_{i} & = 0 \\ \\ \sum_{i=1}^{n} 1\hat{u}_{i} & = 0 \\ \\ \sum_{i=1}^{n} \hat{u}_{i} & = 0. \end{align*}$$

Answer 2

Cuando se incluye un intercepto, la suma de los residuos en la regresión múltiple es igual a 0.

En la regresión múltiple, $$\hat{y}_i = \beta_0 + \beta_1x_{i,1} + \beta_2x_{i,2} +…+ \beta_px_{i,p}$$ En la regresión por mínimos cuadrados, se minimiza la suma de los cuadrados de los errores. $$SSE=\displaystyle\sum\limits_{i=1}^n \left(e_i \right)^2= \sum_{i=1}^n\left(y_i - \hat{y_i} \right)^2= \sum_{i=1}^n\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^2$$ Tomar la derivada parcial de SSE con respecto a $\beta_0$ y ponerlo a cero. $$\frac{\partial{SSE}}{\partial{\beta_0}} = \sum_{i=1}^n 2\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^1 (-1) = -2\displaystyle\sum\limits_{i=1}^n(y_i-\hat{y_i})=-2\displaystyle\sum\limits_{i=1}^ne_i=0$$ Por lo tanto, cuando se incluye un intercepto, la suma de los residuos en la regresión múltiple es igual a 0.