La suma de los residuos en la regresión múltiple es igual a 0

Question

Entiendo que en la regresión múltiple $$\sum_{}^{} X_{i,j}\hat{u}_{i} = 0 $$ pero no entiendo cómo mi libro de texto dice que si incluimos el intercepto en la regresión ( $X_{i,0} = 1$ )entonces obtenemos: $$\sum_{}^{} \hat{u}_{i} = 0$$

Answer 1

Completar la notación con los índices $$ \forall j: \sum_{i=1}^{n} X_{i,j}\hat{u}_{i} = 0. $$ Como usted dice, si $X_0$ es la constante entonces $$ \forall i: X_{i,0} = 1. $$ Introduciendo $j = 0$ en la primera ecuación $$ \begin{align*} \sum_{i=1}^{n} X_{i,0}\hat{u}_{i} & = 0 \\ \\ \sum_{i=1}^{n} 1\hat{u}_{i} & = 0 \\ \\ \sum_{i=1}^{n} \hat{u}_{i} & = 0. \end{align*} $$

Answer 2

Cuando se incluye un intercepto, la suma de los residuos en la regresión múltiple es igual a 0.

En la regresión múltiple, $$ \hat{y}_i = \beta_0 + \beta_1x_{i,1} + \beta_2x_{i,2} +…+ \beta_px_{i,p} $$ En la regresión por mínimos cuadrados, se minimiza la suma de los cuadrados de los errores. $$ SSE=\displaystyle\sum\limits_{i=1}^n \left(e_i \right)^2= \sum_{i=1}^n\left(y_i - \hat{y_i} \right)^2= \sum_{i=1}^n\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^2 $$ Tomar la derivada parcial de SSE con respecto a $\beta_0$ y ponerlo a cero. $$ \frac{\partial{SSE}}{\partial{\beta_0}} = \sum_{i=1}^n 2\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^1 (-1) = -2\displaystyle\sum\limits_{i=1}^n(y_i-\hat{y_i})=-2\displaystyle\sum\limits_{i=1}^ne_i=0 $$ Por lo tanto, cuando se incluye un intercepto, la suma de los residuos en la regresión múltiple es igual a 0.