OLS estimador de derivación: de segundo orden, condición para demostrar mínimo global?

Question

En la obtención de nuestros cálculos por mínimos cuadrados ordinarios, que en parte puede diferenciar la suma de los cuadrados de los errores de $\sum_{i=1}^{n} {e_i^2} = \sum_{i=1}^{n} {(Y_i- \hat{\alpha}-\hat{\beta}X_i )^2}$ con respecto a nuestros estimadores $\hat{\alpha}$ y $\hat{\beta}$ a obtener las siguientes condiciones de primer orden:

$$\frac{\delta SSR}{\delta \hat{\alpha}}= -2\sum_{i=1}^{n} {e_i}=-2\sum_{i=1}^{n} {(Y_i- \hat{\alpha}-\hat{\beta}X_i)}=0$$ $$\frac{\delta SSR}{\delta \hat{\beta}}= -2\sum_{i=1}^{n} {X_i e_i}=-2\sum_{i=1}^{n} X_i {(Y_i- \hat{\alpha}-\hat{\beta}X_i)}=0$$

¿Cómo podemos demostrar que la suma de los cuadrados de los residuos es un mínimo global?

En primer lugar, puedo confirmar que el estado de Hesse se parece a esto?

\begin{array}{cc} 2n & 2\sum_{i=1}^{n}X_i \\ 2\sum_{i=1}^{n}X_i & 2\sum_{i=1}^{n}(X_i)^2 \\ \end{array}

En segundo lugar, ¿cómo puedo demostrar que el determinante de esta Hess es positiva definida, es decir, $ 4[n \sum_{i=1}^{n}(X_i)^2 - (\sum_{i=1}^{n}X_i)^2]>0?$ La presentación tiene cierta semejanza con la fórmula de la varianza de la población, y sé que la varianza debe ser no negativo, pero me pregunto cómo moverse en el. ¿Hay alguna forma de factorise esto? Gracias.

Answer 1

Parece que estás trabajando en la dirección correcta. Multiplicando fuera de los corchetes, es fácil comprobar que $n\sum{X}_i^2 - (\sum{X}_i)^2 = n\sum{(X_i - \bar{X}})^2$ , donde $\bar{X}$ es la media. Como usted mismo manchada, esto es, básicamente, un estándar de la expresión de la varianza. De esto se sigue que $n\sum{X}_i^2 - (\sum{X}_i)^2 > 0$ , siempre que $X_i \neq \bar{X}$ para algún i $$.

Por cierto, también deberá comprobar que una de las segundas derivadas es positivo (es decir $SSR{_{\alpha\alpha}}>0$), que se desprende directamente de su estado de Hesse.

Answer 2

Las condiciones que se derivan de garantizar que $(\hat{\alpha}, \hat{\beta})$ ocurrir donde ESS es localmente minimizado. Desde nuestras estimaciones son únicos, es decir, no existe un único vector de parámetros que satisface nuestro primer orden condiciones, sabemos que el parámetro seleccionado vector que minimiza la función objetivo en el interior del espacio de parámetros.

Para determinar si este es un mínimo global, se podría comparar la ESS debajo de nuestras estimaciones para el límite de puntos. Para una regresión lineal simple como lo he descrito, el espacio de parámetros es $\mathbb{R}^2$, y por lo tanto es ilimitado por lo $(\hat{\alpha}, \hat{\beta})$ a nivel mundial minimiza la ESS. En contraste, si la había, por ejemplo, la restricción de que un parámetro no negativo, la comprobación de la condición de contorno sería relevante para la determinación de un mínimo global de la ESS.