Suma de residuos y cálculo matricial (paso a paso)

Question

1. Escribe la suma de los residuos en forma de matriz.

Intento: $(y-X\boldsymbol{\beta})^T(y-X\boldsymbol{\beta}) = y^Ty-\boldsymbol{\beta}^TX^Ty-y^TX\boldsymbol{\beta}+\boldsymbol{\beta}^TX^TX\boldsymbol{\beta} = y^Ty-2y^TX\boldsymbol{\beta}+\boldsymbol{\beta}^TX^TX\boldsymbol{\beta}.$

2. Minimice esto y verifique que $\hat{\boldsymbol{\beta}} = (X^TX)^{-1}X^Ty$ .

Intento: $\frac{\partial SSR(\boldsymbol{\beta})}{\partial \boldsymbol{\beta}} = -2y^TX+2X^TX\boldsymbol{\beta} = 0 \rightarrow X^TX\boldsymbol{\beta}=y^TX \rightarrow \hat{\boldsymbol{\beta}} = (X^TX)^{-1}y^TX = (X^TX)^{-1}X^Ty.$

No he estudiado cálculo matricial, así que estoy un poco confundido sobre el paso del cálculo. En el primer problema, ¿podría mostrarme qué regla se utiliza para la primera igualdad en la ecuación. Y en el segundo problema, estoy un poco confundido sobre el primer paso de la diferenciación.

Te agradezco mucho que muestres el cálculo paso a paso.

Answer 1

Dejemos que $\mathbf A,\mathbf B$ sea $m\times n$ matrices (o vectores es $m$ o $n$ es $1$ ), \begin{align} (\mathbf A+\mathbf B)^T&=\mathbf A^T+\mathbf B^T \tag{1}\\ (\mathbf A\mathbf B)^T&=\mathbf B^T\mathbf A^T \tag{2} \end{align}

Así, \begin{align} (\mathbf y-\mathbf X\beta)^T(\mathbf y-\mathbf X\beta)&=(\mathbf y^T-(\mathbf X\beta)^T)(\mathbf y-\mathbf X\beta)\\ &=(\mathbf y^T-\beta^T\mathbf X^T)(\mathbf y-\mathbf X\beta)\\ &=\mathbf y^T(\mathbf y-\mathbf X\beta)-\beta^T\mathbf X^T(\mathbf y-\mathbf X\beta)\\ &=\mathbf y^T\mathbf y-\mathbf y^T\mathbf X\beta-\beta^T\mathbf X^T\mathbf y+\beta^T\mathbf X^T\mathbf X\beta \\ &=\mathbf y^T\mathbf y-2\mathbf y^T\mathbf X\beta+\beta^T\mathbf X^T\mathbf X\beta \tag{3} \end{align} donde la línea 1 utiliza $(1)$ , la línea 2 utiliza $(2)$ y la última línea se deduce del hecho de que $\mathbf y^T\mathbf X\beta$ y $\beta^T\mathbf X^T\mathbf y$ son ambos $1\times1$ escalares.

---

Dejemos que $\mathbf a,\mathbf x$ sea $n\times 1$ vectores y $\mathbf A$ un simétrico $n\times n$ matriz. El cálculo matricial tiene las siguientes reglas: \begin{align} \frac{\mathrm d\ \mathbf a^T\mathbf z}{\mathrm d\ \mathbf z}&=\mathbf a \tag{4} \\ \frac{\mathrm d\ \mathbf z^T\mathbf A\mathbf z}{\mathrm d\ \mathbf z}&=2\mathbf A\mathbf z \tag{5} \end{align}

La aplicación de estos a la diferenciación $(3)$ con respecto a $\mathbf\beta$ obtenemos la condición de primer orden: \begin{equation} -2\mathbf X^T\mathbf y+2\mathbf X^T\mathbf X\beta=0 \end{equation} Resolver para $\beta$ obtenemos la fórmula OLS habitual.