¿Por qué la matriz "aniquiladora" no es una matriz cero?

Question

Estoy luchando por entender por qué M no es nulo ya que: $$\mathbf M=IX(XX)^{-1}X=IXX^{-1}X^{-1}X=I-I=[0] $$ ¿Qué está mal con ese razonamiento?

Answer 1

Este es más un pensamiento relacionado que cualquier otra cosa, pero pensé que podría ser útil para las personas que consulten esta pregunta en el futuro. Herr K. debería escribir una respuesta corta y marcarla como aceptada.

Sea $X$ una matriz $n \times k$ con columnas linealmente independientes. Sea $S \equiv \text{span}(X)$.

La regresión puede ser vista como el siguiente problema: Dado un vector de n dimensiones $y \in \mathcal{R}^n$, encontrar el vector en $\hat{y} \in S$ que está más cercano a $y$ -- es decir, $$\hat{y} = \arg\min_{z \in \mathcal{R}^n} ||y - z||$$ Se puede mostrar que la solución a este problema está dada por $$\hat{y} = Py = X (X' X)^{-1} X' y$$ donde nos referimos a la matriz $P = X (X' X)^{-1} X'$ como la "matriz proyectora". Entonces la matriz $M = (I - P)$ te permite obtener los residuos de tu regresión mediante $\hat{u} = (I - P)y = y - \hat{y}$. Como mencionaste, si $X$ es cuadrada entonces $P$ se reduce a la identidad y los residuos son 0. Esto es esclarecedor por varias razones.

• Geométricamente, si $X$ es cuadrada y tiene $n$ columnas linealmente independientes entonces $\text{span}(X)$ es todo $\mathcal{R}^n$. Entonces el problema de proyección se reduce a elegir el vector en $\hat{y} \in \mathcal{R}^n$ que está más cercano a algún vector en $y \in \mathcal{R}^n$. Obviamente, si tu vector proviene del espacio generado por el conjunto, la elección de la distancia mínima sería el propio vector. Vemos esto porque como mostraste $P = I$ en este caso. Luego $M = (I - P) = 0$ lo que significa que tienes 0 residuos y un ajuste perfecto de tus datos.
• Adicionalmente, esto es por qué los economistas empíricos son cuidadosos al "tirar el fregadero" en términos de cuántas variables se incluyen. Si tienes tantas variables linealmente independientes como observaciones entonces puedes obtener una coincidencia perfecta, ya sea que tus variables exógenas estén relacionadas con tus variables endógenas o no.

Answer 2

La inversa de una matriz $X$, $X^{-1}$, está definida solo para matrices cuadradas (es decir, cuando $X$ tiene el mismo número de filas y columnas). En las aplicaciones econométricas típicas, la matriz de datos $X$ suele tener muchas más filas (observaciones) que columnas (regresores). Formalmente hablando, la matriz $X$ en tu definición de $M$ tiene dimensión $n\times k$ pero $n\ne k$ (de hecho $n\gg k$), por lo que no es una matriz cuadrada.

Por lo tanto, la segunda igualdad en tu derivación no es válida; en particular, $(X'X)^{-1}\ne X^{-1}(X')^{-1}$, porque $X^{-1}$ y $(X')^{-1}$ no están definidos.