¿Por qué el vector de pesos de "varianza global mínima" es el "vector propio" con el valor propio mínimo?

Question

Pregunta

¿Por qué se da el caso de que el vector de pesos de la cartera global de varianza mínima ¿el vector propio de la matriz de covarianza con el valor propio más pequeño?

Pregunta con más detalles

1. Conozco la relación entre PCA y eigenvector. Si queremos comprimir los datos en 1 dimensión, debemos utilizar Lagrangian con la matriz de covarianza de los datos muestreados.
2. Al hacerlo, podemos encontrar el vector que puede producir la máxima cantidad de varinace de puntos de datos cuando se proyectan en el vector. Este vector se llama el primer componente principal con el mayor valor propio.
3. Puede leer más sobre el significado de los vectores propios en una matriz de covarinace en este entrada del blog
4. Sin embargo, en la cartera de varianza mínima global, lo que queremos hacer es más bien lo contrario a PCA. Queremos encontrar el vector que produce la menor cantidad de varianza cuando los puntos de datos se proyectan sobre la línea. Como tal, no creo que podamos usar el Lagrangiano.
5. Sin embargo, este entrada del blog sigue sosteniendo que el vector de pesos en la varianza mínima global es el vector propio de la matriz de covarianza con el valor propio más pequeño. ¿Puede alguien decirme por qué, por favor?

Answer 1

Tendrá que añadir algunas restricciones para obtener el vector de pesos del vector propio de los valores propios más pequeños, de lo contrario 0 es una solución trivial.

Sin entrar en los detalles del manejo de esas restricciones adicionales, la razón por la que el espacio vectorial asociado al valor propio más pequeño es relevante es porque si expresas la varianza de tu cartera en la base propia, tienes $$\sigma^2=\Sigma_i{\sigma_i^2 \omega_i^2}$$ con $\omega_i$ siendo las coordenadas de su cartera en el espacio propio de la matriz de covarianza.

La prueba de ello es la aplicación directa de la definición de lo que es una base propia. Si W es su vector peso en la base canónica, y $\omega$ el vector de pesos en la base propia. Por definición de la base propia, se tiene la matriz de covarianza $M=P'SP$ con $S$ una matriz diagonal de coeficientes $\sigma_i^2$ y $P$ la matriz de transformación para pasar de la base canónica a la base propia. ( $P'$ es $P$ tranpuesto), es decir $\omega=PW$ . De ahí que tengas: $$\sigma^2=W'MW=W'P'SPW=\omega'S\omega=\Sigma_i\sigma_i^2\omega_i^2$$

Se puede ver que si se intenta minimizar esta variación con $\omega$ desconocido, hay que minimizar una suma de términos positivos con coeficientes positivos. Por lo tanto, el mínimo se alcanza cuando todos son $\omega_i=0$ Si no es posible, entonces asignará algo de peso al número más pequeño posible y ninguno en el resto.

La forma de minimizar una combinación lineal positiva de términos positivos es asignar la mínima cantidad de peso posible al término más pequeño. En cuanto empieces a asignar algo de peso a un término mayor, tendrás un número mayor.