¿Cuál es la respuesta de los libros de texto a la multicolinealidad?

Question

Recientemente he tenido problemas en entrevistas, para dos puestos de comercio cuantitativo, al dar respuestas poco convincentes a la misma pregunta (bastante básica). Me gustaría entender, desde una perspectiva cuantitativa, lo que me estoy perdiendo acerca de la multicolinealidad.

La pregunta parte del supuesto de que tienes una cartera de activos grande (digamos n=1000 acciones). Si no recuerdo mal, se prepara una matriz de covarianzas (presumiblemente de los rendimientos de los precios). La implicación es que muchos de estos rendimientos están correlacionados. La pregunta es, básicamente, ' ¿cuál es el problema y cómo se soluciona? '.

Sea $X\in \mathbb{R}^{m\times n}$ representan la matriz formada por la concatenación de los vectores de los rendimientos de cada acción observados a lo largo de $m$ tiempos.

1. Mi respuesta a "¿Cuál es el problema?":

Si los rendimientos están correlacionados, entonces hay cierta "redundancia" en la matriz $X$ (en el caso extremo, cuando una serie de rendimientos es idéntica a otra, la matriz está subdeterminada). Creo que la implicación es X es nuestra matriz de características, y estamos tratando con un modelo de regresión lineal. De ahí que nos preocupe el impacto de invertir la matriz $X^\top X$ . Si tenemos una multicolinealidad perfecta, no se puede invertir; si sólo tenemos cierta multicolinealidad, el ajuste será deficiente, lo que dará lugar a grandes errores/inestabilidad en nuestras estimaciones de $\beta$ .

2. Mi respuesta a "¿Cómo se soluciona?":

Regularización: el modelo tiene "demasiadas" características y debemos dar prioridad a las más informativas. La regularización L1, en particular, nos permite penalizar las soluciones con muchas características y simplificar el modelo (conservando la interpretabilidad), por lo que podríamos utilizar una regresión LASSO en su lugar. También se puede utilizar la regularización L2, pero en general no reduce el número de características.

Por desgracia, no creo que estas respuestas sean de manual, así que me encantaría recibir algunas aclaraciones:

• ¿Se trata siquiera de una pregunta sobre el ajuste de modelos? ¿O se trata realmente de matrices de varianza-covarianza, riesgo de cartera y/o gestión financiera al estilo CAPM?
• Un entrevistador sugirió utilizar el ACP en lugar de la regularización. No estoy seguro de por qué eso sería superior, ya que los componentes principales no se corresponden con las acciones originales que tenía en su cartera).
• ¿Se aplica esto a otros modelos, que no implican invertir $X^\top X$ ¿o sólo regresión lineal?

Answer 1

Como sugirió uno de los entrevistadores, la respuesta esperada comienza con PCA y SVD .

Antes de detallarlo, tomemos un párrafo sobre la forma en que usted parece "malinterpretar" el problema: sugiriendo que LASSO o Ridge están fuera de su alcance. En efecto, estas técnicas se basan en la penalización de una función de pérdida y en esta pregunta: ¿Dónde está la función de pérdida que pretende penalizar?
Yo sería el entrevistador, una respuesta así me asustaría más que el candidato no proponiendo PCA.

No obstante, aciertas en el hecho de que esta colinealidad hace que la inversión de $X^T X$ (en $N^2$ ) imposible porque no es de rango completo .
Al no ser de rango completo hay que operar en el ortogonal de su Kernel, y la forma de identificar el kernel es diagonalizar la matriz y trabajar en el ortogonal de su núcleo .
¿Qué significa? Obtiene la versión diagonal de $X^T X=P\Delta P^{-1}$ y tenga en cuenta que $P^{-1}=P^T$ . Porque los rendimientos de $K$ son colineales, debería tener $K-1$ ceros en los valores propios de $\Delta$ que son sus valores diagonales.
Mira la operación de multiplicar $X^T X$ por un vector $v$ (sea lo que sea): $$X^T X\cdot v=P\Delta P^T \cdot v = P\cdot\big(\Delta(vP)^T\big).$$ Trabajar en la ortogonal del núcleo" significa que cuando se "gira" la obra por $P$ el último $k-1$ componentes de su vector $v$ cara ceros. Corresponden al último $K-1$ componentes de $P$ .
Esto significa que puede eliminar con seguridad estas coordenadas: Puede invertir su matriz, si es necesario, en el espacio abarcado por la matriz $N-K+1$ primeros componentes del ACP .

Numéricamente ya que $X$ es en general rectangular con muchas más filas que columnas, es bueno utilizar un Descomposición en valores singulares (SVD). Evita que se invierta un $N$ por $N$ matriz. Trata directamente la matriz rectangular.

En la práctica, no es tan fácil porque encuentras muchos valores propios muy pequeños: ¿son ceros o no? es una pregunta complicada. Mi consejo es conseguir este código Python en scickit-learn , quedarme sólo con la primera parte y probar (la última vez que lo comprobé conseguía obtener rentabilidades de acciones de yahoo finance).
Existen diferentes enfoques para abordar esta cuestión: el primero consiste en hacer algo de econometría identificar los valores que son colineales y sustituirlos por una "cartera equivalente" (o simplemente quedarse con uno de ellos), que equivale a situar su problema en la ortogonal de los rendimientos colineales. La segunda es basarse en Teoría de matrices aleatorias que le dirá cómo " retractil "los valores propios del $X^T X$ Matriz.

Una última observación sobre su propuesta LASSO, está lejos de ser estúpida desde el punto de vista de la construcción de carteras. Puedes echar un vistazo a Bruder, Benjamin, Nicolas Gaussel, Jean-Charles Richard y Thierry Roncalli. " Regularización de la asignación de carteras ." Disponible en SSRN 2767358 (2013). Explica muy claramente cómo la mayoría de las penalizaciones en la construcción de carteras tienen sentido . Sin embargo, no es la respuesta que primero se espera, porque abre la puerta a preguntas sofisticadas sobre la construcción de carteras. Especialmente en una entrevista, pero también en la práctica, hay que empezar por establecer un modelo de referencia, antes de intentar algo más complicado.