¿Qué tipo de limpieza/limpieza de datos hacen los fondos de cobertura?

Question

Es un hecho bien conocido que varios fondos de cobertura tienen un puñado de doctores sólo para hacer la limpieza de datos. Todo el día. Todos los días.

¿Qué tipo de limpieza de datos están haciendo realmente? ¿Es realmente tan difícil? ¿Qué profundidad tiene este tema? ¿Por qué necesitan doctores para hacerlo?

Answer 1

La limpieza de datos es importante para muchas grandes instituciones:

"Es un hecho conocido que varios fondos de cobertura tienen un puñado de doctores sólo haciendo limpieza de datos" . Tenga en cuenta que muchas grandes instituciones que utilizan una gran cantidad de datos para sus modelos internos (bancos, fondos de pensiones y de cobertura, seguros, etc.) suelen tener su propia división para la limpieza y recopilación de datos. A menudo, para reforzar los modelos cuantitativos internos, las empresas pueden recurrir a datos externos comprados a otra empresa, que necesitan una mayor limpieza para ser fiables.

Emplear una limpieza de datos adecuada es una parte importante de la creación de un modelo/estrategia cuantitativa que funcione, ya que introducir datos ruidosos (mal limpiados) en un modelo cuantitativo siempre dará malos resultados. En mi sincera opinión, No creo que sea necesario ser un doctorado para hacer el trabajo . Sin embargo, hay una gran oferta de desarrolladores cuánticos/técnicos que buscan trabajo en un fondo de cobertura. Por lo tanto, los fondos de cobertura pueden ser selectivos y contratar a "los mejores de los mejores" para el trabajo, que suelen ser los doctores.

---

Un ejemplo de un procedimiento de limpieza sencillo:

He proporcionado un ejemplo rápido de un procedimiento de limpieza de datos para una mejor comprensión.

Cuando se trabaja con datos bursátiles de alta frecuencia (TAQ) (es decir, datos bursátiles intradía), es necesario limpiarlos antes de que los datos sean útiles. Un procedimiento de limpieza bien conocido se describe en Barndorff-Nielsen et al. (2009). Núcleos realizados en la práctica: Operaciones y comillas. ( véase el apartado 3.1 ), que le proporciona los pasos necesarios para eliminar los valores atípicos, las operaciones anormales, los registros erróneos de las marcas de tiempo y los precios en la base de datos, etc. En el documento, proporcionan un análisis detallado sobre cómo la varianza realizada cambia drásticamente al aplicar más de sus reglas de limpieza de datos especificadas ( ver sección 4. Análisis de datos ). Sin embargo, este procedimiento de limpieza sólo se aplica a los datos bursátiles de alta frecuencia y será diferente cuando tenga que limpiar datos alternativos.

Para concluir la respuesta En este caso, he proporcionado una ilustración gráfica de los datos comerciales depurados frente a los brutos (con ruido) para un solo día arbitrario en el SPY. El procedimiento de limpieza sigue exactamente las reglas proporcionadas en el documento anterior ( haga clic en la foto para obtener una mejor calidad de imagen ):

Vemos cómo el procedimiento de limpieza es capaz de detectar los valores atípicos. Obsérvese también el extraño comportamiento de las operaciones en las horas previas y posteriores al mercado. Esta es la razón principal del paso de limpieza, P1.

Answer 2

Hace algunos años trabajaba para una gran institución que no era un fondo de cobertura y me relacionaba con algunas personas que trabajaban principalmente en la limpieza de datos. Voy a compartir algunas observaciones que espero puedan ayudar a entender lo que hacen.

Se centraban en dos tipos de datos: los datos indicativos de los valores (dividendos de las acciones, no vencimientos y cupones), y los datos del mercado (precios, tipos). Creo que hoy en día, los datos "alternativos" (cosas como el número de personas que visitaron un centro comercial concreto en una fecha determinada) también han cobrado mayor protagonismo.

Algunas de las personas que desarrollaron los procesos y procedimientos de limpieza tenían doctorados. Sin embargo, estoy bastante seguro de que nadie que ejecutara los procedimientos operativos los tenía.

Ejemplos típicos de limpieza de datos indicativos: a Bloomberg le falta el identificador local, el plan de amortización, la fórmula exótica del cupón... todo ello debe modificarse en las bases de datos internas.

Ejemplos típicos de limpieza de datos indicativos: algún valor es un valor atípico, según algunos criterios, por lo que es necesario investigarlo con la fuente (proveedor o interna), y posiblemente sustituirlo por un valor "ausente". Un valor "ausente" inesperado debe ser investigado con la fuente y, con suerte, rellenado.

Como ves, estos ejemplos rara vez son cuantitativos, y gran parte de ellos podrían ser sustituidos por IA / automatización.