Datos de mercado en tiempo real de las bolsas: ¿qué debemos tener en cuenta?

Question

Recibimos datos diarios al final del día de un proveedor de datos (es decir, no directamente de una bolsa) y nos sentimos cómodos con ello.

Ahora queremos recibir datos en directo y, tras unas cuantas consultas, nos sentimos tentados de acudir directamente a las bolsas en lugar de a un proveedor.

Obviamente, esperamos que el trabajo de tratar con fuentes en vivo sea diferente al de tratar con archivos CSV (que es lo que normalmente se hace para los datos al final del día), y estamos llevando a cabo nuestra debida diligencia para ver lo que implica recibir/paralizar/almacenar datos en tiempo real.

Preguntas :

• ¿Tienes alguna sugerencia o conoces alguna guía, tutorial o página de consejos sobre lo que hay que hacer si quieres recibir datos en tiempo real?
  Por ejemplo, las páginas del Grupo CME ( enlace ) parecen muy completos, pero espero encontrar algo así como un Alimentación de datos en tiempo real para principiantes .

• ¿Hay alguna razón importante por la que recomiende obtener datos en directo de un proveedor en lugar de hacerlo directamente de las bolsas?

PARA SU INFORMACIÓN:

• nos centramos en los futuros y opciones de productos de renta fija, y necesitamos datos de sólo 2 bolsas (CME Group e ICE),
• Trabajamos principalmente con Python y R, y tenemos codificadores experimentados en C/C++/C# en el equipo,
• no necesitamos ninguna aplicación de interfaz gráfica de usuario para navegar por los datos o para realizar análisis, sólo queremos introducir los datos en nuestra base de datos para que nuestras aplicaciones internas puedan utilizarlos.

Actualización La respuesta de @chollida plantea un punto importante sobre la conectividad: dondequiera que obtengas tus datos de streaming en tiempo real vas a tener que demostrar, hasta cierto punto, que tienes una conexión adecuadamente segura y que tienes una auditoría adecuada sobre la forma en que utilizas esos datos. Así que permítanme añadir otro par de preguntas :

• En el caso de los datos en tiempo real, ¿es la seguridad/conectividad de la red y las obligaciones de cumplimiento/auditoría del uso de datos algo de lo que debemos preocuparnos hasta el punto de considerar la incorporación de un experto en redes al equipo?
• ¿Las obligaciones de seguridad/conectividad de la red y de cumplimiento/auditoría del uso de datos son más fáciles de satisfacer si se toman los datos de un proveedor o de la bolsa?

Answer 1

¿Tienes alguna sugerencia o conoces alguna guía, tutorial o página de consejos sobre lo que hay que hacer si quieres recibir datos en tiempo real?

No encontrará una forma de consumir los datos directamente de las bolsas por varias razones

1. Cada intercambio es diferente, desde el formato hasta la api
2. Es difícil escribir un tutorial, ya que los datos son propiedad de las bolsas y por lo general no pueden salir de su empresa, como se explica en su acuerdo de datos de mercado.
3. Cada fondo suele escribir su propio código para analizar los datos y, como la mayoría de los fondos, lo mantienen en propiedad, por lo que no existe una biblioteca unificada que pueda utilizarse.
4. Una cuestión importante es cómo se van a recibir los datos. Lo normal es que te coloques en cada bolsa de la que quieras recibir datos.

¿Cómo piensas conectarte a la central? ¿Colocar en cada central? ¿Software vpn a cada central?

El otro gran problema es que normalmente las bolsas quieren una garantía de que los datos sólo se utilizan para el propósito que usted dice que es. ¿Qué software está utilizando para rastrear los datos y limitarlos sólo a los ordenadores o individuos cualificados? Las bolsas querrán saberlo.

¿Hay alguna razón importante por la que recomiende obtener datos en directo de un proveedor en lugar de hacerlo directamente de las bolsas?

Sí, lo más importante es que se pueden obtener datos de varias bolsas de esta manera, es decir, si se quiere el NYSE, el NASDAQ y el CBOE, un proveedor puede obtener los datos y fusionarlos todos juntos para usted. También se encargan del cumplimiento de la normativa,

Si no necesita los presupuestos más rápidos posibles, un proveedor le facilita las cosas 100 veces.

Answer 2

Creo que lo importante no es cómo se van a recibir los datos del mercado de N bolsas diferentes, sino cómo se va a normalizar y generalizar en un único protocolo que pueda ser consumido internamente por sus aplicaciones.

Echa un vistazo en CoralMD que tiene un artículo sobre cómo construir un infraestructura de datos de mercado internamente.

Descargo de responsabilidad: Soy uno de los desarrolladores de CoralMD.