Descodificación de datos bursátiles a partir de C++

Question

Como práctica, he querido analizar los datos de la bolsa e intentar construir un algoritmo de libro de órdenes por mi cuenta. He encontrado algunos datos de muestra de NYSE: ftp://ftp.nyse.com/Real%20Time%20Data%20Samples/NYSE%20XDP/ .

Intenté usar tcpdump para leer los datos pcap. Sin embargo, eso no obtiene los datos de mercado subyacentes. ¿Alguien tiene sugerencias sobre cómo podría analizar el archivo pcap para leer los datos del mercado? Actualmente espero hacer esto en C++ ya que la mayoría de los lugares de comercio de alta frecuencia utilizan C++.

Cualquier sugerencia y recomendación será de gran ayuda. Gracias.

Answer 1

Recomiendo la respuesta de @chrisaycock para completarla. Sin embargo, si quieres una forma rápida y sucia de extraer la carga útil, usarías tshark en lugar de tcpdump :

tshark -r NYSE_XDP_IMB_2.2.pcap -T fields -e data

Esto puede ser útil a veces porque muchas bolsas (NASDAQ, Australia y SIX Swiss me vienen a la mente) suelen enviarle muestras históricas con sólo la carga útil.

Por ejemplo, si quieres transcodificar tu directorio lleno de pcaps de NASDAQ a su ejemplo de formato binario paralelizado a través de 40 núcleos, sólo necesitas una línea mágica:

find . -maxdepth 1 -name "*.pcap" | xargs -I {} -P40 sh -c 'tshark -r {} -T fields -e data | cut -c 41- | xxd -r -p > `basename {} .pcap`.bin'

Answer 2

He creado un ejemplo de cómo acceder a los paquetes UDP en un archivo pcap .

Lo esencial es que hay que saltarse las cabeceras Ethernet / IP / UDP para llegar a la carga útil. Eso es lo que se pasa a su controlador de alimentación.

En cuanto a tcpdump, no te pasará la carga útil, pero sigue siendo útil para verificar que entiendes el contenido al analizarlo. Por ejemplo..,

tcpdump -r NYSE_XDP_IMB_2.2.pcap -e