¿Qué base de datos elegir para almacenar y agregar datos financieros?

Question

Estoy planeando almacenar datos del mercado de valores en tiempo real y agregar ticks para dibujar un gráfico de clúster de volumen. Algo como esto:

Cada tick (o segundo) de datos se agrupará por período (1,5,10 minutos; 1,4,24 horas), tipo (compra, venta) y precio; sumando el volumen. El resultado será algo así:

[
  {timestamp: "2016/01/30 15:04:00", período: "1m", precio: 123.45, compra: 2345, venta: 1998},
  {timestamp: "2016/01/30 15:04:00", período: "1m", precio: 123.46, compra: 3111, venta: 1040},
  {timestamp: "2016/01/30 15:05:00", período: "1m", precio: 123.46, compra: 1421, venta: 3475},
  {timestamp: "2016/01/30 15:05:00", período: "1m", precio: 123.47, compra: 6056, venta: 9138},
]

Para entregar ticks de acciones a la base de datos, utilizaré nats (https://github.com/nats-io/gnatsd). ¿Qué base de datos puedo usar para almacenar y agregar en tiempo real?

Answer 1

Echa un vistazo a Arctic. Es una base de datos Mango DB desarrollada por Man AHL para almacenar sus series temporales financieras. Se dice que es realmente buena. Pero yo aún no la he probado.

Answer 2

Como dijo @Nicholas en un comentario, KX/KDB+ es popular en finanzas para este propósito. En mi opinión, el envío de mensajes directo y la agregación local en la máquina pueden ser el mejor método en este caso.

Answer 3

Hay muchos tipos de bases de datos allá afuera, cada una especializada para diferentes casos de uso. Las principales partes que deberías considerar son:

1. Usar una base de datos de series temporales, ya que pueden manejar datos marcados con marcas de tiempo (por ejemplo, ticks) de manera más eficiente que cualquier solución SQL usando agrupación y otros métodos.
2. Usar una base de datos con un buen lenguaje de consulta, por ejemplo para agregar múltiples valores, calcular máximos y mínimos, etc.

Por lo tanto, la mejor solución en mi opinión actualmente disponible sería InfluxDB. No solo por la API fácil para insertar y consultar datos, sino también por todo el stack de InfluxData.

Answer 4

Apache Cassandra sería una buena opción. Es una tienda de filas particionada, donde las filas se organizan en tablas utilizando una clave de partición.

Es común almacenar datos de series temporales, simplemente podrías usar un identificador y un período como clave de partición. Cassandra está optimizada para escrituras y es fácil de escalar, pero necesitas al menos 3 servidores para que funcione.