Nos gustaría tienda financieros de la garrapata de datos en una base de datos (potencialmente miles de millones de filas) y, a continuación, crear agregados (abierto-alto-bajo-cierre) de la barra de datos de la misma (por ejemplo, 1 minuto o 5 minutos de barras).
Se mencionó que una NoSQL o series de tiempo de la base de datos podría ser una buena opción para esto. ¿Alguien puede dar algún consejo sobre que producto de código abierto podría encajar este requisito mejores.
Nota: el rendimiento de la consulta es muy importante para nosotros.
En nuestra investigación nos encontramos con los siguientes productos (tal vez hay más):
Nos hizo correr una prueba con InfluxDB con alrededor de 10 millones de garrapatas. Por desgracia, la creación de 1min barras fue 3-5 más lento que con una relación de base de datos (es decir, MySQL).
Somos conscientes de que KDB ahora ofrece una versión de 32 bits, pero por desgracia de 32 bits no será suficiente para nuestro caso de uso.
Cualquier consejo se agradece.
EDICIÓN (Septiembre De 2015): también hicimos una prueba con OpenTSDB que parece ser bastante rápida. La importación de 10 mio. los precios tomó cerca de un minuto y la agregación en 1 Min Bares tomó cerca de 5 segundos.
EDICIÓN (Enero De 2017): Más de un año después de la prueba inicial que dio InfluxDB otra oportunidad y resulta que se han hecho progresos enormes en el ínterin. El rendimiento de la escritura es ahora de hasta 2 millones. puntos de datos por segundo (con la versión 1.2)! Ahora hemos decidido integrar InfluxDB en nuestro propio producto AlgoTrader
