serie de tiempo del sistema de gestión de

Question

Estoy contento de cómo se almacena una sola serie de tiempo, pero de alguna manera nos falta un sistema que engloba todos ellos juntos. Estoy hablando de un par de millones de series de tiempo procedentes de ~50 proveedores de datos y los representa tal vez un millón de contratos.

A mí me parece que los hidrólogos(!) tener un buen marco (KiTSM) pero se necesita UNA gran cantidad de imaginación para aplicar sus (SIG) basado en el sistema financiero de la serie de tiempo.

Me imagino que algo con un completo conjunto de herramientas de línea de comandos para el procesamiento por lotes, una cuidada interfaz web para el etiquetado y la generación personalizada de compilaciones y tal vez algo de permitir a los usuarios suscribirse ciertas compilaciones, así como algunos enlaces de los grandes sistemas, tal vez una de matlab/R/octave/SAS/el-nombre-es el plugin.

Yo no soy especialmente obsesionado con exactamente estas características, mi (diario) flujo de trabajo en detalle:

• horario de recuperación de datos de planes (algo así como tareas programadas (cron jobs) y monitor de ellos, es decir, obtener una lista de series de tiempo que todavía no se han actualizado esta mañana
• obtener todos los ajustes y otras correcciones de series de tiempo
• informar a los grupos de investigación que actualmente usan los de la serie de tiempo para las correcciones
• proporcionar fail-over de series de tiempo/proveedores de datos en la solicitud, por ejemplo, recurrir a la CSI precios de liquidación cuando CME DataMine servicio está abajo

Algo como esto es mejor en las manos de los usuarios finales, ya que probablemente tenga una mejor idea de lo que puede adaptarse a sus necesidades específicas.

Hace una herramienta como esta existen?

Answer 1

Me gusta couchdb + couchapp para esto. Cada unicc es un doc con una referencia a un archivo en algún lugar, y sólo se puede actualizar con los metadatos que se van.

Es bonito porque todos los de su web vistas / interfaces son sólo un puro JavaScript / HTML + js/mapa de reducir la vista. Cada uno es pequeño y autónomo, y no requiere de una aplicación separada se ejecutan en algún lugar.

Además, se construyen algunos puntos de vista para encontrar los conjuntos de datos de acuerdo a sus criterios. Todo lo que es el DESCANSO, por lo que es fácil de conectar una aplicación para la consulta de este.

Para ejecutar una simulación y análisis de puesto de trabajo, de búsqueda de los conjuntos de datos, recoger el derecho de archivos, y ejecutar. Los resultados de la simulación puede ser almacenado en el sofá, con vistas personalizadas para ver los resultados. Porque las entradas son versiones, usted puede almacenar una referencia a una parte de los datos y, a continuación, si la actualización más tarde, el futuro de las búsquedas recoger la versión más reciente, pero los resultados anteriores siguen siendo válidos.

Finalmente, sofá le permite suscribirse a un evento de flujo de actualizaciones. Así que usted puede escribir algo que se escucha muy interesante, actualizaciones / conjuntos de datos y notifica el derecho de las personas muy fácilmente.

Couchdb es bueno para la disponibilidad, pero algunos puro js que las vistas no son muy eficientes. Para aquellos, usted puede escribir nativo de erlang map/reduce funciones que son más rápidos.

Answer 2

Como la mayoría de proyectos de software, su decisión debe basarse en lo que sus investigadores tienen la intención de utilizar la información para. ¿Necesitan mark-to-market en tiempo real o al final del día informes o es sólo para el análisis estadístico? No necesita de oferta y demanda de datos? La garrapata de datos o minutos de bares? Es la base de datos periódica o aperiódica?

Para el análisis estadístico, el formato de los datos debe ser susceptible de S-Plus, R, Matlab, o lo que sea software estadístico utilizado. Para los informes, los datos deben ser almacenados en una columna basada en RDBMS o un kdb-tipo de base de datos. Para las simulaciones, va a depender de lo que las simulaciones que se han escrito en C++, Java?) - un formato binario puede ser más rápido aquí, pero no sería muy portable a otros usos. Usted puede terminar el almacenamiento de sus datos en varios formatos, pero entonces usted tiene que tratar con el mantenimiento de todos los datos de sincronización.

El éxito de su proyecto (se mide por lo que sus datos se utiliza) se dependen totalmente de la facilidad de acceso a sus datos a sus usuarios. Así que, como se trató brevemente, la aptitud de los usuarios hacia el software/datos será un factor en sus decisiones. Hablar a todos los usuarios a evaluar sus necesidades, usted necesita discernir sus requisitos claramente antes de diseñar el proyecto en un sub-dirección óptima.