Opiniones sobre plazos para backtesting varían considerablemente. Curioso en qué plazo de tiempo/tamaño de comercio conduce a un resultado estadísticamente significativo. Por ejemplo, ¿qué backtest período razonable para un sistema de comercio de ida y vuelta una vez al día y los resultados en ~250 operaciones por año? Dos años, cinco años, diez años? Intuitivamente me luchan con el problema porque el mercado de caracteres/dirección también los impactos que una de las estrategias de rendimiento, que puede abarcar varios años, por lo que sugieren que el examen debe abarcar varios toro y el oso mercados, entre otras cosas. Así que tratando de encontrar un equilibrio razonable que es práctico, sino también estadísticamente significativa.
Respuestas
¿Demasiados anuncios?
Dave
Puntos
28
Lo que están pidiendo es más de una opinión. En realidad, no hay una respuesta correcta o incorrecta, tal vez.
La precaución con el uso de las estadísticas con el mundo real pruebas retrospectivas es que si algo se ve bien en un parámetro, por ejemplo, ratio de Sharpe, que se verá bien en t-stat, p-valor y casi todo lo demás. La razón principal para backtest es comprobar si hay períodos en la historia cuando las pruebas retrospectivas mostró buenos resultados a pesar de un buen rendimiento en general.
La respuesta quizás depende del período de espera promedio de sus posiciones. Si su estrategia de negociación del período de espera promedio es de 2 meses a 6 meses, incluso si la estrategia de re-equilibrios (o de operaciones) a diario o semanalmente, es mejor usar un largo tiempo, preferentemente de 15 años. Definitivamente son dos de oso y los dos toro mercados. A largo plazo marco pondrá de relieve las debilidades en sus modelos. Si usted está negociando estrategias de corto plazo que el volumen de ventas dentro de 1 semana o menos, alrededor de 7-8 años puede ser suficiente. Para el comercio intra-día o de otras de alta frecuencia de estrategias, que es probablemente su caso, de 3 a 5 años va a hacer. Más de 5 años en realidad puede ser incorrecta para la alta frecuencia de estrategias como el mercado de la microestructura podría haber cambiado.
Para distinguir backtested estrategias que funcionan fuera de la muestra frente a los que no, una cosa mejor podría ser concentrarse en los segmentos de su universo, es decir, la misma estrategia que funciona bien (aunque con menor atractivo) si usted toma partes de su universo (por ejemplo, funciona bien en las grandes acciones de capitalización O sólo funcionan bien en las pequeñas acciones de capitalización, etc.).
Por último, es muy fácil de encontrar estrategias que funcionaron bien durante 20 años y justo cuando empiece a operar, ya no funciona (en la muestra de sesgo). Backtested estrategias que tienden a trabajar fuera de la muestra, en la práctica, también tienen una clara ventaja de que se pueden definir. Pregúntate a ti mismo ¿qué es la asimetría en su estrategia. ¿Su estrategia tiene sentido! Ejemplo, tomar una hipotética regla como "multiplicar el precio por 2.3, agregar 5 y restar sqrt de volumen" - incluso si este backtested bien, no hay ninguna razón para que funcione.
WalterJ89
Puntos
175
Yo no creo que haya un sólido enfoque estadístico, sin hacer algunos arrogante supuestos.
- Debido a que su prueba estadística de la ventana también es la ventana sobre la que usted ha hecho su investigación, su tamaño de la prueba está sesgada en formas que no podemos predecir. Para una prueba estadística fiable para reflejar el elegido $\alpha$, sus datos, no sólo debe cumplir con el estimador de suposiciones, pero es necesario tener pre-especificado su hipótesis nula y alternativa antes de tiempo. Este no es el caso en investigación comercial: intenta $N$ hipótesis, a continuación, ejecute la prueba estadística en el más exitoso de la hipótesis. Si $N>1$, de repente se tiene una prueba de que, fuertemente sesgada hacia mostrando significación estadística de su sistema. Yo también no creo que sea posible conocer la magnitud de este sesgo de la estadística de prueba ya que no es algo que se incrementa linealmente con $N$ (y no puede haber una definición concreta de $N$).
- Usted podría abordar este a alguna pequeña medida , por ejemplo, suponiendo que $\alpha = 0.05$ y hacer algo de Monte Carlo, con Gbm (correlaciones dentro de la subyacente procesos de Wiener) o con cointelated procesos conectado a tu sistema (tenga en cuenta que usted tendrá que conecta estos Gbm en todos los sistemas que he probado, lo que significa que gran gestión de código fuente! Espero que os haya SVN o Github!).
También está el equilibrio entre la potencia estadística y sobreajuste como ampliar su prueba de horizonte, el primero es calculable en virtud de la distribución de la hipótesis y el último no es calculable. Es decir, que su poder es más débil a corto plazo, fomentando conservador de inferencia, pero el sobreajuste temporal de oportunidades (o más probable de ruido) es más de un problema que anima a un error de tipo 1.
Por supuesto, usted necesita para asumir estadístico de estacionariedad, y la ineficiencia que supuestamente han capturado va a durar. Tenga en cuenta que esto implica que su hipótesis nula y alternativa que pondrá a prueba no son las hipótesis que se desea probar.
Si usted no se preocupan por lo anterior, se puede utilizar:
La cantidad de datos necesarios para validar un corto horizonte de la estrategia de comercio?
