¿Cómo evaluar correctamente los rendimientos del backtest?

Question

¿Se evalúa una estrategia en un backtest basándose en los rendimientos acumulados generados por la estrategia (es decir, mirando los rendimientos acumulados de las operaciones que se producen) o se empieza con una determinada cantidad de dólares y se mira el efectivo al final para calcular el rendimiento anualizado. La razón por la que pregunto es porque cosas como el dimensionamiento de la posición y la adición de la posición a una determinada operación son mucho más fáciles de hacer cuando se empieza con una cantidad de dólares en una cartera.

Suelo considerar una estrategia como una colección de operaciones con puntos de entrada y salida concretos. Si se utilizan múltiples puntos de entrada y salida para cada señal (añadiendo o quitando posiciones para cada señal) es mucho más fácil calcular los rendimientos por operación si se mira una cantidad de dólares que se invirtió debido a cada señal.

He visto que se utilizan ambos enfoques y personalmente prefiero utilizar los rendimientos en lugar de empezar con una cantidad de dólares. Sólo tengo curiosidad por saber cómo lo enfoca la gente y por qué.

Answer 1

Yo diría que depende de lo cerca que quieras estar de la realidad y de lo que suponga la estrategia.

Por ejemplo, un escenario en el que la moneda real tiene sentido es cuando se quiere tener en cuenta el tamaño de los contratos y los límites de posición, por ejemplo, los contratos de futuros agrícolas casi siempre imponen un límite de posición para una parte en uno o todos los contratos. Por otro lado, si su estrategia quiere invertir, digamos, todos los rendimientos en uno o varios de estos contratos, la estrategia fracasará, bueno, no en el backtest, sino en el mundo real.

Representar en términos de rentabilidad límites duros como el tamaño de los contratos, los límites de las posiciones, el movimiento mínimo de los ticks, etc., es imposible o, en el mejor de los casos, cuestionable.

Estoy seguro de que este escenario no se aplica a usted, ya que obviamente puede ir con cualquier enfoque, sólo quiero señalar esto a otras personas que pueden tener una pregunta similar en un contexto diferente.

Answer 2

http://www.portfolioprobe.com/2010/11/05/backtesting-almost-wordless/ muestra un ejemplo de cómo los resultados de un backtest pueden ser engañosos. Esto sería cierto tanto con los rendimientos como con el valor.

La cuestión principal es que la cartera con la que se empieza puede influir en lo que significa "bueno".

Answer 3

No damos a las estrategias una cantidad en dólares durante el backtesting, sino que el backtesting muestra cuánto capital sería necesario para desplegar con éxito una estrategia. Tampoco nos fijamos sólo en los rendimientos, sino en muchas métricas diferentes que incluyen, pero no se limitan a, la reducción máxima, la varianza de las reducciones, el número de operaciones, el período de mantenimiento, la correlación (o la falta de ella) con varios índices, la relación de Sharpe, las comisiones pagadas, la rotación de acciones y otras numerosas medidas de varianza. Considero que el dimensionamiento de la posición es un problema algo distinto que actualmente no abordamos por completo en el momento del backtesting. Puede haber tamaños máximos de posición que una estrategia puede utilizar para una oportunidad determinada, pero a menudo esto depende en cierta medida del valor que se negocia.

Answer 4

Creo que su pregunta puede referirse a la diferencia entre los rendimientos ponderados por el tiempo y los rendimientos ponderados por el dólar. La única ventaja que veo en el uso de una cantidad en dólares es la de simplificar los cálculos de reducción. Tanto los rendimientos ponderados en dólares como los ponderados en el tiempo son necesarios para evaluar una estrategia, especialmente cuando se compara con una estrategia de la competencia. Ignorar las detracciones mirando una cantidad inicial en dólares y una cantidad final en dólares se convertirá en un problema cuando se quiera apalancar la estrategia y puedan producirse llamadas de margen.

Answer 5

@hroptatyr, @Steve, @Tal Fishman, y otros aquí han aludido al principal problema de evaluar los backtests. Primero tenemos que definir lo que constituye un backtest que no es más que la capacidad de simular la actividad del mercado y cómo se comportarían las instrucciones específicas (algo) en ese entorno. Se supone que la simulación reconstruye de la mejor manera posible cómo se habría comportado el mercado en ese momento. La simulación a nivel de ticks es la forma más precisa de hacerlo, pero los datos de ms, segundos y minutos son cada vez menos precisos, pero más rápidos de procesar. Una estrategia en la que la sincronización intradía puede ser capaz de salirse con la suya con el backtesting de minutos, pero lo más probable es que tenga que utilizar al menos el intervalo de segundos como mínimo para simular adecuadamente lo que habría sucedido .

Entonces hay que saber lo que se supone que hace el sistema de algo. En otras palabras, ¿De qué categoría es la especulación? (por ejemplo, comercio de noticias, arbitraje, comercio de valor, distribuidor, etc.) ¿Realmente el algo se desempeña (ejecuta sus funciones) como se anuncia? . Muchos inversores que no son realmente propietarios del algo (caja negra) o que no tienen conocimiento de cómo funcionan las entradas (caja gris) sólo tendrán los resultados habituales del backtest (patrimonio, total de operaciones, ratios de sharpe, etc.). Existe un conflicto de intereses estructural: sólo espera que los resultados en vivo sean similares sin saber por qué fue rentable. Es fácil sucumbir sesgo de selección de la muestra sin cubrir lo básico.

Entonces puede determinar el capital inicial adecuado y ver si los rendimientos netos de los costes de negociación estimados hacen que merezca la pena.