Selección óptima de backtesting parámetros

Question

Supongamos que yo backtest algo de estrategia en datos de la muestra mientras que la variación de dos parámetros, digamos $X$ y $Y$. $$ X puede tomar los valores $\{3,6,9,12,15,18\}$ mientras $$ Y puede tomar $\{10,15,20,25,30\}$. Quiero elegir los valores de $X$ y $Y$ para probar la strat de datos de la muestra. Las tablas de sharpe ratios, sortino ratios y max drawdown (dd) son como sigue:

    > sharpe
  No_of_stocks  X3.month  X6.month  X9.month X12.month X15.month X18.month
            10 0.2923854 0.2485804 0.3116992 0.2356674 0.2711520 0.2535123
            15 0.2801226 0.2757317 0.3362495 0.2420944 0.2369459 0.2293062
            20 0.2887139 0.2953232 0.2952627 0.2979134 0.2553015 0.2249027
            25 0.2736581 0.3268325 0.2971468 0.2896665 0.2401743 0.2240485
            30 0.2761537 0.3423867 0.2964909 0.2905532 0.2948999 0.2137761

> sortino
  No_of_stocks  X3.month  X6.month  X9.month X12.month X15.month X18.month
            10 0.4080662 0.3380257 0.4144185 0.3087768 0.3521293 0.3231242
            15 0.4013694 0.3842653 0.4503256 0.3174395 0.3080369 0.3006281
            20 0.4172279 0.4103027 0.3873160 0.3958244 0.3307235 0.2933315
            25 0.3925792 0.4787884 0.3940304 0.3848995 0.3095552 0.2892468
            30 0.3987750 0.4990707 0.3906656 0.3826982 0.3863327 0.2721931

> dd
  No_of_stocks  X3.month  X6.month  X9.month X12.month X15.month X18.month
            10 0.5153225 0.5414108 0.4568199 0.5361848 0.5332630 0.6036963
            15 0.4821441 0.4207504 0.3996013 0.5099167 0.5355697 0.5306460
            20 0.4246441 0.3970251 0.4178547 0.3985710 0.4945658 0.5100034
            25 0.4326678 0.2433439 0.3900689 0.4038422 0.5093099 0.4805518
            30 0.3173227 0.2467464 0.3621063 0.3928437 0.3686759 0.4893400

Como se puede ver, a los 6 meses;30-combinación de stock da los mejores resultados en general. Alguien me dijo que si, con una pequeña variación en cualquiera de los parámetros, el valor de la métrica cambia drásticamente, yo probablemente no debería seleccionar aquellos combinación de parámetros (supongo que se podría llamar una estimación de error?). Si nos movemos a partir de los 6 meses;30-stock a 9 meses;30-stock, el ratio de sortino cambios bastante drásticamente de .499 para .39, y el máximo drawdown cambios de .247 a .362.

Así que por esa lógica, probablemente necesite seleccionar los 3 meses y 20-combinación de stock, debido a que las métricas no cambiar mucho si hacemos variar el no. de las acciones o no. de meses. Mi pregunta es: ¿está bien ciegamente sólo seleccionar la combinación de parámetros que dan los mejores resultados (de 6 meses,30-existencias) o debo tomar también la variación en las métricas en cuenta (de 3 meses,de 20 acciones)?

Gracias de antemano!

Answer 1

En primer lugar, sólo estoy concentrado en Sharpe, este es el más robusto de sus métricas. Considere la diferencia entre sharpe y la reducción, sharpe contiene una contribución de cada vuelta en su consecuencia, la reducción es sólo una observación de lo que pasa a ser la pista más larga de rentabilidad negativa. Por supuesto, es su elección si desea colocar más peso en Sortino o reducción.

He aquí los datos se convirtió en un mapa de calor, azul alto y el rojo más bajos.

Este es más un arte que una ciencia, así que voy a intentar explicar lo que mi razonamiento sería:

• Aproximadamente a medida que aumente el número de meses en los últimos 9 cosas empeoran, de forma que todas las otras cosas que son iguales me iría a por algo con un menor número de meses.
• El triángulo inferior izquierdo de valores se ve mejor que en la parte superior derecha.
• Aunque hay un máximo local en torno a (15 poblaciones, 9 meses) los demás los máximos locales alrededor (30 acciones, 6 meses) se ve mejor. Es también justo en el centro de este triángulo mejor.

Recuerde que usted está tratando de estimar a partir de observaciones ruidosas cuáles son los mejores parámetros. Si un pequeño cambio en un parámetro provoca un gran cambio en el resultado observado quién sabe qué clase de "especial" la circunstancia de haber aparecido dentro.

En conclusión, me quedaría con algo entre 6-9 meses y de 20 a 30 acciones. Esperemos que haya algo de intuición que le ayudará a elegir las cantidades exactas, es decir, que más de las acciones o de menor períodos debería ser mejor.