Evaluación de la bondad de una regla técnica de negociación mediante un modelo ROC

Question

Estoy probando varias reglas técnicas de trading (TTR) en el mercado de criptomonedas.

Ya he configurado algunas pruebas de significación, para comparar los rendimientos y las volatilidades.

Ahora me gustaría probarlo desde un ángulo diferente utilizando el ROC que se aplica a menudo cuando se realizan pruebas retrospectivas de los modelos de PD [Probabilidad de Incumplimiento]. Pero no estoy seguro de que esto sea realmente factible en el entorno en el que intento aplicarlo.

La lógica que he aplicado hasta ahora es que si la salida de mi TTR es una "COMPRA" y la rentabilidad del subyacente ese día es mayor que cero, es una COMPRA VERDADERA por otro lado si la rentabilidad del subyacente es menor que cero ese día obtengo una COMPRA FALSA. Teniendo esta información creo que debería ser capaz de configurar un modelo ROC.

Mi pregunta sería: ¿es realmente factible este enfoque? ¿Alguien ha adoptado ya este enfoque?

Answer 1

Así pues, las métricas de rendimiento ROC son habituales en las aplicaciones de aprendizaje automático, especialmente en las tareas de clasificación.

Si observamos la forma en que ha planteado la pregunta, no podrá trazar una curva ROC, ya que se basa en una salida continua (no discreta). Sin embargo, podría trazar una matriz de confusión y observar las métricas de rendimiento como la precisión, la recuperación y la puntuación F1.

Lo único que necesitaría es la previsión real frente a sus previsiones.

Hice esto en python usando Sklearn en una simple estrategia de seguimiento de tendencia:

Nota: Esta estrategia que construí aquí utiliza un modelo secundario para determinar cuándo colocar una operación basada en el modelo técnico primario y es por eso que todas las predicciones están etiquetadas como 1. Sin embargo, sigue ilustrando el punto.