No se puede lograr la generalización del modelo de aprendizaje automático

Question

Estoy trabajando en un problema de clasificación binaria equilibrada en un conjunto de datos de series temporales (financieras). Estoy utilizando la validación cruzada K-fold adaptada a las series temporales (de modo que nunca estoy utilizando datos futuros para predecir datos pasados).

He probado muchos algoritmos, como SVM, RandomForest y K-Nearest Neighbors. Aunque todos ellos pueden obtener buenos resultados en la validación cruzada, NINGUNO de ellos ha generalizado bien al conjunto de pruebas.

Utilizo la validación cruzada para ejecutar la selección de características de la búsqueda de la cuadrícula y el ajuste de los hiperparámetros simultáneamente para encontrar la mejor combinación, pero de nuevo - no he logrado ninguna generalización.

¿Tiene alguna idea de por qué puede ser esto? ¿Algún consejo general para afrontar este tipo de situaciones?

Answer 1

Una respuesta obvia, pero no la que probablemente querrás escuchar, es que tal vez no exista una única distribución para la variable que intentas explicar. Podría ser, a falta de una metáfora menos mala, "impulsada por el régimen".

Siendo simplistas por el bien de la simplicidad, imagínese que estuviera observando las relaciones entre los mercados de acciones, bonos y materias primas. El periodo entre ~2002-~2007/8 podría describirse como "China-on, China-off"; ese 07/08 y el 12/14 como "risk-on, risk-off"; el 12/14 y el 18/20 como "liquidity-on, liquidity-off"; y quién sabe la naturaleza de esto ahora :-)

Entonces sería muy posible entrenar cualquier modelo para cualquier muestra histórica, y lograr resultados de validación cruzada atractivamente cómodos en su conjunto de entrenamiento. Sin embargo, la generalización en el conjunto de pruebas podría ser pésima, si el conjunto de pruebas representara un régimen diferente, con un conjunto diferente de normas, suposiciones y/o reglas comerciales imperantes.

Ciertamente, he visto esto en muchos de mis propios modelos durante la última década.