En este famoso papel Bailey y De Prado descartan la Validación Cruzada como herramienta para comprobar el sobreajuste del Backtest, alegando que es sólo un método de retención:
... Si aplicamos el método de retención suficientes veces (digamos 20 veces para un nivel de confianza del 95%), los falsos positivos ya no son improbables: Son son esperados. Cuantas más veces apliquemos el holdout, más probable será que una estrategia no válida pasará la prueba, que se publicará como un resultado de un solo ensayo...
Pero publicar los resultados como un solo ensayo es un mal uso de la Validación Cruzada. Se debería publicar el resultado medio del OOS de los K ensayos. Así que Bailey y De Prado no tienen razón. La validación cruzada resuelve el problema del sobreajuste del backtest.
¿Me estoy perdiendo algo?
1 votos
Se suele abusar del CV para convertirlo en un equivalente del diagnóstico en la muestra. Puede ayudar con el sobreajuste cuando se hace correctamente, pero no "resuelve" el problema
0 votos
@Aksakal gracias, ¿podrías detallar un poco más lo de "ayuda pero no resuelve"? Con "resuelve" me refería a que CV estima correctamente el rendimiento de OOS. ¿Qué sería un resultado más deseable que estimar correctamente el rendimiento del OOS?
0 votos
El CV estima el rendimiento de la validación cruzada cuando se hace correctamente. ¿Puede estimarlo "correctamente"? En el ámbito de las ciencias sociales, es una pregunta importante. A menos que se controlen los regresores, es fácil sobrestimar el rendimiento de la oos con cv