Al igual que con muchas cosas, especialmente en el aprendizaje automático y la inteligencia artificial, creo que encontrarás que estos procesos no tienen una descripción única, lógica o matemáticamente definida. Más bien diría que dependiendo del contexto pueden significar cosas diferentes e incluso podrían significar lo mismo. Sin embargo, en mi experiencia, este es su uso más común.
Backtesting
En el aprendizaje automático he encontrado el 'backtesting' en el ámbito de las finanzas cuando un modelo o estrategia ha sido definido y su propósito es probar genuinamente la rentabilidad de las acciones en algunos datos históricos reales. Por lo tanto, backtesting requiere series temporales y datos reales y tiene como objetivo probar un modelo. Si el modelo ha sido diseñado con los datos de prueba en mente, o ha espiado, entonces la prueba no reflejará el rendimiento real.
Simulación Histórica
Esto es similar a lo anterior, excepto que diría que cae en un contexto más general. No solo necesariamente cuando tienes una estrategia de rentabilidad que examinar, sino posiblemente solo para examinar el riesgo, u otros factores, también. Por ejemplo, una simulación histórica del Valor en Riesgo de una cartera. La simulación histórica requiere series temporales y datos reales.
Monte Carlo
Monte Carlo es similar a lo anterior, pero en lugar de requerir datos reales, utiliza datos simulados. Cómo se define el simulador determinará el éxito del análisis, por ejemplo, de manera paramétrica, no paramétrica o mediante otro proceso aleatorio. Monte Carlo se usa para una multitud de tareas no necesariamente relacionadas con finanzas o series temporales.
Replicación Bootstrap
La replicación bootstrap, yo describiría, está entre los dos modelos anteriores. Las muestras bootstrap crean una metodología de muestreo estadístico donde se utiliza en cierta medida los datos reales subyacentes. Ya sea que se muestreen repetitivamente (no paramétricamente) o se cree un modelo paramétrico a partir del cual se generen muestras de una distribución de probabilidad. Aunque esto podría ser bastante similar a Monte Carlo, creo que por definición estará más relacionado con los datos históricos subyacentes.
Validación Cruzada
Al entrenar un modelo de aprendizaje automático a menudo hay dos tipos de parámetros para determinar: parámetros básicos y hiperparámetros. Los parámetros básicos son los valores subyacentes necesarios para el modelo, por ejemplo, un modelo de regresión lineal necesita coeficientes. Estos se entrenan a partir de los datos de entrenamiento. Sin embargo, al entrenar un modelo en los datos en sí mismos es muy sesgado, y podría reproducir esos datos exactamente. Pero al ser probado contra datos nuevos y no vistos podría tener un rendimiento muy pobre. Por lo tanto, a menudo necesitas hiperparámetros para ser entrenados para analizar cuán efectivo puede ser un modelo 'entrenado' en datos no vistos. Los hiperparámetros pueden ser cosas como cuántos nodos usar en una red neuronal, o cuántos clústeres usar en una agrupación k-means. Incluso podrías considerar un hiperparámetro decidir si usar SVMs o Regresión Logística o un Árbol de Decisiones, por ejemplo. La validación cruzada a menudo utiliza mezclas inteligentes de los datos que tienes para determinar un buen conjunto de parámetros básicos y hiperparámetros. Luego puedes probar el modelo final en datos de prueba.
