Me pregunto si hay alguna diferencia entre 2 términos llamados model backtesting y model validation desde la perspectiva de los modelos de riesgo financiero como el VaR.
¿Podría alguien compartir información sobre la similitud y la diferencia de estos 2 términos?
Solo agregando la diferencia de dimensión de tiempo/frecuencia a lo dicho anteriormente: el backtesting de modelos es una técnica de rendimiento de modelos que se lleva a cabo de forma continua (en particular para VaR, las violaciones deben discutirse tan pronto como sea posible después de que ocurran; si hay demasiadas durante un período de tiempo, deben ser escaladas). La validación del modelo se realiza cuando el modelo se implementa por primera vez y luego se vuelve a validar cada pocos años.
Si considera que la metodología (enfoque conceptual, datos estadísticos utilizados en ella) o la implementación del backtesting de modelos no son triviales (no mecánicos, cuantitativos, basados en supuestos), se podría clasificar como 'modelo' y podría ser validado por sí mismo.
En mi opinión, la validación del modelo es más amplia que la retrovalidación del modelo. Durante la retrovalidación del modelo se prueba el rendimiento del modelo en datos que se han realizado utilizando solo los datos que podrían haberse utilizado al usar el modelo para la gestión del riesgo. Esto te da una idea de la precisión del modelo y te permite averiguar dónde el modelo o los submodelos son inexactos o engañosos.
La validación del modelo puede incluir la retrovalidación y también analiza más a fondo el modelo en sí. Cosas a tener en cuenta durante la validación del modelo:
y cualquier otra cosa que convenza a la dirección y a ti mismo de que el modelo puede ser utilizado para su propósito previsto.
"Validación" significa que alguien analiza el modelo y lo declara apto para ser utilizado, generalmente sujeto a condiciones como monitoreo continuo del rendimiento y restricciones en la entrada. Las buenas prácticas de la industria incluyen 1 que el validador sea independiente del desarrollador del modelo, 2 revisar y volver a validar periódicamente modelos importantes.
"Monitoreo continuo del rendimiento" significa que se monitorea el rendimiento del modelo en producción y/o en algunos casos de prueba de regresión en busca de signos de deterioro.
Algunas herramientas se utilizan tanto en "validación" como en "OPM".
Prueba de backtesting de VaR: Dado que el VaR predice que un libro perderá no más de $\\\$X$ en cierto número de días, es fácil comparar las predicciones de VaR con la "ganancia y pérdida hipotética" (sin tarifas y otros flujos de efectivo que el VaR no tiene en cuenta). Si el número de días en los que el libro pierde más que el VaR ("incumplimientos de VaR") es muy diferente de lo que predijo el cálculo del VaR, entonces esto debe analizarse y explicarse. Este ejercicio generalmente se realiza tanto para la validación de VaR como como parte de VaR OPM.
(Otros ejemplos de pruebas realizadas tanto durante la validación como el OPM pueden ser - comparar los resultados del modelo con observaciones y los resultados de otros modelos; probar que los griegos de los modelos de fijación de precios incorporados en la expansión de Taylor explican la ganancia y pérdida.
Un ejemplo de una prueba generalmente realizada solo durante la validación es volver a implementar el mismo modelo de forma independiente y comparar los resultados. Otras tareas de validación pueden incluir verificar que la documentación del modelo esté correcta (describe el modelo con suficiente detalle para que alguien que no esté familiarizado con el modelo pueda reproducirlo; explica las decisiones tomadas por el modelador y los enfoques alternativos). Las tareas en la revisión periódica (no una validación completa) pueden incluir revisar los resultados de OPM y verificar que el plan de OPM todavía tenga sentido; verificar la investigación publicada y las prácticas de la industria para ver si el modelo necesita revalidación.)
FinanHelp es una comunidad para personas con conocimientos de economía y finanzas, o quiere aprender. Puedes hacer tus propias preguntas o resolver las de los demás.
