¿Cómo justificar un modelo que no puede predecir los factores externos?

Question

Estoy construyendo algunos modelos, por ejemplo, la tasa de préstamos dudosos (NPL).

Se basa en el método de la simulación histórica. Básicamente, dice que el comportamiento futuro puede predecirse a partir de los datos históricos.

Sin embargo, esto no siempre es cierto, cuando el mercado cambia. Por ejemplo, cuando llegó la crisis financiera de 2008, las tasas de morosidad subieron; cuando hay una reducción de impuestos, la morosidad baja.

Así, cada vez que el mercado cambie, el modelo fallará, pero al cabo de unos meses, retomará la tendencia y volverá a funcionar.

Ahora, ¿cómo podría defender mi modelo? ¿Cómo justificar que el fracaso es aceptable? ¿Existe alguna norma o criterio de la industria sobre la tolerancia del desajuste del modelo causado por factores externos (por ejemplo, el mercado o la economía)?

Answer 1

Bueno, normalmente en el proceso de elaboración de un modelo se supone que se entienden las suposiciones que se hacen y las circunstancias (preferiblemente cuantificables) en las que se mantendrán/romperán las suposiciones. Ningún modelo es infalible y es la forma en que se exponen y comprenden los supuestos lo que determinará si el modelo es aceptable.

No puedo ofrecerte ninguna sugerencia específica porque no conozco los detalles de lo que estás haciendo. Pero yo consideraría la posibilidad de aplicar algún tipo de métrica de causalidad de Granger si se trata de series temporales o de medir la no estacionariedad de los datos (entropía y divergencias f).

Answer 2

Era un comentario, así que por favor no lo trates como una respuesta, sólo como una sugerencia.

---

Creo que cada departamento tiene sus propias normas. y si quieres constituir tu modelo de alguna manera, entonces puedes simplemente calcular R^2 entre los valores reales y los ajustados, RMSD También se puede afirmar que existe una relación a largo plazo y que estas desviaciones son sólo desviaciones a corto plazo del equilibrio a largo plazo.

Answer 3

Creo que la mayoría de los modelos fracasaron en la crisis de 2008. La simulación histórica y, por ejemplo, un valor en riesgo calculado a partir de ella, está concebida para un comportamiento normal o "medio" del mercado.

Para tener en cuenta los escenarios de crisis, deben realizarse pruebas de resistencia. Esto es lo que se hace, por ejemplo, en el USCITS marco.

Sin embargo, después de la crisis su modelo debe tener esta historia "en mente".