Validación de un modelo de scoring crediticio sin datos

Question

Compañeros Quants,

Supongamos que tiene un modelo de calificación crediticia que se desarrolla sin la ayuda de la estadística, porque (lamentablemente) no hay datos históricos de impagos/pérdidas en su cartera. Las variables independientes y las ponderaciones de esas variables se seleccionan basándose totalmente en el juicio de los expertos, y las puntuaciones finales se determinan como la suma ponderada de las variables para cada préstamo, es decir

$Score_j =\sum_{i=1}^n w_i x_{ij} $

Se trata de un modelo muy sencillo, y aparentemente es un marco bastante popular para utilizar en ausencia de datos de pérdidas/impagos necesarios para realizar el desarrollo de modelos basados en estadísticas.

La OSFI expone algunos principios generales para validar un sistema de clasificación de riesgos aquí Sin embargo, muchas de las pruebas requieren una pérdida/impago suficiente para evaluar el modelo.

¿Cómo abordaría usted la validación de un modelo de juicio de expertos en ausencia de un historial de impagos/pérdidas? ¿Qué tipo de pruebas pueden realizarse cuando no hay observaciones de "alto riesgo crediticio" (por ejemplo, impagos o pérdidas) en su conjunto de datos?

Gracias,

Pregunta relacionada con el desarrollo de un modelo de calificación crediticia: Sistema experto de calificación crediticia

Pregunta relacionada con los criterios de validación del modelo: Criterios de validación del modelo

---

EDIT: El alcance de la validación que se me ha ocurrido es (en su mayor parte) cualitativo. Incluiría una revisión de la metodología, una evaluación de los supuestos y las limitaciones, y una evaluación comparativa (por ejemplo, la comparación de las variables finales con las variables estándar del sector).

¿Hay algún componente obvio de validación que esté omitiendo?

Answer 1

Si no dispone de una cantidad significativa de pérdidas en su cartera para validar el modelo, debería poder obtener datos de pérdidas externos y ajustarlo cuando sea necesario para que se adapte mejor a su organización. Esto es muy habitual en los modelos de pérdidas operativas, en los que las pérdidas operativas son bastante escasas.

Answer 2

No conozco las normas de regulación para este caso, pero metodológicamente podrías tomar otro conjunto de datos similar "datos de pares" y luego comprobar cuán correctamente tu modelo predice las pérdidas de este conjunto de datos.

Answer 3

Si tiene algunos ejemplos positivos para estimar su modelo, entonces, técnicamente, está tratando con la tarea de clasificación de una clase (también conocido como detección de anomalías También está directamente relacionado con estimación de la densidad ). En su caso, las "anomalías" son clientes de alto riesgo, no presentes en los datos.

Existen varios métodos para la detección de anomalías y la estimación de la densidad, incluidos los basados en modelos lineales. Un ejemplo sería un modelo lineal SVM de una clase . Otro enfoque directo sería algo así como un estimador de densidad tipo Naive-Bayes.

Tenga en cuenta que todos los enfoques de "una clase" suponen que su conjunto de datos es razonablemente representativo de los ejemplos positivos y, esencialmente, pretenden descubrir un determinado límite en torno a ellos, considerando cualquier cosa fuera de este límite como un valor atípico. En consecuencia, la aplicación ciega de este enfoque en su caso podría llevar a una situación en la que el modelo considerara como "atípicos" tanto a los clientes "extra seguros" como a los "arriesgados". Sin embargo, si toma suficientes precauciones (generar ejemplos adicionales que cubran el espacio de clientes potencialmente "seguros", estudiar los parámetros del modelo como lo hace ahora, etc.), podría obtener un modelo útil.

Además, tenga en cuenta que si pudiera encontrar alguna "medida de riesgo" (con valor real) para sus datos actuales (¿quizás algunos de los clientes de su conjunto de datos se retrasan más que otros en sus pagos? ¿quizás tiene puntuaciones de crédito externas para ellos?), podría estimar un modelo de regresión para predecir esta medida y basarse en ella para identificar también a los clientes de mayor riesgo.