Modelo De Criterios De Validación

Question

Digamos que tengo una nueva marca de lujo de modelo en alguna clase de activos (calibración porcedure incluido a través de un conjunto de opciones de vainilla) en la que realmente creo que he dado un paso adelante en comparación a la literatura existente (un phantasmatic situación reconozco).

Qué criterios debe estar en orden, así que puedo decir que yo estoy en una posición de "validar" este modelo?

PS: Vamos a suponer que las matemáticas están bien y que puedo demostrar que no es ningún error en la implementación del modelo

Answer 1

No creo que hay un punto preciso en el tiempo cuando podemos decir que el modelo es válido (bueno, es un modelo, no una ley). Por ejemplo, E. Derman en su artículo sobre el Modelo de riesgo se describe en la verificación del modelo como un proceso iterativo:

Es imposible evitar errores durante el desarrollo del modelo, especialmente cuando se crean bajo el piso de la negociación de coacción .... Así que, después de que el modelo es construido, el desarrollador de pruebas ampliamente. A partir de entonces, otros desarrolladores de "jugar" con ella también. Siguiente, los comerciantes que dependen del modelo de fijación de precios y coberturas de uso. Por último, se ha lanzado a los vendedores. Después de un período de tiempo razonablemente largo, durante el cual la mayoría de las arrugas se arreglan, se les da a los clientes adecuados. Esta difusión lenta ayuda a eliminar muchos riesgos, lentamente pero de forma constante.

También describe a 6 tipos de posibilidades que constituye el modelo de riesgo aquí:

• Incorrecta de modelo
• Modelo correcto, incorrecto solución
• Modelo correcto uso inapropiado
• Mal aproximar la solución
• Software y hardware de errores
• Inestable datos

Además de que le proporciona algunos consejos que pueden ser usados para evitar el riesgo de modelo y de sus consecuencias (por nombrar sólo algunos):

• Prueba de modelos complejos en los casos más sencillos primera
• La prueba del modelo de los límites de
• No ignore las pequeñas discrepancias

Answer 2

Las preguntas más importantes que en mi opinión (además de todas las preguntas de matemáticas y la solidez de las pruebas que han de llevarse a cabo de todos modos) son:

• ¿Por qué es este modelo de trabajo en el primer lugar?
• ¿Cuál es la lógica económica detrás de ella?
• Por qué las devoluciones no se ha arbitraged de distancia?
• Que es el pago por sus declaraciones y por qué?
• Es esta situación probabilidades de ser sostenibles?

Cuando no se puede de manera satisfactoria las respuestas a estas preguntas son las posibilidades de que sus resultados son demasiado buenas para ser verdad.

Answer 3

Estoy de acuerdo con muchos de los comentarios y respuestas. Además, yo recomendaría el papel por Gelman y Shalizi en "la Filosofía y la práctica de la Estadística Bayesiana", incluso si no eres un Bayesiano. Me gustaría destacar la Sección 4 sobre la comprobación del Modelo. Se nota la importancia de la posterior predicción de cheques, es decir, si yo previsión de un modelo, voy a obtener resultados razonables. También recomiendan que la simulación de los datos falsos suponiendo que el modelo es válido, y su comparación con los datos reales. Yo regularmente el uso de estas herramientas.

Answer 4

No saber qué tipo de modelo que tienes, me voy a adivinar que estos pasos generales que se va a hacer el usuario de la modelo se sienta seguro/cómodo sobre el uso de su modelo. En mi opinión, ha demostrado que su modelo de hace razonablemente bien: 1). Si la entrada de datos históricos y ver si el resultado es razonablemente cerca de lo que la histórica real de la salida. 2). No caer en la trampa de sobre-ajuste. 3). No utilizar oscuras razones para la calibración yo.e debe haber al menos alguna justificación matemática. 4). El simple examen de los casos son los más olvidados, asegúrese de que se ha superado con éxito. 5). Tratar de romperlo y explicar por qué lo hizo.

Answer 5

Lo que constituye válido es a menudo una parte del modelo de riesgo mencionados - un acuerdo entre los expertos en la materia en un campo específico o de la empresa. Y, por lo tanto, los diferentes campos que exigen las diferentes normas.

Yo solía trabajar en las ciencias sociales, y la parte superior revistas especializadas en encontrar cosas perfectamente válido si Alfa de Crombach, el Poder, el R-Cuadrado, F-score y el factor de importancia en las regresiones se encontraban dentro de los rangos razonables.

Dentro de la gestión de riesgos de la barra es mucho mayor, incluso hay un diario en riesgo la validación del modelo. Y si usted sigue la "vanguardia" de la sección en Riesgo, usted encontrará que los académicos, incluso dentro de un campo ocasionalmente pueden estar en desacuerdo sobre lo que se considera válido - re FVA.

Para citar otro ejemplo, econometría espacial se enfrenta a diferentes criterios en la validación del modelo.