Comparar dos distribuciones de previsión de los devuelve

Question

Imaginemos que tenemos dos modelos diferentes, ambos se utilizan para pronosticar el retorno para el período siguiente. Ambos modelos se estima que todos los días, y ambos modelos salidas de una distribución de probabilidad. ¿Cómo se puede evaluar si un modelo ha sido mejor para la previsión de la distribución de beneficios en el futuro mejor que el otro ?

Mi primera intuición fue simplemente para calcular para cada fecha en que la probabilidad de que un ex-post evento, dado por los dos modelos, y simplemente la suma de las probabilidades para cada modelo a través de los diferentes períodos. El modelo con la suma más alta sería mejor. Pero siento que de esta manera no es muy limpio y carece de solidez. Alguna idea sobre cómo mejorar mi metodología ?

Answer 1

Respuesta

Si usted asume sus rendimientos son independientes (sí sus modelos pueden aflojar esta suposición), a continuación, los dos modelos, $Q_1$ y $Q_2$ asignar las distribuciones de probabilidad de los retornos en cualquier día dado, $i$: $q_1^i(r^i)$ y $q_2^i(r^i)$.

Es de suponer que usted está interesado en el modelo que puede predecir de forma más precisa el estado del mercado en los siguientes rendimientos, es decir, usted está interesado en:

$$ \text{Probabilidad de Todos Observado Devuelve} = P(r^1, r^2, .., r^n) $$

Bajo el supuesto de indenpendence:

$$ P(r^1, r^2, .., r^n) = P(r^1)P(r^2)..P(r^n)$$

que en virtud de los dos modelos diferentes se parece a esto:

$$ Q_1 = q_1^1(r^1) q_1^2(r^2) .. q_1(r^n) $$ $$ Q_2 = q_2^1(r^1) q_2^2(r^2) .. q_2(r^n) $$

Este debe ser un territorio familiar si usted se utilicen con la máxima probabilidad de expectativa. Obviamente le gustaría elegir el modelo con mayor probabilidad. Comúnmente, para evitar de punto flotante error de redondeo de la máxima de que el registro se toma ya que es una monótona de las funciones, a fin de considerar la posibilidad de maximizar, en su lugar:

$$ log(Q_1) = \sum_i de registro(q_1^i(r^i)) $$ $$ log(Q_2) = \sum_i de registro(q_2^i(r^i)) $$

En este caso también es equivalente a la cruz de entropía entre $p$ la verdadera distribución de probabilidad que es 1 para el estado observado y 0 en caso contrario, en relación a cualquier modelo $q_1$ o $q_2$. Si no compromete la independencia de devoluciones, entonces usted tiene un poco más complicado problema, el post más detalles, si de otro modo..

Solo un pensamiento

Si los modelos no están correlacionados (o tiene poca correlación) usted puede ser capaz de mejorar su precisión mediante el uso de un emsemble. Considerar el tercer modelo:

$$Q_3 = \alpha Q_1 + (1-\alpha) Q_2 \quad \text{para} \quad \alpha \en algunos[a,b]$$

Ahora su distribución de probabilidad es, $$\alpha q_1^i(r^i) + (1-\alpha)q_2^i(r^i)$$ idealmente, usted quiere adquirir,

$$max_{\alpha} \quad log(Q_3)$$

Esto será al menos tan bueno como el mejor modelo de $Q_1$ o $Q_2$ para $\alpha=1$ o $\alpha=0$, pero, por supuesto, usted necesita una validación cruzada de $\alpha$ de lo contrario sólo se sobreajuste esta hiper parámetro a tus datos observados.

Answer 2

Su sensación de que hay más en el problema de sumar las probabilidades es muy justificadas. Para darle la mala noticia primero: Su problema como se dijo no tiene solución. Dado que las distribuciones de probabilidad de tener muchos grados de libertad no hay manera general para comparar. Prácticamente hablando de sus dos modelos puede ser buena o mala, en dos diferentes no comparables maneras. E. g. su primer modelo podría obtener la media está bien, pero tiene demasiado claro colas así que echa de menos la extrema movimientos del mercado. Mientras que el otro es irregular en la predicción de mercado crashs pero se confunde en los tiempos entre fallos.

Es por ello que cualquier intento serio de evaluación de la calidad debe centrarse en el objetivo final de sus modelos. Por ejemplo, si usted desea utilizar su modelos de predicción para informar las estrategias de la negociación para hacerse rico rápido, que eran más fáciles de evaluar el rendimiento de las estrategias de negociación en lugar de la calidad de la predicción de distribuciones. Por supuesto, el feo problema de la falta de comparabilidad (también conocido como riesgo-retorno de comercio) va a levantar cabeza de nuevo, pero al menos está claro acerca de la función de destino que usted está interesado en.

Seriamente interesado en este tipo de problema no son los mercados financieros montón, pero los meteorólogos. Inicio con esta lectura. Un libro de texto tratamiento de este tema se puede encontrar en "Métodos Estadísticos en las Ciencias Atmosféricas" Capítulo 8: la Previsión de Verificación.