Derivación de la ecuación HJB

Question

Estoy tratando de derivar la ecuación HJB en un entorno estocástico. Permítame ejemplificar mi problema con el caso más simple donde no hay control sólo una variable de estado. Supongamos que el resultado está dado por $$ V(X_{t})\equiv E_{t}\left\{ \int_{t}^{\infty}e^{-\rho(s-t)}u(X_{s})ds\right\} $$ donde $X_{t}$ viene dada por $$ dX_{t}=\mu(X_{t})dt+\sigma(X_{t})dZ_{t} $$ y $Z_{t}$ es el movimiento browniano estándar. Para cualquier $dt>0$ podemos escribir: $$ V(X_{t})=E_{t}\left\{ \int_{t}^{t+dt}e^{-\rho(s-t)}u(X_{s})ds+e^{-\rho dt}V(X_{t+dt})\right\} $$

$$ \left(1-e^{-\rho dt}\right)V(X_{t})=E_{t}\left\{ \int_{t}^{t+dt}e^{-\rho(s-t)}u(X_{s})ds+e^{-\rho dt}\left[V(X_{t+dt})-V(X_{t})\right]\right\} \tag{1} $$

Del cálculo de Ito obtenemos que (y suponiendo que $W(\cdot)$ se comporta bien): $$ V(X_{t+dt})-V(X_{t})=\int_{t}^{t+dt}V'(X_{s})dX_{s}+\frac{1}{2}\int_{t}^{t+dt}V''(X_{s})d[X_{s}]=\int_{t}^{t+dt}V'(X_{s})dX_{s}+\frac{1}{2}\int_{t}^{t+dt}\sigma(X_{s})^2V''(X_{s})ds $$ donde la última igualdad se deduce de las propiedades conocidas de la variación cuadrática del proceso $X_{t}$ . Introduciendo esto en (1): $$ \left(1-e^{-\rho dt}\right)V(X_{t})=E_{t}\left\{ \int_{t}^{t+dt}e^{-\rho(s-t)}u(X_{s})ds+e^{-\rho dt}\left[\int_{t}^{t+dt}V'(X_{s})dX_{s}+\frac{1}{2}\int_{t}^{t+dt}\sigma(X_{t})^2V''(X_{s})ds\right]\right\} $$

Dividiendo ambos lados por $dt$ y tomando el límite $dt\rightarrow0$ : $$ \rho V(X_{t})=E_{t}\left\{ u(X_{t})+\lim_{dt\rightarrow0}\frac{\int_{t}^{t+dt}V'(X_{s})dX_{s}}{dt}+\frac{1}{2}\sigma(X_{t})^2V''(X_{t})\right\} $$ donde utilicé el hecho de que cuando se trata de la integral de Riemann: $\lim_{dt\rightarrow0}\frac{\int_{t}^{t+dt}f(x_{s})ds}{dt}=f(x_{t})$ (del cálculo estándar cálculo estándar).

Como puedes ver, ya casi lo tengo. Sólo que no sé cómo lidiar con el término $\lim_{dt\rightarrow0}\frac{\int_{t}^{t+dt}V'(X_{s})dX_{s}}{dt}$ . Por ejemplo, supongamos que $\mu(X_{t})=0$ y $\sigma(X_{t})=1$ , por lo que que $X_{t}$ es simplemente el movimiento browniano estándar $Z_{t}$ . En ese caso, para conseguir la fórmula HJB correcta necesitaría: $$ \lim_{dt\rightarrow0}\frac{\int_{t}^{t+dt}V'(Z_{s})dZ_{s}}{dt}=0 $$ Pero no sé cómo demostrar que esto es cierto. De forma más general (para cualquier $\mu(X_{t})$ y $\sigma(X_{t})$ ), tendría que probar: $$ \lim_{dt\rightarrow0}\frac{\int_{t}^{t+dt}V'(X_{s})dX_{s}}{dt}=\mu(X_{t})V'(X_{t}) $$ que tampoco sé cómo hacer. ¿Alguna idea?

Answer 1

Utilizando el hecho de que la integral browniana tiene valor esperado $0$ encontramos \begin{eqnarray*} & & \left(1-e^{-\rho dt}\right)v(X_{t}) \\ &=& E_{t}\left\{ \int_{t}^{t+dt}e^{-\rho(s-t)}u(X_{s})ds+e^{-\rho dt}\left[\int_{t}^{t+dt}v'(X_{s})dX_{s}+\frac{1}{2}\int_{t}^{t+dt}\sigma(X_{s},s)^2 v''(X_{s})ds\right]\right\} \\ &= & E_{t}\left\{ \int_{t}^{t+dt}e^{-\rho(s-t)}u(X_{s}) +e^{-\rho dt}\left(v'(X_{s})\mu(s,X_s) +\frac{1}{2}\sigma(X_{s},s)^2 v''(X_{s})\right)ds\right\} \end{eqnarray*} Así que la EDP es \begin{eqnarray*} \rho v(x) &=& u(x) + \left(\mu(t,x) v'(x) +\frac{1}{2}\sigma(t,x)^2 v''(x)\right) \end{eqnarray*} o \begin{eqnarray*} (- \mathcal{A}_t + \rho) v(x) &=& u(x) \end{eqnarray*} donde $\mathcal{A}_t = \mu(t,x)\partial_x + \frac{1}{2}\sigma(t,x)^2 \partial_x^2$ es el generador de la difusión.