Estaba experimentando con un problema de control óptimo aparentemente sencillo que genera un sistema de ecuaciones diferenciales. Cuando calculo los valores del estado estacionario del sistema obtengo unos resultados muy extraños, creo que he hecho algo mal al aplicar el Principio de Máxima. Si tienes la paciencia de leer un poco de texto, te agradecería que me sugirieras qué puede fallar.
Notación
Utilizo un subíndice $t$ siempre que una variable dependa del tiempo. Por ejemplo $A_t(x_1,x_2):=A(x_1,x_2,t)$
Configurar
Imaginemos una economía cerrada con una función de producción lineal. La cantidad de bienes producidos depende del nivel de capital humano $A_t$ y alguna dotación de recursos fijos $R$ . Así,
$Y_t := A_tR$
La economía que imaginamos tiene un entorno inseguro y puede ser atacada al azar con una probabilidad de $p$ (exógena). Cada vez que un país es atacado, pierde parte de sus ingresos. Denoto la parte restante $q_t$ . La parte de la renta que se protege depende de la cantidad de gasto militar que tenga el país aumentado por el nivel de capital humano acumulado:
$q_t:=1-\frac{1}{\alpha A^m_t M_t}$
Supongo que $m \in [0,1]$ Así, cuanto mayor sea el gasto militar, más seguros serán los ingresos corrientes. Obsérvese que el gasto militar es mejor para asegurar la protección siempre que $m<1$ .
Teniendo en cuenta todo esto, supongamos que la economía produce 3 tipos de bienes: bienes de consumo $C_t$ , bienes militares $M_t$ y el capital humano $A_t$ . Supongamos, para simplificar, que $A_t$ es la única variable que se acumula mientras que los bienes de consumo y los bienes militares se consumen instantáneamente en cada momento. Si se está de acuerdo con esto, una forma de expresar la ecuación de movimiento del capital humano es la media ponderada de la renta que tiene el país menos los gastos de consumo, militares y depreciación del capital humano:
$\dot{A}_t=\underbrace{pq_tY_t}_\text{Post-war income} + \underbrace{(1-p)Y_t}_\text{No-war income} - C_t - M_t - \delta A_t$
Suponiendo que todas las variables pertenecen a la recta real positiva, adicionalmentey $A_t,M_t>0$ una función de utilidad cóncava $U'(C_t)>0, U''(C_t)<0$ y "conceder" un cierto valor inicial de capital humano $A(t=0)=A_0$ se puede formular el siguiente problema de control óptimo: \begin{equation} \max_{C_t, M_t}\int_0^\infty U(C_t)e^{-\rho t}dt \end{equation}
En palabras: maximizar la utilidad en un horizonte infinito dirigiendo el consumo y el ejército.
Tal que así: \begin{equation} \dot{A}_t=p\left(1-\frac{1}{\alpha A^m_t M_t}\right)A_tR + (1-p)A_tR - C_t - M_t - \delta A_t \end{equation} Y la condición de transversalidad: \begin{equation} \lim_{t->\infty} e^{-\rho t}\lambda_t A_t=0 \end{equation}
Hamiltoniano y solución
El hamiltoniano de valor actual tiene el siguiente aspecto ( $\mu_t = \lambda_t e^{-\rho t}$ ): \begin{equation} H^c = U(C_t) + \mu_t\left(p\left(1-\frac{1}{\alpha A^m_t M_t}\right)A_tR + (1-p)A_tR - C_t - M_t - \delta A_t\right) \end{equation}
Chiang (1992) sostiene que si el hamiltoniano es no lineal en las variables de control y de estado, se derivan las condiciones de primer orden tomando las derivadas del hamiltoniano y haciéndolas iguales a cero.
\begin{equation} \frac{\partial H^c}{\partial C_t}: U'(C_t)-\mu_t = 0 \end{equation}
\begin{equation} \frac{\partial H^c}{\partial C_t}: \mu_t\left(pA^{1-m}_tR\frac{1}{\alpha M^2_t}-1\right) = 0 \end{equation}
\begin{equation} \dot{\mu}_t = \rho \mu_t - \mu_t\left(pR\frac{m-1}{\alpha A^m_t M_t} + R - \delta\right) \end{equation}
Las expresiones para $\dot{\mu}_t$ y $\dot{A}_t$ forman un sistema de ecuaciones diferenciales. Pero la interpretación de \dot{\mu}_t es contraria a la intuición. En su lugar, se suele diferenciar el FOC del consumo con respecto al tiempo $U''(C)_t=\dot{\mu}_t$ e imputar \Ndot{{mu}_t a partir de la ecuación del movimiento. Dado que $U'(C_t) = \mu_t$ se puede deshacer de $\mu_t$ en $\dot{C}_t$ . Sin embargo, el sistema constará de dos ecuaciones $\dot{C}_t, \dot{A}_t$ y tres variables $A_t$ , $C_t$ , $M_t$ .
\begin{equation} \begin{cases} \dot{C}_t = -\frac{U'(C_t)}{U''(C_t)}\left(pR\frac{m-1}{\alpha A^m_t M_t} + R - \delta -\rho\right) \\ \dot{A}_t = A_t R - A^{1-m}_t\frac{pR}{M_t} - C_t - M_t - \delta A_t \end{cases} \end{equation}
Necesito una forma de expresar $M_t$ en función de otras variables o parámetros. Así, tomo la segunda FOC, la igualo a cero (descarto la opción $\mu_t=0$ porque $\mu_t=U'(C_t)>0$ ) y derivar $M_t$ en función de $A_t$ : $M^*_t:=A^{\frac{1-m}{2}}_t\sqrt{\frac{pR}{\alpha}}$
Imputo $M^*_t$ en el sistema anterior, establezca $\dot{C}_t=\dot{A}_t=0$ y calcular las expresiones para el estado estacionario. Descartando la solución trivial $C_t = 0$ obtengo los siguientes valores de equilibrio:
Capital Humano
\begin{equation} \bar{A}_t = \left(\frac{pR}{\alpha}\frac{(1-m)^2}{(R - \delta -\rho)^2}\right)^{\frac{1}{1+m}} \end{equation}
Militar
\begin{equation} \bar{M_t} = \left(\frac{pR}{\alpha}\frac{(1-m)^2}{(R - \delta -\rho)^2}\right)^{\frac{1-m}{2(1+m)}}\sqrt{\frac{p R}{\alpha}} \end{equation}
Consumo
\begin{multline} \bar{C_t} = \left(\frac{pR}{\alpha}\frac{(1-m)^2}{(R - \delta -\rho)^2}\right)^{\frac{1}{1+m}} (R - \delta) \\- \left(\frac{pR}{\alpha}\frac{(1-m)^2}{(R - \delta -\rho)^2}\right)^{\frac{1-m}{2(1+m)}} \sqrt{\alpha pR} \left(1 + \frac{1}{\alpha}\right) \end{multline}
La expresión para el consumo parece torpe. En efecto, lo es. Cuando intenté calcular los valores del consumo dados algunos parámetros más o menos razonables ( $p=0.052$ , $m=0.21$ , $\delta=0.242$ , $\alpha = 2.54$ , $\rho=1.48$ ), tengo negativo números. Una captura de pantalla de Mathematica que muestra $C_t$ (eje vertical) en función de $R$ (eje horizontal): 
No espero que la introducción de derechos de propiedad inseguros cambie el consumo en estado estacionario a valores negativos dada una función de producción lineal. Parece que he aplicado el algoritmo del Principio Máximo de forma incorrecta, pero no consigo averiguar cuál ha sido mi error. ¿Podría alguien indicarme qué fue lo que falló? ¿Alguna idea? P.D. Eres un héroe si lees hasta el final :)
ACTUALIZACIÓN: Como han sugerido algunas personas aquí, el Principio Máximo falla porque aplico el método determinista a un modelo estocástico. Esta es una preocupación justa. Decidí comprobar si el método funciona en caso de que ponga $p=1$ (lo que implica un escenario de guerra infinitamente largo para la economía).
Las ecuaciones canónicas con la especificación tienen este aspecto:
\begin{equation} \frac{\partial H^c}{\partial C_t}: U'(C_t)-\mu_t = 0 \end{equation}
\begin{equation} \frac{\partial H^c}{\partial C_t}: \mu_t\left(pA^{1-m}_tR\frac{1}{\alpha M^2_t}-1\right) = 0 \end{equation}
\begin{equation} \dot{\mu}_t = \rho \mu_t - \mu_t\left(R - R\frac{1-m}{\alpha A^m_t M_t} - \delta\right) \end{equation}
Procedí a la solución como antes y obtuve el siguiente sistema dinámico (suponiendo $U(C_t)=\ln{C_t}$ :
\begin{equation} \begin{cases} \dot{C}_t = C_t\left(R - R\frac{1-m}{\alpha A^m_t M_t} + R - \delta -\rho\right) \\ \dot{A}_t = A_t R - A^{1-m}_t\frac{R}{M_t} - C_t - M_t - \delta A_t \end{cases} \end{equation}
Resuélvelo para el estado estacionario. Aquí están mis valores de equilibrio para el capital humano, el ejército y el consumo.
\begin{equation} \bar{A}=\left(\frac{(1-m)^2}{(R-\delta-\rho)^2} \frac{R}{\alpha} \right)^{\frac{1}{1+m}} \end{equation}
\begin{equation} \bar{M}=\left(\frac{R}{\alpha}\right)^{1/2}\left(\frac{(1-m)^2}{(R-\delta-\rho)^2} \frac{R}{\alpha} \right)^{\frac{1-m}{2(1+m)}} \end{equation}
\begin{equation} \bar{C}=(R-\delta)\left(\frac{(1-m)^2}{(R-\delta-\rho)^2} \frac{R}{\alpha} \right)^{\frac{1}{1+m}}-2\left(\frac{R}{\alpha}\right)^{1/2}\left(\frac{(1-m)^2}{(R-\delta-\rho)^2} \frac{R}{\alpha}\right)^{\frac{1-m}{2(1+m)}} \end{equation}
He simulado los valores de $C_t$ de nuevo. Esto es lo que obtengo: 
Ecuaciones diferentes, pero imagen similar. Así que la naturaleza estocástica del modelo no es el único problema. ¿Quizás me falta algo así como una solución bang-bang? ¿O tal vez simplemente no existe en el caso?
