Conjeturar el estado estacionario a partir de las propiedades límite

Question

La pregunta está relacionada con esto hilo . Me gustaría derivar un estado estacionario único para un problema de control óptimo.

Considere el siguiente programa \begin{align} &V(x_0) := \max_u \int^\infty_0 e^{-\rho t}F(x(t),u(t))dt\\ s.t.~&\dot x(t)=f(x(t),u(t))\\ &x(0) = x_0 \end{align} donde $\rho > 0$ denota preferencia temporal, $V(\cdot)$ es el valor y $F(\cdot)$ una función objetivo. $x\in X$ es la variable de estado y $u\in U=[0,1]$ el control. El estado se rige por $f(\cdot)$ . La ecuación de Hamilton-Jacobi-Bellman es la siguiente \begin{align} \rho V(x)=\max_u [F(x,u) + V'(x)f(x,u)],\quad \forall t\in[0,\infty) \end{align}

Supongamos ahora que el control de realimentación viene dado por \begin{align} u(x) = \frac{1}{1+V'(x)} = \arg\max_u [F(x,u) + V'(x)f(x,u)],\quad \forall x\in X. \end{align}

Supongamos que existe un punto fijo en $x = \tilde x$ y podemos derivar una representación alternativa para el control óptimo en el punto fijo con \begin{align} u(\tilde x) = \frac{\rho + u'(\tilde x)}{\rho + u'(\tilde x) + 1}. \end{align}

Supongamos además que el HJB en el punto fijo viene dado por \begin{align} \rho V(x)=\ln\left(\frac{1}{1+V'(x)}\right) + 1 - \frac{1}{1+V'(x)}. \end{align}

Si $\rho\to 0$ se acerca a cero debemos tener $V'(\tilde x) = 0 \Rightarrow u(\tilde x) = 1 \Rightarrow u'(\tilde x) = \infty$ . Por otra parte, si $\rho\to\infty$ se acerca al infinito debemos tener $V(\tilde x) = 0$ por la definición de la función de valor y, por tanto, de nuevo $V'(\tilde x) = 0 \Rightarrow u(\tilde x) = 1$ . Resumiendo tenemos las siguientes propiedades en equilibrio \begin{align} \lim_{\rho\to 0} u(\tilde x)=\lim_{\rho\to\infty} u(\tilde x) = 1. \end{align}

Bueno, eso está en desacuerdo \begin{align} \frac{\partial u(\tilde x)}{\partial \rho}=\frac{1}{(\rho + u'(\tilde x) + 1)^2} > 0 \end{align}

siendo una función estrictamente monótona creciente, contradiciendo nuestro resultado anterior. No obstante, podemos resolver la cuestión observando que \begin{align} \lim_{u'(\tilde x)\to\infty}\frac{\partial u(\tilde x)}{\partial \rho}= 0 \end{align}

Entonces, ¿podemos finalmente conjeturar que debemos tener en el punto fijo $u'(\tilde x) = \infty \Rightarrow u(\tilde x) = 1$ tal que \begin{align} \rho V(\tilde x)=\ln(1) + 1 - 1 \Leftrightarrow V(\tilde x) = 0. \end{align}

Answer 1

Actualizando un intercambio de comentarios, un punto crítico de la pregunta es la expresión \begin{align} \frac{\partial u(\tilde x)}{\partial \rho}=\frac{1}{(\rho + u'(\tilde x) + 1)^2} \end{align}

lo cual es erróneo , porque de

\begin{align} u(\tilde x) = \frac{\rho + u'(\tilde x)}{\rho + u'(\tilde x) + 1}. \end{align}

obtenemos

\begin{align} \frac{\partial u(\tilde x)}{\partial \rho}=\frac{1+\partial u'(\tilde x)/\partial \rho}{(\rho + u'(\tilde x) + 1)^2} \end{align}

El OP señala que el signo de $\partial u'(\tilde x)/\partial \rho$ es indeterminado, por lo que $\partial u(\tilde x)/\partial \rho$ no puede decirse que sea monotónicamente creciente, que fue lo que impulsó la fijación del estado estacionario.