Mostrando que la función de recompensa está acotada (programación dinámica)

Question

Tengo el siguiente problema de programación dinámica:

$$\max_{\{x_t,y_{t+1}\}_{t=0}^\infty}\sum_{t=0}^\infty \beta^tu(F(x_t)-y_{t+1})\;\;\;\;\;\text{s.t}\;\;\;\;y_{t+1}\in\Gamma(x_t)$$

donde $\Gamma(x)=\{y\in\mathbb{R}_{+}\mid 0\le y\le F(x)\}$, y las funciones $u$ y $F$ tienen las siguientes propiedades:

1. $u:\mathbb{R}_{+}\to\mathbb{R}$ es continua, estrictamente creciente y estrictamente cóncava;
2. $F:\mathbb{R}_{+}\to\mathbb{R}$ es continua, estrictamente creciente y cóncava;
3. $F(0)=0$;
4. Y existe $\bar{x}>0$ tal que:

• Si $x\in[0,\bar{x}]$ entonces $F(x)\in[x,\bar{x}]$.

• Si $x>\bar{x}$ entonces $F(x).

Tengo que demostrar que la función $G(x,y)\equiv u(F(x)-y)$ está acotada sobre el conjunto $A\equiv\{(x,y)\in \mathbb{R}_{+}\times\mathbb{R}_{+}\mid y\in\Gamma(x)\}$.

Lo que he intentado: Sea $(x,y)\in A$, entonces $y\in\Gamma(x)$. Primero, por definición, las funciones $u$ y $F$ claramente $G$ está acotada por debajo. Ahora, para demostrar que $G$ está acotada por arriba, noté que el conjunto de imágenes $G(x,\Gamma(x))$ es compacto en el segundo argumento porque $G$ es continua y $\Gamma(x)$ es compacto, es decir, dado $x$ tenemos que la función $G(x,\cdot)$ está acotada en $\Gamma(x)$.

Ahora, al intentar demostrar que $G$ está acotada por arriba en $x$ (es decir, en el primer argumento) ha resultado ser más complicado, estoy tratando de usar la cuarta propiedad mostrada anteriormente sobre la existencia de $\bar{x}$, donde tenemos dos casos, si $x\in[0, \bar{x}]$ entonces claramente $G(x,y)\le u(F(\bar{x})-y)\le u(F(\bar{x}))$. Pero al considerar $x>\bar{x}$ tenemos $F(x), por lo tanto $G(x,y) lo cual no muestra que $G$ esté acotada ya que el "límite" aún depende de $x$ que está en un espacio no acotado $(\bar{x},\infty)$.

Creo que debe haber algún truco con $F(x) pero no he podido verlo, cualquier ayuda sería apreciada.

¡Gracias!

Answer 1

La función $u(F(x)-y)$ no es necesariamente acotada en $A$. Por ejemplo, si $u(x) = F(x) = \sqrt{x}$ entonces: $$ u(F(x)-y) = \sqrt{\sqrt{x}-y}, $$ Tomando $y = 0$, esto da $u(F(x)) = \sqrt{\sqrt{x}}$, que claramente es no acotada en $x$.

El problema que estás analizando es el siguiente: $$ \max_{(x_t, y_t)_{t = 0}^\infty} \sum_{t = 0}^\infty \beta^t u(F(x_t) - y_{t+1}) \text{ s.t. } y_{t+1} \in [0, F(x_t)]. $$ Observa que este problema no está bien definido. En particular, dado que $u$ es estrictamente creciente, la mejor opción para $y_{t+1}$ es establecerlo igual a cero en cada instancia $t$. Esto da la función de pago $$ \sum_{t = 0}^\infty \beta^t u(F(x_t)), $$ que claramente es creciente en $x_t$ (ya que tanto $u$ como $F$ son estrictamente crecientes). Por lo tanto, lo mejor es establecer $x_t$ lo más grande posible (es decir, igual a $+ \infty$). Esto significa que tu problema de maximización no tiene solución.

Ahora, supongamos que tienes un modelo que se comporta mejor, por ejemplo, $y_t = x_t$. Esto da el problema: $$ \max_{(x_t)_{t = 0}^\infty} \sum_{t = 0}^\infty \beta^t u(F(x_t) - x_{t+1}) \text{ s.t. } x_{t+1} \in [0, F(x_t)]. $$ La función $u(F(x)-y)$ sigue siendo no acotada, pero ahora puedes mostrar que la función objetivo $\sum_{t=0}^\infty \beta^t u(F(x_t) - x_{t+1})$ está acotada para cada camino factible. Sea $\partial u(0)$ un subdiferencial (derivada) para $u$ en cero. Entonces, usando la concavidad de $u$, tenemos: $$ \begin{align*} \sum_{t = 0}^n \beta^t u(F(x_t) - x_{t+1}) &\le \sum_{t = 0}^n \beta^t \left(u(0) + \partial u(0)[F(x_t) - x_{t+1}]\right),\\ &= u(0) \sum_{t = 0}^n \beta^t + \partial u(0) \underbrace{\sum_{t = 0}^n \beta^t [F(x_t) - x_{t+1}]}_{=A}. \end{align*} $$ Ahora, $F(x) \le \overline{x} + x$ (si $x \le \overline{x}$ entonces $F(x) \le \overline{x}$ y si $x \ge \overline{x}$, entonces $F(x) \le x$). Entonces, $$ \begin{align*} A &\le \sum_{t = 0}^n \beta^t [\overline{x} + x_t - x_{t+1}],\\ &= \overline{x} \sum_{t = 0}^n \beta^t + \underbrace{\sum_{t = 0}^n \beta^t (x_t - x_{t+1})}_{=B} \end{align*} $$ Entonces, $$ \begin{align*} B &= \sum_{t = 0}^n \beta^t (x_t - x_{t+1}),\\ &=x_0 \underbrace{- x_1 + \beta x_1}_{\le 0} \underbrace{- \beta x_2 + \beta^2 x_2}_{\le 0} \underbrace{- \beta^2 x_3 + \,\,}_{\le 0} \ldots \underbrace{\,\, + \beta^n x_n}_{\le 0} - \beta^n x_{n+1},\\ &\le x_0 - \beta^n x_{n+1} \le x_0 \end{align*} $$ Reuniendo todo, obtenemos la cota: $$ \begin{align*} \sum_{t = 0}^n \beta^t u(F(x_t) - x_{t+1}) & \le (u(0) + \partial u(0) \overline{x}) \sum_{t = 0}^n \beta^t + \partial u(0) x_0 \end{align*} $$ Tomando el límite $t \to \infty$, el lado derecho converge a $\frac{u(0) + \partial u(0) \overline{x}}{1 - \beta} + \partial u(0) x_0$ (un número fijo).