En cuanto a la arbitrariedad de los Estados y los controles

Question

Estoy intentando comprender mejor el proceso de derivación de las ecuaciones de Euler utilizando la condición de primer orden del problema en el lado derecho de una ecuación de Bellman y la fórmula de Benveniste-Scheinkman. En particular, hay una línea en la Teoría Macroeconómica Recursiva de Ljungqvist y Sargent (LS) que no acabo de entender en la práctica. Es la siguiente:

Cuando el estado y los controles pueden ser definidos de tal manera que sólo $u$ aparece en la ecuación de transición, es decir, $x' = g(u)$ ...la derivada de la función de valor se convierte en... $$V'(x)=r_1(x,h(x)).$$

Veo por qué se deduce el resultado, siempre que los estados y los controles puedan definirse de la forma descrita. Pero veamos un ejemplo sencillo de crecimiento óptimo.

Sea el problema secuencial

$$\max\sum_{t=0}^\infty\beta^t\log(c_t) \\ \text{s.t.} \\ k_{t+1} + c_t = Ak_t^\alpha.$$

La ecuación de Bellman asociada es $$V(k)=\max\log(c) + \beta V(k') \\ \text{s.t.} \\ k' + c = Ak^\alpha.$$

Ahora, en mi entendimiento actual $k'$ y $c$ son controles y $k$ es el estado. Pero, (SL) dicen "que el estado sea $k$ y el control sea $k'$ donde $k'$ indica el valor de $k$ ." Sin embargo, esto no me da la forma deseada, es decir, escribir $k'=Ak^\alpha-c$ tiene un control y un estado en el lado derecho. ¿Cómo encaja esto en el formulario $x'=g(u)$ ?

Answer 1

El cambio de $c$ como variable de decisión hacia $k'$ como variable de decisión es mediante un simple cambio de variables.

En la configuración original, $k$ es el estado y $c$ es la variable de control (decisión). La ecuación de Bellman es la siguiente $$ v(k) = \max_{c \in [0, Ak^\alpha]} u(c) + \beta v(Ak^\alpha - c). $$ (en este caso, la restricción $k' = Ak^\alpha - c$ ya está sustituida en la ecuación de Bellman).

Ahora, puede definir $k' = Ak^\alpha - c$ . En $c \in [0, Ak^\alpha]$ tenemos que $k' \in [0, Ak^\alpha]$ . Obsérvese que existe una correspondencia unívoca entre los valores de $c$ y los valores de $k'$ . Sustituyendo $c$ por $Ak^\alpha - k'$ en la ecuación de Bellman da $$ v(k) = \max_{k' \in [0, Ak^\alpha]} u(Ak^\alpha - k') + \beta v(k'). $$ En este problema $k$ es el estado y $k'$ es el control (y también el estado en el periodo siguiente.

La condición de Sobre da: $$ v'(k) = A \alpha k^{\alpha - 1} u'(Ak^\alpha - k') $$ La condición de primer orden da: $$ -u'(Ak^\alpha - k') + \beta v'(k') = 0. $$ Estas dos pueden combinarse para obtener la ecuación de Euler deseada.

Configuración general

En general, la ecuación de Bellman adopta la siguiente forma: $$ v(x) = \max_{u \in \Gamma(x)} f(x,u) + \beta v(r(x,u)). $$ donde $x$ es la variable de estado y $u$ es el control. La función de ley de movimiento $x' = r(x,u)$ le da al estado mañana $(x')$ como función del Estado en la actualidad $(x)$ y el control hoy $(u)$ .

Si $r$ es invertible en $u$ (en función de $u$ ) a veces podemos reescribirlo como: $$ v(x) = \max_{x' \in \Delta(x)} g(x,x') + \beta v(x'). $$ donde $g(x,x') = f(x, r^{-1}(x,x'))$ y $$ \Delta(x) = \{x'| \exists u \in \Gamma(x), x' = r(x,u)\}. $$

Esta nueva ecuación de Bellman tiene como estado $(x)$ y control $(x')$ que coinciden con el estado mañana.