Programación dinámica en un modelo de horizonte infinito

Question

Utilizando un modelo de horizonte infinito, un enfoque de programación dinámica utiliza un punto fijo para resolver el modelo: $V = \Gamma(V)$ .

1. ¿Cómo interpreto el significado de $V$ ? Por ejemplo, cuando decidimos un nivel de inversión en la próxima vez $k_{t+1}$ dado el valor existente $k_t$ podríamos calcular un valor $v(k_t)$ . ¿Es este valor igual al valor dado al resolver el problema de maximización después de $t$ ( $t+1, t+2 \cdots$ )?

2. Si la interpretación es correcta, ¿por qué un procedimiento de punto fijo produce una función tan maximizada?

Aunque he consultado varios apuntes de clase, no he podido intuir con palabras estos puntos.

Answer 1

Hay dos problemas de maximización interrelacionados. El primero es el problema de maximización de horizonte infinito: $$ \begin{align*} v(k) = &\max_{a_1, a_2, \ldots} \sum_{t = 0}^\infty \delta^t F(k_t, c_t),\\ \text{ subject to } & k_{t+1} = g(k_t, a_t),\\ & a_t = \Gamma(k_t),\\ & k_0 = k \end{align*} $$ Aquí llamamos $a_t$ las variables de decisión, $k_t$ las variables de estado. Este problema maximiza una suma infinita de valores descontados $F(k_t, c_t)$ , sujeto a una ley de movimiento que determina el estado de los próximos períodos en función de la acción y el estado de hoy. $\Gamma(k)$ da un conjunto de acciones factibles $a$ que se puede tomar y finalmente $k$ es igual al estado inicial.

Como tal, $v(k)$ es el valor de este problema de optimización cuando el estado inicial es $k$ .

El segundo problema es la ecuación de Bellman: $$ v(k) = \max_{a \in \Gamma(k)}\left\{F(k,a) + \delta v(g(k,a))\right\}. $$ Debes interpretarlo como una identidad que implica la función $v$ que aparece tanto en el lado izquierdo como en el derecho de la ecuación, por lo que la función $v(.)$ es la incógnita de esta ecuación (que tiene que cumplirse para todos los $k$ ).

Bajo algunas condiciones se puede demostrar que para cada $k$ la función $v(k)$ del primer problema es igual al valor del $v(k)$ que satisface la segunda ecuación.

Para encontrar esta función $v(.)$ se puede definir el operador de Bellman $T$ : $$ (Tv)(k) = \max_{a \in \Gamma(k)}\left\{F(k,a) + \delta v(g(k,a))\right\}. $$ El operador $T$ toma una función $v$ (en el lado derecho) y produce una nueva función $Tv$ .

De nuevo, bajo condiciones adecuadas, se puede demostrar que este operador es un mapeo de contracción. Así que al iterar esta función una y otra vez convergeremos al punto fijo de este operador, que entonces también da la solución a la ecuación de Bellman.

1. ¿Cómo interpreto el significado de $V$ ? Por ejemplo, cuando decidimos un nivel de inversión en la próxima vez $k_{t+1}$ dado el valor existente $k_t$ podríamos calcular un valor $v(k_t)$ . ¿Es este valor igual al valor dado al resolver el problema de maximización después de $t (t+1,t+2)$ ?

Sí, por definición del primer problema, $v(k_t)$ da el valor del problema de maximización de horizonte infinito cuando $k_t$ es el nivel inicial de capital.

2. Si la interpretación es correcta, ¿por qué un procedimiento de punto fijo produce una función tan maximizada?

Esto resulta de la equivalencia entre el primer problema de optimización y la ecuación de Bellman. La solución $v$ de la ecuación de Bellman es un punto fijo del operador de Bellman.