La solución a la ecuación de Bellman es un punto fijo

Question

Recientemente he comenzado a estudiar la optimización dinámica. No logro comprender del todo el hecho de que la función de valor de la ecuación de Bellman sea un punto fijo de una aplicación contractiva. Hasta ahora mi comprensión es bastante inocente: si el problema es finito, digamos: $$\sum_{t=0}^T \beta^tu(c_t)$$ construimos la ecuación de Bellman desde el final, como si conociéramos de antemano el valor máximo posible de la secuencia. Comenzando desde el último período $T$, simplemente repetimos la maximización añadiendo un término óptimo que refleje la utilidad del período actual $u(c_t)$, hasta llegar al período $0$. Desde aquí puedo ver claramente cómo funciona la aplicación contractiva. Pero el caso infinito no es tan fácil para mí de comprender: solo puedo suponer que, mediante la iteración del operador de Bellman $(Bv)(x)$, realizamos una "calibración" de la función de política hasta encontrar la función de valor (es decir, la máxima utilidad posible dadas nuestras condiciones de transversalidad) $(Bv)(x)=v(x)$. ¿Estoy al menos pensando en la dirección correcta, o esta idea debería entenderse de otra manera? Gracias de antemano. (También, esta es mi primera pregunta en .stackexchange, y si hay algún problema con la presentación de mi pregunta, por favor, házmelo saber)

Answer 1

No soy en absoluto un experto en esto, pero tal vez esto ayude. Aquí tienes un ejemplo simple de una ecuación de Bellman

$V(y) = \max_x u(x,y) + \beta V(y')$

$s.t. \, y' = f(x,y)$

Esta es una ecuación funcional en una función desconocida V. Una solución a este problema es una función V que satisface la ecuación anterior. Si miras la ecuación, es bastante claro que la solución tiene que ser un punto fijo del operador en el lado derecho de la ecuación de Bellman: si tomas el V correcto y un y arbitrario y calculas

$\max_x u(x,y) + \beta V(y')$

$s.t. \, y' = f(x,y)$

obtendrás $V(y)$. El operador que se encuentra en el lado derecho de la ecuación de Bellman opera en funciones, y la solución es un punto fijo en algún espacio de funciones.

Es una pregunta diferente si este punto fijo existe y cómo encontrarlo. Aquí, se recurre al teorema del mapeo de contracción: bajo suposiciones típicas sobre u y dado que $\beta<1$, el paso de maximización anterior es un mapeo de contracción para cualquier suposición de V. Esto significa que existe un único punto fijo V, y puedes encontrarlo mediante iteraciones sucesivas.