Ecuación diferencial de Bellman

Question

Supongamos que tenemos una ecuación de Bellman que es

$$ V(k)=\max_{0\leq k'\leq f\left(k\right)}u\left(f\left(k\right)-k'\right)+\beta V\left(k'\right) $$ El libro de texto dice que si diferenciamos con respecto a $k'$ y se ajusta a $0,$ nos encontramos con que: $$ u'\left(f\left(k\right)-k'\right)=\beta V'\left(k'\right) $$

Mis preguntas son: i) ¿Qué estamos diferenciando aquí? $V(k)$ ? Además, ¿cómo podemos diferenciar bajo el operador max?

Answer 1

En cierto sentido, la ecuación de Bellman es una definición de $V(k)$ que podría ser más obvio si se escribe $$ V(k):=\max_{0\leq k'\leq f\left(k\right)}u\left(f\left(k\right)-k'\right)+\beta V\left(k'\right). $$ El operador $\max_{0\leq k'\leq f\left(k\right)}$ nos dice que, para conseguir $V(k)$ deberíamos encontrar el específico $k'$ - llamémoslo $k'^*$ - en la que la expresión $u\left(f\left(k\right)-k'\right)+\beta V\left(k'\right)$ es el mayor (si es que existe tal máximo).

Para ello, y siempre que las funciones implicadas tengan las propiedades adecuadas, el primer paso es tomar la derivada de $u\left(f\left(k\right)-k'\right)+\beta V\left(k'\right)$ con respecto a $k'$ y poniendo el resultado a cero. Entonces, $$ \frac{d}{dk'}u\left(f\left(k\right)-k'\right)+\beta V\left(k'\right) = 0, $$ de lo que se deduce (tras algunos cálculos) que $$ u'\left(f\left(k\right)-k'\right)=\beta V'\left(k'\right) $$ al máximo (dadas las propiedades adecuadas), así que no en todas partes, pero donde $k'=k'^*$ . Sin más conocimiento de $u$ y $V$ esto da al menos una regla implícita de cómo obtener $k'^*$ , es decir, a través de $$ u'\left(f\left(k\right)-k'^*\right)=\beta V'\left(k'^*\right) $$ Porque con $k'^*$ ahora hemos encontrado el $k'$ en el que $u'\left(f\left(k\right)-k'\right)=\beta V'\left(k'\right)$ es mayor, podemos sustituir ese valor específico, $k'^*$ en la definición inicial para obtener $$ V(k):=u\left(f\left(k\right)-k'^*\right)+\beta V\left(k'^*\right). $$ donde el $\max$ ha desaparecido, ya que $k'^*$ evalúa la función ya en el máximo. Y vemos que $V(k)$ no depende de $k'$ .