Más de una Ecuación de Bellman

Question

Estoy asistiendo a mi primer curso de optimización dinámica, y lo que aún no entiendo completamente es que a veces tenemos que usar más de una ecuación Bellman.

¿Cómo te das cuenta de eso? Quiero decir, ¿cómo sabes cuándo la solución de tu problema requiere más de una ecuación Bellman?

Por ejemplo este problema tomado de la teoría macroeconómica recursiva de Sargent, 2da edición.

Un trabajador desempleado recibe cada período una oferta de salario w extraída de la distribución F(w). El trabajador tiene que elegir si aceptar el trabajo, y por lo tanto trabajar para siempre, o buscar otra oferta y cobrar c en compensación por desempleo. El trabajador que decide aceptar el trabajo debe elegir el número de horas para trabajar en cada período. El trabajador elige una estrategia para maximizar

$E\Sigma_{t=0}^{\infty}\beta^{t}u(y_t,l_t)$

y $y_t=c$ si el trabajador está desempleado, y $y_t=w(1-l_t)$ si el trabajador está empleado y trabaja $(1-l_t)$ con $l_t$ de ocio y $0

Analiza el problema del trabajador. Argumenta que la estrategia óptima tiene la propiedad del salario de reserva. Muestra que el número de horas trabajadas es el mismo en cada período.

El manual de soluciones va así para la parte de establecer las ecuaciones de Bellman:

Sea s el vector de variables de estado. Elegimos $s=(w,0)$ donde $w$ es la oferta de salario y $0=E$ si el trabajador está empleado y $0=U$ si el trabajador está desempleado. Consideremos primero la situación de un trabajador empleado. La ecuación de Bellman es:

$v(w,E)= max \{u[w(1-l),l]+\beta v(w,E)\}$

y para un trabajador desempleado:

$v(w,U)= max \{v(w,E);u[c,1]+\beta\int v(w',E)DF(w')\}$

Así que siendo más concreto. ¿Por qué las soluciones requieren dos ecuaciones Bellman y cómo te das cuenta de eso al leer el problema?

Por ejemplo, mi primera suposición al intentar resolver sin mirar las soluciones fue:

$v(w,E)= max \{u[w(1-l),l];u[c,1]+\beta\int v(w',E)DF(w')\}$

¿Por qué es esto diferente?

Gracias de antemano.

Answer 1

(La segunda ecuación para la función de valor de los desempleados debería ser $$ v(w,U)= \max \{v(w,E); \,u[c,1]+\beta\int v(w', U) dF(w')\}. \quad (*) $$ )

...¿cómo sabes cuándo tu solución al problema requiere más de una ecuación de Bellman?

Si el espacio de estados del problema contiene coordenadas discretas, habría "múltiples" funciones de valor, indexadas por las coordenadas discretas. Aquí el espacio de estados es $[0, \infty) \times \{E, U\}$. La segunda coordenada es discreta. Entonces hay "dos" funciones de valor $v(w, E)$ y $v(w, U)$.

¿Cómo te das cuenta de eso?

Cualquier variable que determine el problema de optimización enfrentado por el agente es parte del estado. En este ejemplo en particular, un agente desempleado tiene la opción de cambiar a empleado. Un agente empleado no tiene otra opción más que mantenerse en el trabajo---"...trabajar para siempre". El conjunto de opciones, y por lo tanto el problema de decisión, enfrentado por el agente son diferentes dependiendo de su estado de empleo. Esto te dice que el estado de empleo es parte del estado.

(Ten en cuenta que, si el trabajador empleado tiene la opción de salir del trabajo, el problema de decisión enfrentado por el agente sigue siendo diferente dependiendo de su estado de empleo. En ese caso todavía tendrías dos funciones de valor y estarían "entrelazadas", por así decirlo.)

Argumenta...la estrategia óptima tiene la propiedad del salario de reserva.

Esto es más o menos inmediato a partir de la ecuación $(*)$. El salario de reserva $w^*$ está dado por $$ v(w^*,E) = u[c,1]+\beta\int v(w', U) dF(w'). $$ En $w = w^*$, el agente es indiferente, $v(w^*, U) = v(w^*, E)$. Uno esperaría que para $w < w^*$. $$ v(w,U) = u[c,1]+\beta\int v(w', U) dF(w') > v(w,E). $$

Este es un problema típico de ejercicio de opción. La diferencia $v(w, U) - v(w,E)$ cuando $w < w^*$ es el valor de la opción. Si el salario ofrecido $w$ es demasiado bajo, al agente le convendría mantener la opción y no ejercerla.

(Esta es una opción de tipo americano, que se puede ejercer en cualquier momento. El fenómeno de umbral de ejercicio ocurre en el entorno de tiempo continuo, que a veces es más conveniente. Allí, el umbral está dado por la condición de suave pegado.)

Comentarios generales

La formulación general de la ecuación de Bellman es $$ V(s) = \max_{c \in \mathcal{C}(s)} \int_{\mathcal{S}} V(s') dF(s'; s, c), $$ donde $\mathcal{C}(s)$ es el conjunto de opciones enfrentado por el agente en el estado $s$ y $s' \mapsto dF(s'; s, c)$ es el núcleo de transición de Markov si el agente toma la opción $c$ en el estado $s$. (Por simplicidad notacional, asume no hay utilidad por período/descuento/etc. La discusión no cambiaría.) Por lo tanto, por definición, cualquier variable que determine el problema de optimización enfrentado por el agente es parte del estado.