Modelo de formación de hábitos y Variables de estado

Question

Tomando el modelo de formación de hábitos de consumo, como un problema estándar de programación dinámica.

Función de Valor de Bellman para el Modelo de Hábito

Max$\sum_{t=1}^T^tu(c_t - c_{t-1})$ $\qquad \qquad (1)$

tal que $w_{t+1} = (1+r)(w_t + y_t - c_t)$,

Aquí $c_t$ es el consumo en el tiempo $t$, $w_t$ son activos financieros que generan un interés neto constante $r$, $y_t$ es el ingreso laboral.

1. ¿Cómo determinaría las variables de estado? Se indican como $w_t$ y $c_{t-1}$. Creo que es porque éstas cambian endógenamente dentro del modelo, y ambas afectan el consumo futuro. Sin embargo, no estoy satisfecho con esta respuesta, y no estoy 100% seguro de por qué $y_t$ no es una variable de estado.

2. Factor de Descuento:

En general, estos modelos siempre terminan con una Ecuación de Bellman que se ve algo así:

$V(w_t, c_{t-1}, t) = max_{c_t} {u(c_t, c_{t-1}) + V(w_{t+1}, c_t, t+1)}$ $\qquad \qquad (2)$

$s.t. w_{t+1} = (1+r)(w_t + y_t - c_t)$

Entiendo cómo derivar la ecuación de Bellman cuando no tenemos un factor de descuento, pero ¿cómo derivamos la ecuación con un factor de descuento, especialmente para que la potencia de $t$ en $$  desaparezca?

3. ¿Es correcta mi comprensión del modelo:

• $V(w_t, c_{t-1},t)$ es la función de valor, que representa la utilidad de por vida de un agente que comienza con riqueza inicial de activos financieros $w_t$ y consumo previo $c_{t-1}$ en el tiempo $t$ y toma decisiones óptimas de consumo durante toda su vida.
• $V(w_t, c_{t-1},t+1)$ es la función de valor para nuestro $t+1$ hasta el tiempo $T$, es decir, captura el valor de la toma de decisiones óptimas, trabajando hacia atrás desde el punto de tiempo terminal $T$, es decir, ¿a través de la inducción hacia atrás?
• Nuestro problema es maximizar las decisiones de consumo, maximizar el valor hoy en día dado por $u(c_t - c_{t-1})$ y el valor futuro dado por $V(w_t, c_{t-1},t+1)$
• $u(c_t - c_{t-1})$ es la función de utilidad, que captura la utilidad instantánea que una persona obtiene al consumir $c_t$ en el tiempo $t$, dada su consumo previo $c_{t-1}$.
• $\beta$ es el factor de descuento, que determina la preferencia temporal del individuo por el consumo.

Answer 1

Parece que tu ecuación de transición no es estándar. Me tomé la libertad de cambiarla así: $$ \begin{align} &\max \sum^T_{t=0} \beta^t ( u(c_t) + \gamma u(c_{t-1}) ), \\ &\text{s.t. } c_t + w_{t+1} = (1+r)w_t + y_t. \end{align} $$ En tu formulación, tanto el ingreso como el consumo generan interés, lo cual no es normal. Entonces, la escribí de forma que el LHS muestre los gastos, y el RHS muestre la fuente de financiamiento. Y $y_t = f(w_t)$ donde $f'>0,f''<0$. (Por cierto, $w$ parece una elección extraña de la variable para activos porque normalmente representa el salario. Creo que es mejor usar $k$.)

Habrá 2 variables de estado $(c_{t-1}, w_t)$. Con base en eso, puedes escribir la ecuación de Bellman

$$ V(c_{t-1},w_t) = \max_{c_t, w_{t+1}} \left( u(c_t) + \gamma u(c_{t-1}) + \beta V(c_t, w_{t+1}) \right). $$ Usando la restricción, podemos reducirlo a un problema de 1 variable de elección $$ V(c_{t-1},w_t) = \max_{w_{t+1}} \left( u( \underbrace{(1+r)w_t + f(w_t) - w_{t+1}}_{c_t} ) + \gamma u(c_{t-1}) + \beta V( \underbrace{(1+r)w_t + f(w_t) - w_{t+1}}_{c_t}, w_{t+1}) \right). $$ Tu variable de elección es $w_{t+1}$, así que tomas FOC con respecto a ella $$ u'(c_t) + \beta V_1(c_t, w_{t+1}) = \beta V_2(c_t, w_{t+1}). $$ Las condiciones del teorema del sobre son $$ \begin{align} V_1(c_{t-1}, w_t) &= \frac{\partial V}{\partial c_{t-1}} = \gamma u'(c_{t-1}), \\ V_2(c_{t-1}, w_t) &= \frac{\partial V}{\partial w_t} = [(1+r) + f'(w_t)]u'(c_t) + \beta [(1+r) + f'(w_t)] V_1 (c_t, w_{t+1}). \end{align} $$ Avanzando un período, tenemos $$ \begin{align} V_1(c_t, w_{t+1}) &= \gamma u'(c_t), \\ V_2(c_t, w_{t+1}) &= [(1+r) + f'(w_{t+1})](u'(c_{t+1}) + \beta V_1(c_{t+1}, w_{t+2})]. \end{align} $$ Combinando estos 2 obtenemos $$ V_2 (c_t, w_{t+1}) = [(1+r) + f'(w_{t+1})](1 + \beta \gamma) u'(c_{t+1}). $$ Reemplazando $V_1(c_t, w_{t+1})$ y $V_2(c_t, w_{t+1})$ de nuevo en la FOC para obtener $$ u'(c_t) + \beta\gamma u'(c_t) = \beta[(1+r) + f'(w_{t+1})](1 + \beta \gamma) u'(c_{t+1}), $$ que se puede escribir como $$ (1+\beta\gamma) u'(c_t) = \beta [(1+r) + f'(w_{t+1})](1 + \beta \gamma) u'(c_{t+1}). $$ Cancelando términos comunes y reorganizando, tienes la ecuación de Euler $$ \frac{u'(c_t)}{u'(c_{t+1})} = \beta[(1+r) + f'(w_{t+1})], $$ que no depende del término de consumo rezagado. Sargent (1987) explica que la elección de $c$ implica comparar la pérdida en la utilidad marginal actual y la ganancia en el consumo futuro, por lo que el estado $c_{-1}$ no influye en la elección de $c$. Solo tiene un efecto de escala en la función de utilidad.

A partir de aquí, puedes utilizar Adivinar y Verificar para trabajar la función de Valor. Dado que tenemos 2 variables de estado, la forma usual debería ser $$ V(c_{t-1}, w_t) = E + F \ln w_t + G \ln c_{t-1}. $$ Dado que la ecuación de Euler es la misma que un problema sin consumo rezagado, puedes suponer que la Función de Valor es idéntica a un problema sin Formación de Hábito.