Derivación simple del principio de máxima

Question

Consideremos el problema más sencillo de control óptimo \begin {align} & \max_u\int ^T_0{F(y,u)dt} \\ \text {s.t.} \quad & \dot y = f(y,u) \\ & y(0) = y_0 \\ & y(T)~~ \text {gratis} \end {align} donde $y$ es el estado y $u$ el control. Me gustaría utilizar un enfoque estático para derivar las condiciones necesarias del principio de máxima. Construir el lagrangiano: \begin {align} L^1(y,u, \lambda ) = \int ^T_0{[F(y,u) + \lambda (f(y,u)- \dot y)]dt} \end {align}

Las condiciones necesarias para el óptimo vienen dadas por \begin {align} L^1_u &= \int ^T_0{[F_u + \lambda f_u] dt} = 0 \\ L^1_ \lambda &= \int ^T_0{[f(y,u)- \dot y ]dt} = 0 \end {align}

Definir el hamiltoniano \begin {align} H(y,u, \lambda ) := F(y,u) + \lambda f(y,u) \end {align}

de manera que los FOCs pueden escribirse como \begin {align} H_u &= 0~ \forall t \\ H_ \lambda &= \dot y~ \forall t \end {align}

Para la última FOC escribimos el Lagrangiano como (integrando por partes) \begin {align} L^2(y,u, \lambda ) = \int ^T_0{[H(y,u, \lambda ) + \dot\lambda y]dt} + y_0 \lambda (0) - y(t)|_{t=T} \lambda (T) \end {align}

Tenga en cuenta que $L^1=L^2$ . El último FOC viene dado por la diferenciación sobre $y$ ( $y_0$ gotas, porque está arreglado) \begin {align} L^2_y &= \int ^T_0{[H_y + \dot \lambda ] dt} - \lambda (T) = 0 \\ \end {align}

y finalmente \begin {align} H_y &= - \dot \lambda ~ \forall t \\ \lambda (T) &= 0 \end {align}

Así que hemos terminado aquí.

• ¿Cómo puedo conseguir esas condiciones sin variar el lagrangiano, es decir, ceñirme a $L^1$ o $L^2$ ?

Answer 1

Después de un intercambio de comentarios, vamos a dar la respuesta bajo la formulación disrete-tiempo. El problema se escribe ahora

\begin {align} & \max_ {{u}_1^T, {y}_1^T} \sum ^T_{t=1}{F(y_t,u_t)} \\ \text {s.t.} \quad & y_{t+1}-y_t = f(y_t,u_t) \\ & y_1 = \text {dado} \\ & y_{T+1}~~ \text {gratis} \end {align}

donde $y_{t+1}$ es el valor de la variable stock al principio del periodo $t+1$ /final del periodo $t$ . El Lagrangean es \begin {align} \Lambda = \sum ^T_{t=1}{ \big (F(y_t,u_t) + \lambda_t [f(y_t,u_t)-y_{t+1}+y_t] \big )} \end {align}

Tenga en cuenta que $\lambda_t$ está asociada a $y_{t+1}$ .

Los FOCS son (para mantener $\forall t$ en el horizonte)

$$\frac {\partial \Lambda}{\partial u_t} = F_u(y_t,u_t) + \lambda_tf_u(y_t,u_t) = 0 \tag{1}$$

$$\frac {\partial \Lambda}{\partial y_{t+1}} = -\lambda_{t} + F_y(y_{t+1},u_{t+1}) + \lambda_{t+1}[f_u(y_{t+1},u_{t+1}) +1] = 0$$

$$\implies F_y(y_{t+1},u_{t+1}) + \lambda_{t+1}f_y(y_{t+1},u_{t+1}) = -(\lambda_{t+1}-\lambda_{t}) \tag{2}$$

que son las condiciones que habríamos obtenido si hubiéramos utilizado la formulación hamiltoniana. Para obtener el valor terminal de $\lambda_t$ , establecemos $t=T$ en $(2)$ (ya que la última variable del $y$ -secuencia es $y_{T+1}$ ), y obtenemos:

$$F_y(y_{T+1},0) + \lambda_{T+1}f_y(y_{T+1},0) = -(\lambda_{T+1}-\lambda_{T})$$

$u_{T+1}=0$ porque no hay ninguna decisión que tomar en el período $T+1$ . Además $\lambda_{T+1}$ también debe ponerse a cero, ya que se asocia con $y_{T+2}$ (fin de periodo) $T+1$ ) y estamos fuera del horizonte. Así que nos quedamos con

$$F_y(y_{T+1},0) = \lambda_{T}$$

Si ahora vamos a conseguir $\lambda_T=0$ o no depende de la formulación de la función objetivo $F(y_{t},u_t)$ ¿Incluye efectivamente la variable de estado? En caso afirmativo, ¿cuál es el valor de su derivada con respecto a la variable de estado cuando la variable de decisión se pone a cero? Etc