Principio de desviación de una sola vez para juegos repetidos infinitos y programación dinámica

Question

En un contexto en el que la rentabilidad futura se descuenta por un parámetro constante, principio de desviación de una sola vez es válida tanto para los juegos repetidos como para la programación dinámica.

Porque, en los juegos repetidos, una desviación de un disparo se refiere a una historia, por lo que en la trayectoria de equilibrio, una desviación de un disparo podría producir una jugada que difiere en más de una etapa de la trayectoria de equilibrio original.

¿Es cierto para la secuencia de variables de estado y de control en la programación dinámica? En otras palabras, ¿puede una desviación de una sola vez generar una secuencia mencionada que difiera para más de una etapa?

Answer 1

Una desviación (de una sola vez o no) puede ciertamente generar una secuencia que difiere de la óptima para un número arbitrario de períodos.

Se podría tratar un problema de programación dinámica como un juego repetido entre un jugador y el azar. El principio de desviación de una sola vez debería trasladarse de los juegos repetidos a la programación dinámica.

Answer 2

Hay un viejo resultado en programación dinámica debido a David Blackwell, según el cual los problemas estacionarios permiten respuestas mejores estacionarias. Así, si se gana cambiando el comportamiento después de una determinada historia, se ganaría cambiándolo en cada historia correspondiente al mismo estado.

Para la referencia original, véase el corolario del teorema 1 aquí .