Optimizacion Dinamica Tiempo Discreto Horizonte Infinito Paso a Paso

8/17/2019 Optimizacion Dinamica Tiempo Discreto Horizonte Infinito Paso a Paso

1/7

Notas de Clase

Introducción a la Programación Dinámica

Pedro Elosegui

Abril 2004

La programación dinámica es una metodología para resolver problemas in-

tertemporales, muy utilizado en problemas que incluyen incertidumbre acercade valores futuros. Aunque, en este caso nos concentraremos en la solución deun problema sin incertidumbre1 .

Supongamos un modelo de AR (agente representativo) que maximiza sufunción de utilidad intertemporal (con los supuestos usuales) que depende delconsumo (cs), sujeto a u na restricción presupuestaria que incluye u n ingreso(ys) y bonos (bs).

(1) U t =P1

s=t ¯ s¡t

u(cs)

(2) bs+1 = (1 + r)bs + ys ¡ cs

y sujeto a la condición de transversalidad, limT !1( 11+r

)T bt+T +1 ¸ 0

La programación dinámica sup one que existe una ecuación de valor V (::)(quepuede asumirse diferenciable bajo ciertas condiciones) comunmente llamadaecuación de Bellman, que da el máximo valor de u t sujeto al valor de la riquezainicial del agente wt, donde esta riqueza del agente es una ecuación dinámicaque evoluciona en el tiempo.

El problema de maximización intertemporal puede plantearse como un prob-lema recursivo que involucra a la ecuación d e Bellman. Como el agente selec-ciona una asignación de consumos para todo el sendero temporal, la selección

de ct debe maximizar U t+1teniendo en cuenta el efecto de ct sobre w t+1.

El comportamiento futuro del agente debe ser compatible con la maxi-mización de sus planes intertemporales, entonces U t = u(C t)+ ¯V (wt+1), dondeV (wt+1) es el plan óptimo dado wt+1. Este ejercicio se repite cada período den-tro del sendero óptimo. Entonces la ecuación de Bellman se caracteriza como:

1 Ver Obstfeld y Rogo¤ (1998). Foundations of International Macroeconomics. Pag. 718.

1


2/7

(3) V (wt) = maxctfu(ct) + ¯ V (wt+1)g

sujeto a (4) wt+1 = F (wt; ct)

La solución implica una condición de primer orden respecto de la variablede control ( C t), de las cuáles se derivan las condiciones de maximización intrae intertemporalesusuales. En este caso,

(5) u0(ct) + ¯V w(wt+1) = 0

y se utiliza el auxilio del Teorema del Envolvente, u0(C ) = V w(w), el efectode un cambio marginal en la riqueza genera el mismo efecto sobre la utilidadintertemporal del agente sin importar si se trata de un cambio en el econsumoy/o en el ahorro, esta condición es igual a la interpretación del multiplicador

lagrangiano en el problema de maximización restringida más usual.

Note que la partición que surge a partir del planteo de la ecuación de Bell-man facilita la solución y la intuición en modelos que incluyen incertidumbre, yaque en tal caso la incertidumbre estará restringida a la función de valor corre-spondiente al período t+ 1 (claramente no hay incertidumbre en t) y el problemase vuelve lineal y puede llegar a simpli…carse. No obstante, la solución de unproblema utilizando ecuación de Bellman es más un arte que una ciencia, en mu-chos casos problemas simples se pueden resolver de forma recursiva empezandodesde el T …nal, en otros casos la función de valor no puede ser determinadaunívocamente. No obstante, para nuestro objetivo, la resolución de ejerciciossimples nos permite captar la idea intuitiva detrás del método de resolución de

programación de Bellman.Veremos dos aplicaciones, una corresponde a la solu-ción del ejercicio ya planteado y otra corresponde a un problema de dinero enla función de utilidad.

Para el ejemplo que planteamos a l inicio, de…nimos la riqueza del agentea partir del valor p resente d e los ingresos futuros del agente más los bonosacumulados hasta el período:

(6) wt+1 = (1 + r)bt+1 +P1

s=t+1( 11+r )

s¡(t+1)ys

Note que la serie de valor presente del ingreso se puede descomponer de lasiguiente manera:

(7)P1

s=t+1( 11+r

)s¡(t+1)ys = yt+1 + ( 11+r

)yt+2 + ( 11+r

)2yt+3 + :::: =

= (1+ r)P1

s=t+1( 11+r

)s¡tys = (1+r1+r

)yt+1 + ( 1+r(1+r)2

)yt+2 + ( 1+r(1+r)3

)yt+3 + :::::

y de la restricción presupuestaria (2) sabemos que bt+1 = (1 + r)bt + yt ¡ ct

2


3/7

reemplazando nos queda,

(8) wt+1 = (1 + r)((1 + r)bt + yt ¡ ct) +P1

s=t+1 ( 11+r

)s¡(t+1)ys

(9) wt+1 = (1 + r)((1 + r)bt + yt ¡ ct) + (1 + r)P1

s=t+1( 11+r)

s¡tys

Note que,

(10) (1 + r)yt + (1 + r)P1

s=t+1( 11+r

)s¡tys = (1 + r)P1

s=t( 11+r

)s¡tys =

(1 + r)yt + (1+r1+r

)yt+1 + :::

Entonces podemos agrupar,

(11) w t+1 = (1 + r)((1 + r)bt +P1

s=t( 11+r)s¡tys ¡ ct))

Por lo tanto, la restricción presupuestaria re‡eja el sendero intertemporal dela evolución de la riqueza del agente:

(12) w t+1 = (1 + r)(wt ¡ ct)

Nuestro ejercicio será entonces,

(13) V (wt) = maxctfu(ct) + ¯V (wt+1)g

sujeto a (12) w t+1 = (1 + r)(wt ¡ ct)

La condición de primer orden es,

(14) u0(ct) ¡ (1 + r)¯ V w(wt+1) = 0

que usando el teorema de la envolvente, (15) u 0(c) = V w(w)se transforma en la conocida condición de optimalidad intertemporal del

consumo o ecuación de Euler:

(16) u 0(ct) ¡ (1 + r)¯u0(ct+1) = 0

Dinero en la función de utilidad

Introducir el d inero en un modelo d e equilibrio general con agente repre-sentativo genera ciertas di…cultades. Una de las características del dinero estadado por el hecho de que no paga tasa de interés. Por esta razón el dinero esdominado en términos de retorno por otros activos (i.e. bonos) que pagan unatasa de interés. No obstante, a pesar del costo que insume su tenencia existe unademanda positiva de dinero. Al analizar el dinero en un modelo de equilibrio

3


4/7

general debemos tener en cuenta que la presencia de este costo de oportunidad

genera que ningún agente racional que maximiza su utilidad esperada, depen-diente del consumo, quiera tener dinero en su poder, salvo que se lo obligue atener dinero a través de algún mecanismo adicional.

Utilizando la restricción presupuestaria pod emos mostrar claramente el costode oportunidad de tener dinero. Supongamos que el agente recibe una transfer-encia ¿ t de dinero de parte del gobierno, además recibe un ingreso yt , consumect y tiene acceso a dos tipos de activos, uno llamado bono bt que paga una tasade i nterés Rt( que suponemos constante para simpli…car), y otro llamado dineromt que no paga tasa de interés. Suponemos que todas las variables están expre-sadas en términos reales, con el nivel de precios esta dado por pt. La restricciónpresupuestaria del agente en el período t esta dada por:

(1) yt + ¿ t + m

t¡

11+¼t + bt¡1 (1 + R) = ct + mt + bt

La ecuación (1) muestra los ingresos, más las tenencias de bonos y dinerodel período anterior (con los respectivos intereses) y los ”usos”, consumo delperíodo, b onos y tenencias de dinero. Note además, que en términos realesM t¡1P t

= M t¡1

P t

P t¡1P t¡1

= mt¡1

ptpt¡1

= mt¡11+¼t

con 1 + ¼ t = pt pt¡1

.

En t + 1 la restricción (1) se transforma en (2),

(2)yt+1 + ¿ t+1 + mt1+¼t+1

+ bt (1 + R) = ct+1 + mt+1 + bt+1

Despejando bt y reemplazando en (1),

(3) y t + yt+11+R

+ ¿ t + ¿ t+11+R

+ mt¡11+¼t

+ bt¡1 (1 + R) = ct + ct+11+R

+ mt1+¼t+1

R+¼t+11+R

+mt+11+R +

bt+11+R

La ecuación (3) muestra por un lado el ”valor presente” al período t de losingresos del agente, i ncluyendo s u ”dotación inicial” de bonos y dinero, mientrasque del lado derecho muestra el valor presente del consumo del agente más elvalor presente de las tenencias futuras de dinero y bonos. Se observa también untérmino que muestra el costo de oportunidad en términos de la tasa de interésperdida debido a la tenencia de dinero en lugar de bonos.

Podemos seguir iterando para calcular la restricción presupuestaria en valor

presente:

(4)P1

t=0yt

(1+R)t +P1

t=0¿ t

(1+R)t + mt¡1

1+¼t+ bt¡1 (1 + R) =

P1

t=0ct

(1+R)t

+P1

t=0mt

1+¼t+1(1+R)tR+¼t+11+R

En esta restricción estamos haciendo dos supuestos usuales que tienen quever con condiciones de solvencia. cuales son?

4


5/7

Una manera razonable de justi…car la demanda de dinero para realizar

transacciones radica en la idea de que tener dinero en efectivo ahorra tiempo, hayque ir menos veces al cajero automático generando menores costos de transac-ción, y un mayor nivel de utilidad (?). Quizás una persona puede de esta formaahorrar tiempo, disfrutando más libremente del tiempo de ocio mientras hacecompras. A un economista argentino se le ocurrió postular la idea de incluir eldinero en la función de utilidad, desde entonces este modelo se conoce como elModelo de S idrauski (ver Blanchard y Fisher, cap 4). La función de utilidadestará dada por:

(5) U (ct ; mt)

con mt = M tP t

y los supuestos usuales,U c > 0; U cc 0 (?).

Problema de optimización del agente representativo,

(6) M ax(ct;mt;bt)P1

t=0 ¯ t

U (ct; mt)

sujeto a la restricción presupuestaria (1) o en su defecto (4), recuerde que(4) es la versión en valor presente de (1). Veremos la resolución del modelo porel Método de Optimización Dinámica y luego por el Método de Lagrange comoejercicio.

A. Resolución por Ecuación de Bellman 2 :

(7) M ax(ct;mt;bt)P1

t=0

¯ tU (ct ; mt)

sujeto a (8) yt + ¿ t + mt¡11+¼t

+ bt¡1 (1 + R) = ct + mt + bt

(9) wt = yt + ¿ t + mt¡11+¼t

+ bt¡1 (1 + R) = ct + mt + bt

(10) bt = w t ¡ mt ¡ ctLa ecuación de Bellman está dada por:

(11) V (wt) = max(ct;mt;bt)fu(ct ; mt) + ¯V (wt+1 )g

sujeto a,

(12) w t+1 = yt+1 + ¿ t+1 + mt1+¼t+1 + bt+1 (1 + R)

Podemos reemplazar wt+1 y b t = wt ¡ mt ¡ cten la ecuación de Bellman:

(13)

2 Esta sección puede ampliarse viendo el cap.2 de Carl E. Walsh (2001). Monetary Theoryand Policy.

5


6/7

V (wt) = m a x(ct;mt)fu(ct ; mt) + ¯V (yt+1 + ¿ t+1 + mt1+¼t+1

+ (wt ¡ mt ¡

ct) (1 + R))g

Condiciones de primer órden, respecto a ct y mt:(14) uc(ct ; mt) ¡ ¯V w(wt+1) (1 + R) = 0

(15) um(ct; mt) ¡ ¯V w(wt+1) 1

1+¼t+1+ ¯V w(wt+1) (1 + R) = 0

Condiciones de solvencia intertemporal: (16) limt!1 ¯ t

¸txt = 0con xt = bt; mt

Por el Teorema de la Envolvente: (17) ¸t = uc(ct; mt) = V w(wt)

Reemplazando (14) en (15),

(18) um(ct; mt) ¡ ¯uc(ct+1; mt+1) 1

1+¼t+1+ ¯uc(ct+1; mt+1 ) (1 + R) = 0

Donde la utilidad marginal del dinero iguala a la utilidad marginal del con-sumo considernado el costo en términos de utilidad que se paga como conse-cuencia del costo de oportunidad de tener dinero medido en términos de ”utilesde consumo”.

Usando la condición que surge del Teorema de la Envolvente, ¸t+1 = uc(ct+1; mt+1) =V w (wt+1), reemplazando en la condición de primer orden:

(19) uc(ct ; mt) ¡ ¯uc(ct+1; mt+1 ) (1 + R) = 0

De aqui surge la Ecuación de Euler o condición de optimalidad intertemporal

(interprete..):

(20) uc(ct ;mt)uc(ct+1;mt+1)

= (1+ R)¯

De la ecuación (18), dividiendo por uc(ct; mt), surge la condición de opti-malidad intratemporal (por que?):

(21) um(ct;mt)uc(ct;mt)

¡ ¯ 11+¼t+1

uc(ct+1;mt+1)uc(ct;mt)

+ ¯ (1 + R) uc(ct+1;mt+1)uc(ct ;mt)

= 0

(22) um(ct;mt)uc(ct;mt)

= ¯ ( 11+¼t+1

) 1(1+R)¯

¡ 1 = 1¡ 11+¼t+1

1(1+R)

= it1+it

Donde it = Rt + ¼ t+1 es la tasa de interés nominal. De esta condición sederiva la demanda de dinero, que depende positivamente del consumo y nega-tivamente d e la t asa de interés nominal. Podemos p robar con una función deutilidad aditiva y separable como u (ct; mt) = ln ct + ° ln mt

B. Resolución por Método de Lagrange:

La maximización intertemporal sujeta a la restricción presupuestaria expre-sada en términos del valor presente:

6


7/7

(1) L =P1

t=0 ¯ tU (ct; mt)+¸(

P1

t=0yt

(1+R)t+P1

t=0¿ t

(1+R)t+mt¡11+¼t

+bt¡1 (1 + R)

¡P1

t=0ct

(1+R)t ¡P1

t=0mt

1+¼t+1(1+R)tR+¼t+11+R )

Note que al utilizar la restricción en valor presente sólo requerimos un ¸ yaque se trata de sólo una restricción.

Las condiciones de primer orden son:

(2) Lc = ¯ t

uc(ct; mt) ¡ ¸ 1

(1+R)t = 0

(3) Lm = ¯ tum(ct; mt) ¡ ¸

11+¼t+1(1+R)t

R+¼t+11+R

= 0

De (1) surge, ¯ tuc(ct; mt) = ¸ 1

(1+R)t, entonces ¯ t+1uc(ct+1; mt+1) = ¸

1(1+R)t+1

,

de donde,

(4) ¯tuc(ct;mt)

¯t+1uc(ct+1;mt+1) = ¸ 1(1+R)t

(1+R)t+1

¸ = ¯ (1 + R)

Condición intertemporal:

(5) uc(ct ;mt)uc(ct+1;mt+1)

= ¯ (1 + R)

Esta es la usual condición de Euler. Donde R es la tasa de interés real.Evaluando (2) en t e igualando con (3),

(6) ¯ tum(ct; mt) = 11+¼t+1

R+¼t+11+R ¯

tuc(ct; mt)

Condición intratemporal:

(7) um(ct ;mt)uc(ct ;mt)

= 11+¼t+1

R+¼t+11+R

= it1+it

De la condición (7) surge que la demanda de dinero depende del nivel deconsumo (o ingreso) y de la tasa de interés nominal.

Por lo tanto(8) md = u¡1m ( it1+it

uc(ct ; mt))

7

Documents

Optimizacion Dinamica Tiempo Discreto Horizonte Infinito Paso a Paso