Question 1. (3 points) Dynamic Programming. Consider the problem of an infinitely lived consumer who starts with a wealth of W0 . At each point of time she/he can consume some of the wealth and thus save the remainder.  Let ct  be consumption level in period t and let u(ct ) = ln ct represent the flow of utility from this consumption. Given W0 , the consumer maximizes her/his lifetime utility

o

βtu(ct )

t=0

subject to the law of motion for wealth

Wt+1  = Wt ← ct .

(a) Formulate this problem as an optimization problem subject to a single lifetime con- straint (Hint: see Ch.1 of Williamson). Use Lagrangian method to find the optimality conditions.  Find the optimal decision rule for consumption, i.e the rule that tells you how much to consume for any given level of current wealth.

Solution: The consumer’s lifetime constraint is

o

ct  = W0 .

t=0

The Lagrangian for the problem of maximizing

o

βtu(ct )

t=0

subject to (1) is given by

) = t βtu(ct ) ← λ ╱ t ct ← W0 \ .

Differentiating (2) with respect to ct  and equating the result to zero yields

βtu\ (ct ) = λ, for t = 0, 1, ...

Notice that equation (3) implies that

βt+1u\ (ct+1) = λ, for t = 0, 1, ...

Dividing (4) by (3) yields the following intertemporal optimality condition

u\ (ct+1)

u\ (ct )

which can be rewritten in the familiar form

u\ (ct ) = βu\ (ct+1).

To obtain the decision rule for consumption, let’s substitute u(ct ) = ln ct  into the first

order condition (3):

βt = λ

which simplifies to

ct  = βt .

To obtain the expression for λ, substitute (6) into the budget constraint (1):

o                       o                           o

t=0                    t=0                         t=0

from which it follows that

= (1 ← β) W0 .

The decision rule for consumption follows from (6) and (7)

ct  = (1 ← β) W0 βt .

To express the decision rule in terms of Wt , notice that

t_1

Wt  = W0 ← ci .

i=0

Substituting (8) in the expression above we get

t_1

Wt     =   W0 ← (1 ← β) W0          βi

i=0

=   W0 ← W0  e1 ← βt、

=   W0 βt ,

t_1

where the second line follows from βi  = (1 ← βt ) . Now, from (8) we can write

i=0

ct  = (1 ← β) W0 βt  = (1 ← β) Wt .

(b) Write down the functional equation for this problem. Conjecture that the solution to the functional equation takes the form of:

V (W) = A + B ln(W)

for all W .  With this guess we have reduced the dimensionality of the unknown value function  V (W) to two parameters,  A and  B .   Use “guess and verify”  approach to find values for A and B such that V (W) will satisfy the functional equation.  What are the optimal decision rules for consumption, c = gc (W) and next-period wealth, W\  = gw (W)?

Solution: The value function is given by

V (W) =   max   íln(W ← W\ ) + βV (W\ )ì .

W\ ∈[0,W]

Our guess is

A + B ln(W) =   max   íln(W ← W\ ) + β (A + B ln W\ )ì . W\ ∈[0,W]

Notice that the constraint on W/ will neven be binding: W\  = 0 means c\  = 0 and u (c\ ) = &; W\  = W means c = 0 and u (c) = &.The first order condition is

← + βB = 0,

which we can solve for W\  to obtain the expression for the policy function

βB

1 + βB

By definition of the policy function we have

V (W) = ln(W ← gw (W)) + βV (gw (W)) .

Using the "guess" for the value function we have

V (W) = A + B ln W = ln(W ← gw (W)) + β (A + B ln (gw (W))) Using the expression (9) for gw (W) we obtain

A + B ln W   =   ln ╱W ← W、+ β ╱A + B ln ╱ W)、、

=   ln ╱ W、+ βA + βB ln (βBW) ← βB ln (1 + βB)

=   ln W ← ln (1 + βB) + βA + βB ln (βB) + βB ln (W) ← βB ln (1 + βB) = βA + βB ln (βB) ← (1 + βB) ln (1 + βB) + (1 + βB) ln (W)