Economics 440.602 Macroeconomic Theory Lecture 4

1 LEARN1Nc OBjEcT1vEs

Students should understand:

● Stochastic Process

● Time Series Process

● Markov Chain Process

2 MARKov CHA1Ns

1. A stochastic process is a mathematical model that evolves over time in a probabilistic manner. In this section we study a special kind of stochastic process, called a Markov chain, where the outcome of an experiment depends only on the outcome on the present state, not on preceding states.  Applications of Markov chains in economics are quite common and have become a standard tool of economic decision making. Markov chains are named after the Russian mathematician A.A. Markov (1856 - 1922), who started the theory of stochastic process.

(a) Formally, we define a stochastic process as a sequence of random vector. For us, the sequence will be ordered by a time index, taken to be integers.

i. Markov Property: A stochastic process {xt } is said to have the Markov prop- erty if for all k > 1 and all t,

Pr(xt lxt-1 , xt-2 , . . . , xt-k ) = Pr(xt lxt-1 )

ii. By assuming the Markov property we begin to characterize the process by a Markov chain.  That is, a time-invariant Markov chain is defined by a triple of objects,  namely,  (1) an n-dimensional state space consisting of vectors ei , i = 1, . . . , n, where ei  is an (n × 1) unit vector whose i entry is 1 and all other entries are zero; (2) an (n × n) transition matrix P, which records the probabilities of moving from one value of the state to another in one period;

(3) and an (n × 1) vector π0  whose ith element is the probability of being in state i at time 0: π0i   = Pr(x0  = ei )

(b) As an example, in economics, it is convenient to classify agents into three states. Table  1 shows that if an agent is in state  1 ten there is a probability of 0 .65 that the individual will remain in state 1, probability of 0.28 that the agent will transition to state 2, and a probability of 0.07 that the agent will transition to state 3.

(c) The simple Pij  will be used for the probability of transition from state i to state j in one period. For example, P23  represents the probability that a person in state

2 will end up in state 3; from the table above, P23  = 0.18.  Also from the table, P31  = 0.12, P22  = 0.67, and so on.

(d) To begin our formal analysis we define an (n × 1) vector ei  (consisting of only 1’s and 0’s).

i. The vector contains all zeros, except in the ithe place where it is 1.

e1     =   (1, 0, 0, . . . , 0)

e2     =   (0, 1, 0, . . . , 0)

e3     =   (0, 0, 1, . . . , 0)

en     =   (0, 0, 0, . . . , 1)

(e) We formally define the elements of the transition matrix P as

Pij  = Pr(xt+1  = ej lxt  = ei )                                          (1)

i. The transition matrix indicates the probability from going from state i to j .

(f)  Example: Suppose n = 2, and = ┌ y(y会)w(会) ┐ . There are two possibilities that can

exist

e1     =   (1, 0)       e1y¯ = y会iμ会 ,    and

e2     =   (0, 1)       e2y¯ = ylow

i. The transition matrix can be defined as follows:

P = ┐ = ┐ = ┐

ii. where P12  = P21  does not necessarily hold.

iii. In a transition matrix, the states are indicated at the side and the top. If P represents the transition matrix for the table above, then

P = ┌

' 0.12

0.28

0.67

0.36

┐

0.52 '

(g) A stochastic matrix defines the probabilities of moving (transitioning) from each value of the state to any other in one period.  A transition matrix has several features:

i. It is a square matrix, since all possible states must be used both as rows and as columns.

ii. All entries are between 0 and 1, inclusive; this is because all entries represent probabilities.

iii. The sum of the entries in any row must be 1, since the numbers in the row give the probability of changing from the state at the left to one of the states indicated across the top. That is, for i = 1, . . . , n the matrix P satisfies

n

L Pij  = 1.

j=1

iv. A matrix P that satisfies the summation property is called a stochastic matrix.

(h) A transition matrix, such as matrix P above, also shows two key features of a Markov chain.

i. A sequence of trials of an experiment is a Markov chain if

● the outcome of each experiment is one of a set of discrete states;

● the outcome of an experiment depends only on the present state, and not on any past states.

(i) The probability of moving from one value of the state to any other in two periods is determined by P2  because

Pr(xt+2  = ej lxt  = ei )   =   Pr(xt+1  = eh lxt  = ei )

n

=   L Pr(xt+2  = ej lxt+1  = eh ) . Pr(xt+1  = eh lxt  = ei )

h=1

n

=   L Phj  . Pih  = P

h=1

i. where P is the i, j element of P2 .

(j) For example, in transition matrix P, an agent is assumed to be in one of three discrete states (state 1, state 2, or state 3), with each agent ending in one of these same three discrete states.

P2  = ┌

' 0.12

0.28

0.67

0.36

┐ ┌ 0.52 ' ' 0.12

0.28

0.67

0.36

0.52 ' s  ' 0.19

0.39

0.56

0.46

┐

0.34 '

i.  (The numbers in the product have been rounded to the same number of dec- imal places as in matrix P.)  The entry in row 3, column 2 of P2  gives the probability that an agent in state 3 will transition to state 2 after two periods.

ii. Row 1, column 3 of P2  gives the number 0.13, and is the probability that an agent in state 1 will transition to state 3 after two periods.

iii. How would the entry 0.47 be interpreted?

(k) In the same way that matrix P2  gives the transition probabilities after two peri- ods, the matrix P3  = P . P2  gives the probabilities of change after three periods.

i. For matrix P1

P3  =  '(┌) 0(0).(.)1(6)5(5)   0(0).(.)6(2)7(8)   0(0).(.)1(0)8(7) '(┐) '(┌) 0(0).(.)2(4)2(7)   0(0).(.)5(3)6(9)   0(0).(.)2(1)2(3) '(┐) s  '(┌) 0(0).(.)2(3)5(8)   0(0).(.)5(4)2(4)   0(0).(.)2(1)3(7) '(┐)

ii. Matrix P3  gives a probability of 0.25 that an agent in state 2 will transition to state 1 after three periods. The probability is 0.52 that an agent in state

2 will remain in state 2 after three periods.

iii.  Similarly, by letting P denote the i, j element of Pk  and iterating on the preceding equation, we discover that

Pr(xt+k  = ej lxt  = ei ) = Pij(k) .

(l)  Example: Let l = 2 and suppose that P is defined as follows: P = ┌ ┐ ,

i. then

P2  = ┌ ┐ , P3  = ┌ ┐ , P4  = ┌ ┐

ii. Notice that the sequence {Pn } quickly converges ton(l) Pn  = ┌ ┐

iii. This is known as the limiting distribution. Note, too, that if the probability distribution over the initial state is Pr* (●), then it is also Pr* (●) in every suc- cessive period. A vector with this property is called an invariant distribution, Pr* (●).

(m)  Suppose the following table gives the initial distribution:

i. The initial distribution of states, 21%, 68%, and 11%, becomes, after one pe- riod, 25.17% in state 1, 55.4% in state 2, and 19.43% in state 3.

ii. The unconditional probability distributions of xt  are determined by

π =   Pr(x1 ) = πP

π =   Pr(x2 ) = π P = πP2

π =   Pr(xk ) = πPk

iii. where π = Pr(xt ) is the (1 × n) vector whose ith element is Pr(xt  = et ).

iv. These distributions can be written as probability vectors (where the percents have been changed to decimals rounded to the nearest hundredth)

π0  = [ 0.21   0.68   0.11 ]\       and π 1  = [ 0.25   0.55   0.19 ]\

v. respectively. Here π0  is called the initial probability vector and it satisfies

n

L π0i   = 1.

i=1

vi. To find the distribution of states after one period requires multiplying the initial probability vector π0 , and the transition matrix P:

π . P = [ 0.21   0.68   0.11 ]'(┌) '(┐) s [ 0.25   0.55   0.19 ]

vii. In a similar way, the distribution of income classes after two generations can be found by multiplying the initial probability vector and the square of P, the matrix P2 . Using P2  from above,

π . P2  = [ 0.21

0.68   0.11 ] ┌

0.39

0.56

0.46

'(┐) s [ 0.27   0.51   0.21 ]

viii. Next, we develop a long-range prediction for the stochastic process.

(n)  Suppose a Markov chain has initial probability vector

π0  = [ π0,1 ,   π0,2 ,   π0,3     , . . . ,   π0,n  ]\

(o) and transition matrix P. The probability vector after k repetitions of the exper- iment is

π . Pk

i. A probability vector is a matrix of one row, having nonnegative entries, with the sum of the entries equal to 1.

ii. To find the distribution of states after one period is exactly the work required to multiply the initial probability vector, [ 0.21 0.68 0.11 ], and the distribu- tion matrix P:

(p) Using this information, we can compute the distribution for three or more periods as illustrated in the table below. The initial probability vector is [0.21 0.68 0.11]

i. The results seem to approach the numbers in the probability vector [0.286 0.489 0.225]

ii. What happens if the initial probability vector is different from [0.21 0.68 0.11]?

iii.  Suppose instead that [0.75 0.15 0.10] is used as the initial probability vector; the same power of the transition matrix as above give us the results in the table below.