STATS325/721 - Test 2021

1.  A discrete time Markov chain with state space I = {A,B,C,D,E,F} is represented by the following transition diagram:

1 3

A 

1 2

3 4

(a)  Find the communicating classes.  For each class, state its period and whether it is recurrent or transient.    [2]

(b)  Find the probability of hitting state E before B given X starts in A.         [4]

(c)  Find the expected time to irst hit state B starting from state F .                [4]

2.  A Markov chain X = (Xn )nN0  with state space I = {1, 2, 3} is represented by the

transition diagram                                        1

3

1

2

(a)  Write down the one-step transition matrix P for X .

(b)  What general properties should an equilibrium distribution T satisfy?        [2]

(c)  Calculate equilibrium distribution T for X .                                                        [2]

(d)  After a very long period of time, what is the probability that X will be found

(e)  What is the long term proportion of time spent in state 3?                            [1]

(f)  Calculate the long term average value of X, that is, limn→8 1n 对 Xn .     [2]

3.  The discrete time Markov chain X  =  (Xn )n0  with state space I =  {A,B} and one-step transition matrix P given by

)

(a)  Find the equilibrium distribution T of X .                                                           [2]

(b)  Find the eigenvalues of P .                                                                                      [2]

(c)  Find U1 , U2 , and λ 1 ,λ2  ∈ R such that Pn  = λ1(n)U1 + λ2(n)U2 , for n ≥ 0.           [3]

(d)  Find an expression for P(X2  = B;X5  = B|X0  = A).                                        [2]

(e)  Is X time reversible?  Justify your answer.                                                         [1]