Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

Assignment 1     (for Stat3021)

1. The random variables ξ, ξ1 , ξ2 , . . . are independent and identically distributed with distribution P (ξ = 0) = 1/4 and P (ξ = j) = c/j for j = 1, 2, 3.  Let X0  = 0 and Xn  = max(ξ1 , . . . , ξn ) for n = 1, 2, . . ..

(a) What value must c take?

(b) Explain why {Xn , n = 0, 1, 2, . . .} is a Markov chain.

(c) Write down the transition matrix.

(d) Draw the transition diagram and classify the states (aperiodic, transient, re- current, eorgodic, etc).

(e)  Calculate P (Xn  = 0).

(f)  Calculate P (X4  = 3, X2  = 1|X1  = 3).

2.  Consider a Markov chain {Xn }n≥0  having the following transition diagram:

For this chain, there are two recurrent classes R1  = {6, 7} and R2  = {1, 2, 5}, and one transient class R3  = {3, 4}.

(a) Find the period of state 3.

(b) Find f33  and f22 .

(c)  Starting at state 3, find the probability that the chain is absorbed into R1 .

(d)  Starting at state 3, find the mean absorbation time, i.e., the expected number of steps that the chain is absorbed into R1 or R2 .

Note: there are missing transition probabilities for this chain, but no impact for your solution.

3. A rat is put into the following maze:

The rat has a probability of 1/4 of starting in any compartment and suppose that the rat chooses a passageway at random when it makes a move from one compartment to another at each time.  Let Xn  be the compartment occupied by the rat after n moves.

(a) Explain why {Xn } is a MC and find the transition matrix P .

(b) Explain why the chain is irreducible, aperiodic and positive recurrent.

(c) What is the limit of Pn ? Explain.

(d) Find the probability that the rat is in compartment 3 after two moves.

(e) In the long run, how many times that the rat enters in compartment 4 in 100 movements?