STAT 253/317 Midterm I Winter 2022

1. An urn initially contains N balls, some are red and the others blue.  At each stage a ball is randomly selected. If the selected ball is red, then it is replaced with a red ball with probability 0.8 or with a blue ball with probability 0.2; if the selected ball is blue, then it is equally likely to be replaced by either a red or blue ball.

(a)  (5 pts) Suppose N = 3.  Let Xn  be 1 if the nth ball selected is red, and let it be 0 otherwise.  Is {Xn}n>1  a Markov chain? If so, give its transition probability matrix. If not, explain why.

(b)  (5 pts) For a general N , let Yn  denote the number of red balls in the urn immediately before the nth ball is selected. Is {Yn}n>1  a Markov chain? If so, give its transition probability matrix. If not, explain why.

2. A Markov chain {Xn  : n > 0} on the state space {0, 1, 2, 3, 4, 5, 6, 7, 8, 9} has a transition matrix below

(a)  (5 pts) Find all communicating classes.

5                       2   →   0

x   1   人              t         t

4   -   8   →   7   -   3          9

y   十   （               1

1                       6

(b)  (5 pts) For each state, determine whether it is recurrent or transient. Explain your reasoning.

(c)  (5 pts) For each state, determine its periodicity. Explain your reasoning.

(d)  (5 pts) Find the value of P (X10 = 3IX0 = 5)

(e)  (5 pts) Find the value of and P (X2021 = 7IX0 = 5).

(f)  (8 pts) Find the value of limn→oP (Xn = 9 I X0 = 9).

(g)  (8 pts) Find the value of limn→oP (Xn = 6 I X0 = 3).

3. A particle moves among n vertices {1, 2, 3, . . . , n} that are situated on a circle in the following manner. At each step it moves one step equally likely either in the clockwise direction or the counterclockwise direction. Let Xk  be the position of the particle after k steps.

(a)  (5 pts) Find the long run proportion of time the particle spends in each state.

(b)  (5 pts) Let Ni,j  = min{n : Xn  = j , n > 1I X0  = i} be the first time that the particle visits vertex j assuming that X0 = i. Find E[N1,1]. Hint:  What’s the relationship  between long run probability and expected first return time?

(c)  (10 pts) Find E[N1,2]. Hint:  Ni,i+1  and Ni,i-1  have identical distribution for all i.  Why?

4. At all times, an urn contains N balls—some white balls and some black balls.  At each stage, a coin having probability p, 0 < p < 1, of landing heads is flipped.  If heads appears, then a ball is chosen at random from the urn and is replaced by a white ball; if tails appears, then a ball is chosen from the urn and is replaced by a black ball. Let Xn  denote the number of white balls in the urn after the nth stage. {Xn, n > 0} is a Markov chain with the transition probabilities below

Pi,i+1 = p(1 - i/N),

Pi,i-1 = (1 - p)(i/N),

Pii = p(i/N) + (1 - p)(1 - i/N), Pij  = 0

for i = 0, . . . , N - 1,

for i = 1, . . . , N,

for i = 0, . . . , N,

if Ii - jI > 1