SECTION A

1. Let (Xn )n≥0 be a (time-homogeneous) Markov chain with state space S = {1, 2, 3, 4, 5} and transition matrix given by

(a) Draw the directed graph associated to this Markov chain and find the commu-

nicating classes of this Markov chain.

(b) Which of these communicating classes are closed?   Are there any absorbing

states?

(c)  Compute 匝[Xn  = 5|X0  = 5] and 匝[Xn  = 5|X0  = 4] for all n > 1.

(d) Which states of this Markov chain are transient and which states are recurrent? Carefully state any theorems you use in determining the classification of the states.

2.  (a)  Suppose that X and Y are independent random variables having the Poisson distribution with parameter α and β respectively, that is, for n > 0

αn e一α                                                       βn e一β

n!                                         n!   .

(i) Find the probability generating functions of X and Y .

(ii) Find the probability generating function of X+Y. What is the distribution

of X + Y?

(b)     (i)  Suppose that Z is a random variable taking non-negative integer values

with

匝[Z = n] = ,    w(兰)ise(n) ,兰 m

where m ∈ … is a constant. Show that the probability generating function of Z is given by

1 - sm+1       

(1 + m)(1 - s) .

(ii) A player can score 0, 1 or 2 points in a game with probabilities  ,  and  respectively. A sequence of N independent games are played where N is the value from rolling a fair dice (which takes values 1 through to 6). Find the probability generating function of the total sum of scores obtained and find the expected total sum.

3.  (a)  Carefully state the monotone convergence theorem.

(b) Let X and X1 , X2 , . . . be random variables such that for n > 1, Xn  > Xn+1  > 0 holds almost surely and limn→& Xn  = X almost surely.  Suppose that ←[X1] < o. Prove that

n(l)←[Xn] = ←[X].

Hint:  Consider Yn  = X1 - Xn .

(c)  Consider Ω = [0, 1] with probability measure given by the uniform distribution, that is 匝[ω ∈ [a, b]] = b - a for any 0 兰 a 兰 b 兰 1.  Define Yn (ω) = 1/(nω) for ω ∈ (0, 1] and Yn (0) = 1 for n > 1 .

(i)  Show that Yn  converges to 0 almost surely and that Yn (ω) > Yn+1(ω) for all ω ∈ (0, 1] and n > 1.

(ii)  Show that ←[Yn] = o for all n > 1.

(iii) Does limn→& ←[Yn] = ←[limn→& Yn] ?  If not, why does the result in (b)

not apply?