1.  (15 marks.   Upload your handwritten answers and short justifications. Short justifications are worth half of the marks.)

Suppose that {xn }n>0  is a Markov Chain (MC) with state space s = {0．1．2．3}

where 0 5 a 5 1 and 0 5 8 5 1.

(a) Find all values of a and 8 so that the MC is irreducible, aperiodic and recurrent. (b) Let a = 8 = 1/2. Find the stationary distribution of the MC.

(c) Let a = 8 = 1/2. Find the limit of Pn  as n → o.

(d) For n ≥ 0, define the probability distribution of xn  by

π (n)  = ┌ P (xn  = 0)．   P (xn  = 1)．   P (xn  = 2)．   P (xn  = 3)┐ .

Let a  =  8  =  1/2.   Specify π (0)   so that,  for all n  ≥  0．  xn   has the same probability distribution, i.e., π (n)  = π (n-1)  = ... = π (0) .

(e)  Suppose that a system is modelled by the MC {xn }n>0  with a = 8 = 1/2, and a gambler plays against a machine based on the state of the system:  in each game, he loses $1 if the system is at states 0．1．2 or he will win $5 if the

system is at state 3. Find the gambler’s average winning in 100 such games.

2.  (16 marks.   Upload your handwritten answers and short justifications. Short justifications are worth half of the marks.)

At time 0, a blood culture starts with one red cell.   At the end of one minute,

the red cell dies and is replaced by the following combinations with probabilities as

indicated:

1

2 red cells

1 red, 1 white

2 white cells.

Each red cell lives for one minute and then gives birth to offspring in the same way as the parent cell. Each white cell lives for one minute and dies without reproducing.

The individual cells act independently of each other.

Let xn  denote the number of red cells at time n + 1/2.

(a) Explain why {xn．n ≥ 0} is a branching process with x0  = 1 and the offspring distribution:

f0  = 1/12．    f1  = 2/3．    f2  = 1/4.

(b)  Calculate the probability of the event that there are no red cells at time 2 .5.

(c) Find the expected number of red cells n minutes after the culture began and the probability that the culture eventually dies out.

(d)  Suppose that, at time 0, a blood culture produces red cells according to a Poisson distribution with mean A = 2 rather than just one red cell (other facts related to this question do not change).   Find the expected number of red cells n minutes after the culture began and the probability that the culture eventually dies out.

3.  (16 marks.   Upload your handwritten answers and short justifications. Short justifications are worth half of the marks.)

Motor vehicles arrive at a toll gate according to a Poisson process with rate A = 2 vehicles per minute.  The vehicles arriving at the gate belong to classes 1．2 or 3 with probabilities 1/2, 1/3 or 1/6, respectively. The drivers pay tolls of $1, $2 or $5 depending on the classes 1．2．or 3 their vehicles belong to.

(a) Find the probability that exactly $1 is collected in a period of 2 minutes. (b) Find the probability that the first toll collected is $1.

(c) Find the probability that the waiting time between two vehicles that pay $5 is more than 10 minutes.

(d) Find the mean and the variance of the amount in dollars collected in any given hour.