What is the probability that fewer than two calls (i.e. at most one call) come in the first hour?

Suppose that six calls arrive in the first hour. What is the probability that at least two calls arrive in the second hour?

The person answering the phone waits until fifteen phone calls have arrived before going to lunch. What is the expected amount of time that the person will wait?

Suppose it is known that exactly eight calls arrived in the first two hours. What is the probability that exactly five of them arrived in the first hour?

Suppose it is known that exactly k calls arrived in the first t hours.  What is the probability that exactly j of them (j < k) arrived in the first s hours (s < t)?

(f) Deduce the conditional mean number of arrivals in the first s hours given that exactly k calls arrived in the first t hours (t ≥ s).

[14 marks]

(a)  Consider the four-state Markov chain with transition matrix

╱  1   0   0   0 、

( 0   0   0   1 )

where q = 1 - p and 0 < p < 1.

i. Represent graphically this Markov chain.

ii. Assume that the chain starts in state 2. Find the absorption probabilities.

(b)  Consider a seven-state Markov chain with transition matrix

where q = 1 - p and 0 < p < 1.

Give a decomposition of this chain into classes of communicating states. For each recurrent class, state its periodicity and comment on the exis- tence of steady-state probabilities.

Assume that the chain starts in state 1. What is the long-term expected fraction of time that the chain spends in each of the seven states?

iii. Assume that the chain starts in state 4. What is the expected number of

transitions until it leaves states 4 and 5 never to return?

[19 marks]

Consider a four-state continuous-time Markov chain in which the transition rates

Write down the transition matrix of the corresponding embedded Markov chain as well as the transition rates out of each of the three states.

Obtain the steady-state probabilities of this Markov chain.

What is limt→o p32 (t)?

It can be shown that p22 (t) =  + e-4λt . Writing the appropriate backward equation, obtain p12 (t).

You may use the fact that the ordinary dierential equation y\ (t) -γy(t) = g(t) has a unique solution given by

y(t) = y(0)eγt + eγt ń0t e-γsg(s)ds.

[18 marks]

Consider a branching process, {Xn , n ≥ 0}, in which X0   = 1 and the offspring distribution is

P(ξ = 0) = p, P(ξ = 1) = q, P(ξ = 2) = q, P(ξ = 3) = p, where p + q = 1/2 and 0 < p < 1/2.

(a) Find the mean and the variance of Xn .

Find the probability of the population dying out on the second generation.

(c)  Obtain the probability of ultimate extinction.

[12 marks]

Consider a random walk Xn  = ξ1 + . . . + ξn , n ≥ 1, with

P(ξ1  = -1) = P(ξ1  = 1) = p,    P(ξ1  = 0) = 1 - 2p,

where 0 < p < 1/2.

(a)  Obtain P(X2  = 0) and P(X3  = 0).

The remainder of this question is devoted to generalising these findings.

(b)  Obtain the conditional distribution of ξj   given ξj     0; i.e.  obtain P(ξj   = xIξj   0), x = -1, 0, 1.

Obtain the probability that exactly k of ξ1 , . . . , ξn  are zero (and the remaining n - k of them are non-zero).

Argue that the conditional probability that Xn  is zero given that exactly k of ξ1 , . . . , ξn  are zero (and the remaining n - k of them are non-zero), is the same as the probability that a simple random walk is zero at step n - k .  Deduce an expression for P(Xn  = 0Ik of ξ1 , . . . , ξn  are zero).

Obtain an expression, as a sum (Lk(n)=0 . . .), for P(Xn  = 0).

[17 marks]

Let X1 , X2 , . . . be a sequence of independent and identically distributed random variables with

P(X1  = -1) = P(X1  = 1) = p,    P(X1  = 0) = 1 - 2p,

where 0 < p < 1/2. Define the following processes Mn  = X1 + . . . + Xn , for n ≥ 1, with M0  = 0, and Wn  = Wn-1 + Xn (1 + Xn-1 ), with W0  = 0.

(a)  Show that Mn  is a martingale with respect to the filtration {Fn , n = 0, 1, . . .} generated by the sequence X1 , X2 , . . ..

Show that Wn  is a martingale with respect {Fn , n = 0, 1, . . .}.

Let φ be the moment generating function of X1 . Show that eλWn   is a martin- gale with respect {Fn , n = 0, 1, . . .} if and only if φ(λ) = φ(2λ) = 1. Deduce that eλWn   is not a martingale with respect {Fn , n = 0, 1, . . .}, unless λ = 0.