Section A

Invariant distributions and convergence to equilibrium

A1.  Consider a machine that can be up or down at any time.  If the machine is up, it fails after an exponential time of parameter α > 0. If it is down, it is repaired after an exponential time of parameter β > 0. The successive up times are i.i.d. and so are the successive downtimes, and the up and downtimes are independent of each other.

We know that we can model the state of the machine as a continuous-time Markov

chain (Xt, t 2 0) with state space S = (1, 2} by letting Xt  = 1 if the machine is up at time t 2 0, and Xt  = 2 if the machine is down at time t 2 0.  Moreover, the Q-matrix of (Xt, t 2 0) is given by

Q =  ╱ -α    α ←

『 β     -β 丫 .

(a) Write down the Kolmogorov backward and forward equations of the continuous- time Markov chain (Xt, t 2 0).

[10 marks]

(b)  Solve the Kolmogorov forward equations and obtain an expression for the transition probabilities P (t) = (pi,j (t))i,j11,2 , for t 2 0, of (Xt, t 2 0).          Hint:  Recall that the solutions of y/  = a + by are y(x) = cebx  - a/b, for some unknown constant c e s.

[10 marks]

(c) Find the invariant distribution ξ = (ξ(1), ξ(2)) of the continuous-time Markov chain (Xt, t 2 0).

[10 marks]

(d) For i, j = 1, 2, prove that pi,j (t) → ξ(j), as t → o.

[10 marks]

(e) What is the asymptotic proportion of time that the machine is down?  (Jus- tify your answer)

[10 marks]

Section B

Transitions probabilities and class structure

B1. A car factory is equipped with two electric generators. Assume that the electric

generators do not work at the same time.   If the first electric generator fails, then the other is switched on immediately.  If the second electric generator gets

broken, then the car factory stops working. Assume that the random lifetimes of the first and the second electric generator are distributed as exponential random variables of parameter λ 1  > 0 and λ2  > 0, respectively.

Suppose that we know that the number of operational electric generators behaves

as a continuous-time Markov chain (Xt, t 2 0), where Xt  represents the number of operational electric generators at time t 2 0.  Note that the state space of (Xt, t  2 0) is S  =  (0, 1, 2} (i.e. for i  = 0, 1, 2, the state i means there are i operational electric generators).  Moreover, the Q-matrix of (Xt, t 2 0) is given by

Q =  ╱．  

『                          丫 .

(a) What are the communicating classes of (Xt, t 2 0)? For each class, say if it is closed or not closed, recurrent or transient and absorbing.

[10 marks] (b)  Suppose that initially none of the electric generators have failed, i.e. X6  =

2.  For i = 0, 1, 2, what is the probability that at time t 2 0 there are i operational electric generators?

[10 marks]

(c)  Recall that the car factory stops working when both electric generators go down.  Let T = inf(t 2 0 : Xt  = 0} be the life time of the car factory (i.e., T is the first time both electric generators fail).  Suppose that X6  = 2 and find the cumulative distribution function of T.

[10 marks]

Section C

Brownian motion and It’s formula

C1.  Suppose that you have the option of selling, at a (finite) time T > 0 in the future, one unit of a stock at a fixed price K > 0. Assume that the present value of the stock is y > 0 and that its price varies according to a geometric Brownian motion (Xt, t 2 0) such that

Xt = yeBt ,   for  t 2 0,

where (Bt, t 2 0) is a standard Brownian motion. As the option will be exercised

if the stocks price is K or lower, its value at time T is given by

VT  = max(0, K - XT).

Show that the expected worth of owning the option at time T is given by

P [VT] =     1        K      1og ╱ 、e1室(x)T(室) dxdu.

Hint: Recall that for a continuous and nonnegative random variable X , we have that P [X] =  6& R(X > x)dx.

[10 marks]

C2. Let (Bt, t 2 0) be a standard Brownian motion.

(a) Use Itˆo’s formula to prove that

6t Bs(n)dBs = Bt(n)卓1 - 

nBs(n) 11ds,

6

for  n 2 1  and  t 2 0.

[5 marks]

(b) Use Itˆo’s formula to prove that the stochastic process (Xt, t 2 0) given by Xt = tBt, for t 2 0, is a solution of the integral stochastic equation

Xt =    t Xs ds +

sdBs ,   for  t 2 0.

6

[5 marks]