1. A Markov chain (Xn)n>0  with state space S = (1, 2, 3, 4, 5} has transition matrix

   、．

P =  ．(．)     0     1/5     0     4/5     0     ．(．) .

 ．．

(a) Find 贮(X4 = 2, X2 = 3|X0 = 2).

(b) If the initial distribution is uniform on (1, 2}, find 贮(X4 = 2, X2 = 3).

(c) Write down the communication classes of the chain.

(d) Find the period of each communicating class.

(e)  Determine which classes are essential.

(f)  Classify each essential communicating class as transient or positive recurrent or null recurrent.

(g)  Describe the long run behaviour of the chain (including deriving long run probabilities where appropriate).

(h) Find the probability of reaching state 3 before state 5 given the chain starts in state 1. 11é marks1

2. A renewal process (Nt)t>0  has inter-renewal distribution uniform on the interval (3 , 5).

(a)  Compute the mean and variance of the inter-renewal distribution.            (b)  On average, about how many renewals are there in the interval (0 , 1000)?

(c)  Give a symmetric interval around your estimate from (b) that will have a 95% chance of covering the true number of renewals.

(d) If Tk  denotes the time of the kth renewal, k = 1, 2, . . ., what would you estimate to be the mean of /TN1000+1 - TN1000、?

11女 marks1

3.  Customers arrive at a shop according to Poisson process (Nt)t>0  with rate 10 per hour. Each customer independently spends an amount, rounded to the nearest dollar, that is

distributed as a geometric random variable X with probability mass function 贮(X = k) = (9/10)k (1/10),  k = 0, 1, 2, . . .

(a) What is the chance that no customers arrive in a given half hour?

(b) What is the probability a given customer doesn’t make a purchase (spends 0 dollars)?

(c) What is the chance that in a given half hour, no customers enter the shop without making a purchase?

(d)  Given that 10 customers have arrived in a given hour, what is the expected number that arrived in the first half hour of that hour?

(e) What is the probability that in a given half hour, exactly 3 customers spend 0 dollars, exactly 2 customers spend 1 - 20 dollars (inclusive), and the remaining customers spend greater than 20 dollars?

(f) What is the mean and variance of the geometric random variable X?

(g) What is the mean and variance of the revenue for the shop over the course of 8 hours? 11à marks1

4. In a certain queuing system, jobs arrive according to a Poisson process with rate 4. When jobs arrive, they have to go through two servers in sequence (meaning a job gets served by the first server and then gets served or queues for the second server). Service times are exponential, and the first server works at rate 2, and the second at rate 1. Arriving jobs are turned away if either the first server is working, or there are 2 jobs in the system.

(a)  Model the number of jobs in the system (including those being served) as a continuous time Markov chain (Xt)t>0  with appropriate state space, and specify its generator.

(b) Find the stationary distribution of the Markov chain.

(c) What proportion of time is the second server idle?

(d) What is the average number of jobs in the system?

(e) What is the probability an arriving job is turned away?

(f)  Given a job is not turned away, what is the average amount of time it spends waiting for service?

(g)  Given a job is not turned away, what is the average amount of time it spends in the system?

11≠ marks1

5. A Markov chain (Xn)n>0  on (0, 1, 2, . . .} has transition probabilities given as follows. For i > 1,

pi,i+1 = 1 - pi,i-1 = p,

and

p0,1 = 1.

Note that the chain is irreducible.

(a)  Determine the values of p for which the chain is transient, null, and positive recurrent.

(b) For fixed 0 < p < 1 and each state i = 0, 1, . . ., find the long-run proportion of time the chain spends in state i.

1à marks1

6. Let (Bt)t>0  be a Brownian motion.

(a) For 0 < t1  < t2  < t3 , find constants a, b, c such that

Bt2   = aBt1  + bBt3  + cZ,

where Z is standard normal and independent of (Bt1 , Bt3 ).

(b)  Compute E[B2|B1 = x, B4 = y] and Var(B2|B1 = x, B4 = y).

(c) An insurance company receives 10 thousand dollars per day in payments.  For i = 1, 2, . . ., let Xi  be the amount, in thousands of dollars, that the insurance company pays out in claims i days from now. Assume that the Xi  are i.i.d. standard gamma with parameter 10, having density

x9 e-x

9!    ,  x > 0.

The company currently has 100 thousand dollars in its bank account for paying out claims. Assuming payments and claims are made at the same time each day, use the approximation of random walk by Brownian motion to estimate the probability that the insurance company has a positive amount in its bank account every day for the next 1000 days. You may want to use the fact that Mt  := min0<s<t(Bs}  -|Bt|.

1女 marks1