Questions

Q 1. Let S = (Sn)n≥0  be a simple random walk with S0 = 0, that is,

Sn = ξ 1 + ξ2 + ··· + ξn,    n ≥ 0,

where ξ 1 ,ξ2 , . . .  are a sequence of i.i.d. random variables with P(ξ1 = 1) = p ∈ (0, 1) and P(ξ1 = −1) = q = 1 − p. Let

Mn = max{Sk  : 0 ≤ k ≤ n},    n ≥ 0.

Show that Y = (Yn)n≥0 = (Mn− Sn)n≥0  defines a Markov chain; find the transition probabilities  of this chain.                                                                                                                        [15 marks]

Q 2.  Consider a time-homogeneous Markov chain X = (Xn)n≥0  on the state space S = {1, 2, 3} and

with transition matrix

P =    1 4p

4p

1 − 2p

4p

p(0)     

1 − 4p    ,

where 0 < p < 1/4. First show that the state space S is irreducible for X, then compute the mean

recurrence times of all states.

[15 marks]

Q 3. Let X = (Xn)n≥0  be a Markov chain with values in the finite state space S = {1, 2, . . . ,m}, and

define

τ = inf{n > 0 : Xn = X0}.

Suppose that X is irreducible, and π = (πi)1≤i≤m  is a stationary distribution of X . Let Pπ  denote the probability measure P conditional on X0  has the distribution π (and similarly the expectation

Eπ). First show that πi  > 0 for any 1 ≤ i ≤ m, then compute Eπτ .                                [15 marks]

Q 4. Let N = (Nt)t≥0  be a Poisson process with intensity λ, and let Tn  denote the time of the nth

arrival. Compute E(N11 |N3 = 7), E(T19 |N3 = 7), and, P(N1 = 5|N3 = 7).                 [15 marks]

Q 5.  Consider a time-homogeneous Markov chain X = (Xt)t≥0  on the state space S = {1, 2} and with

generator

G =   ,

where µ,λ > 0. First write down the forward equation for the transition probability p11 (t) and its derivative p11(′)(t), then solve this equation for p11 (t), finally find the stationary distribution of the

Markov chain X .

[15 marks]

Q 6. A particular infectious disease may transmit around the household with the following properties:

• Each person is either Infectious, or Susceptible;

• When there are I people infected, recoveries happen at rate αI;

• New infections happen at rate βI(H − I), where H − I is the number of people susceptible.

Suppose that there are 4 household members. Consider the Markov chain I = (It)t≥0, where the state space is S = {0, 1, 2, 3, 4}, and It  is the number of people infected at time t.

(a) What is the generator G of this Markov chain I = (It)t≥0?

(b)  Suppose that additionally each person in the household is subject to constant risk of      infection from outside the household at rate γ, then what is the generator G of this new Markov chain I = (It)t≥0?

[10 marks]

Q 7. Let B = (Bt)t≥0  be a standard Brownian motion. For any λ  0, define the process Bλ = (Bt(λ))t≥0

by

Bt(λ) = Bλ2 t,    t ≥ 0.

Show that Bλ  is also a standard Brownian motion.

[15 marks]

Appendix

0.1    Poisson distribution

A discrete random variable X, taking values in positive integers {0, 1, ··· }, is called Poisson distributed with parameter λ > 0, i.e. X ∼ Poi(λ), if its probability mass function is given by

P(X = k) = e −λ λk         for k = 0, 1, ···

0.2    Exponential distribution

A continuous random variable X is called exponential distributed with parameter λ > 0, i.e. X ∼ Exp(λ), if its probability density function is given by

f(x) =

0.3    Table of probability generating functions

0.4    Table of standard normal distribution function