Main Examination period 2022 – January – Semester A

MTH6141: Random Processes

Question 2 [25 marks].

(a)  Give an example of a statement involving recurrence and transience which holds for chains with finite state space but not for chains with infinite state space.            [4]

Let (X0 , X1 , X2 , . . .) be the discrete-time, homogeneous Markov chain on state space S = Z with X0  = 1 and transition probabilities

pi﹐i+2  = pi﹐i-2  = 1/2 if i > 4 is even

p2 ﹐ 4  = 1

p0 ﹐ 0  = 1

pi﹐i+2  = pi﹐i-2  = pi﹐i-1  = 1/3 if i > 0 is odd

pi﹐i-1  = pi﹐ -1  = 1/2 if i ↓ −1

(b)  Sketch a representative portion of the transition graph for this chain.

(c)  Give a general description of how the chain will evolve.

(d) Write down the communicating classes of this chain.

(e)  Classify each state as being transient, null recurrent or positive recurrent giving brief reasons.

(You may use properties of the Markov chains we discussed as examples in lectures without proof provided you state clearly what you are refering to.)

(e) Is the process which counts the total number of riders passing my house a birth process? Justify your answer.        [2]

(f) Let R(t) be the number of riders who pass my house in the first t minutes and define

pi﹐j (t) = P(R(t + s) = j | R(s) = i)

equation for p﹐j (t) valid for all j ≥ 2.                                                                          [6]

Question 4 [25 marks].

(a) A football team plays a sequence of matches each of which they either win, lose, or draw. At the start of the season they have 0 points. For each match, they score 3 points if they win, 1 point if they draw and 0 points if they lose. Suppose that  each match is won with probablilty p么 and lost with probability pl , independently of all other matches.

(i) You want to model the number of points accumulated as the season progresses as a discrete-time, homogeneous Markov chain (X0 , X1 , . . .). Describe how you would do this. Your description should specify what the Xi  are in words, the state space, and the transition probabilities.

(ii)  Suppose that we want to allow different probabilities of winning for different matches (rather than a single p么 ). Will your model still be a discrete-time,  homogeneous Markov chain. Explain briefly what (if anything) changes.

(iii)  Suppose that we want to allow the probability of winning a match to depend on whether the previous match was won or lost. Specifically, if the previous match was won there will be a higher probability of winning the current match than if the previous match was lost. Will your model still be a discrete-time, homogeneous Markov chain. Explain briefly what (if anything) changes.

(b) A long steel cable contains flaws which occur randomly along its length at a constant rate of α per metre.

(i)  Give a reasonable way of modelling the location of the flaws as a stochastic process.

(ii)  Say in words what the interarrival times for this process represent.

(iii) Each flaw is detected by an inspector with probability β independently of all other flaws. What can you say about the process describing the location of the undetected flaws? What concept does this illustrate?