Main Examination period 2021 – January – Semester A

MTH6141: Random Processes

Question 1  [25 marks].      There are five light bulbs in a room, and no other sources of light. Each light bulb can either be on or off . Every minute, one of the five light bulbs is chosen at random (each is chosen with probability 1/5), and its switch is flipped (if it was on, it is turned off, and if it was off, it is turned on).

(a)  Show how to model the level of light in the room (after n minutes) as a Markov chain with six states. Draw the transition graph and write down the transition matrix.       [10]

(b)  Show that this Markov chain does not have a limiting distribution.       [5]

(c) In the long run, which proportion of time are exactly 3 bulbs on?           [10]

Question 2  [25 marks].      Consider the following combinatorial graph:

(a) Write down the transition matrix of the corresponding Markov chain.                       [5]

(b)  Suppose the Markov chain starts from the state 2. What is the expected time until it reaches one of the vertices 1, 5?                                     [10]

(c)  Suppose the Markov chain starts from the state 2. What is the probability that the state 5 is first visited before the state 1?                                 [10]

Question 3  [25 marks].      Sasha receives emails from MTH6141 students according to a Poisson process of rate 3/hour. In addition, Sasha receives emails from his colleagues according to a Poisson process of rate 2/hour.

(a)  Sasha enters his office and reads all the new emails in his mailbox. How long on average will he have to wait until the next one arrives?                        [10]

(b) What is the probability that from 9am to 11am, he receives four emails from students and two – from colleagues?                                     [10]