Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit


MTH6141: Random Processes

  

Question 1  [25 marks].      There are five light bulbs in a room, and no other sources of light. Each light bulb can either be on or off. Every minute, one of the five light       bulbs is chosen at random (each is chosen with probability 1/5), and its switch is          flipped (if it was on, it is turned off, and if it was off, it is turned on).

(a)  Show how to model the level of light in the room (after n minutes) as a Markov chain with six states. Draw the transition graph and write down the transition matrix.

(b)  Show that this Markov chain does not have a limiting distribution.

(c) In the long run, which proportion of time are exactly 3 bulbs on?


 

 

Question 2  [25 marks].      Consider the following combinatorial graph:


 

(a) Write down the transition matrix of the corresponding Markov chain.

(b)  Suppose the Markov chain starts from the state 2. What is the expected time

until it reaches one of the vertices 1, 5?

(c)  Suppose the Markov chain starts from the state 2. What is the probability that the state 5 is first visited before the state 1?

 


Question 3  [25 marks].      Sasha receives emails from MTH6141 students according to a Poisson process of rate 3/hour. In addition, Sasha receives emails from his           colleagues according to a Poisson process of rate 2/hour.

(a)  Sasha enters his office and reads all the new emails in his mailbox. How long on

average will he have to wait until the next one arrives? 

(b) What is the probability that from 9am to 11am, he receives four emails from

students and two – from colleagues?

(c) What is the conditional probability that he will receive 5 emails from students

from 3pm to 4pm, given that two such emails arrive between 3:30pm and 4pm?

Please justify your answers!


 

Question 4  [25 marks].     A gnome hunter needs to find two gnomes hidden in the  room. Assume that the probability to find a gnome in a short time interval of length h is equal to 2h + o(h). Independently of that, a gnome found by the hunter can escape and hide at a new location in the room; the probability that this occurs in a time         interval of length h is equal to h + o(h). However, once the hunter holds both gnomes, he ties them so that they can no longer escape.

(a)  Construct a continuous-time Markov chain describing this process. Write down

the infinitesimal generator and the initial distribution.

(b) What is the distribution of the time until the hunter manages to find the first

gnome?

(c) Let pn (t) be the probability that the hunter is holding n gnomes at time t

(n = 0, 1, 2). Write down a system of differential equations satisfied by these three functions.

(d) What is the probability that the hunter will find both gnomes by time t?