1.  [20 marks] We let {Tn  : n > 1} be a sequence of independent exponential random variables, each having mean E[Tn] = 1.  We define for n > 4, the random variable Sn  = 1 if Tn  = max{Tn, Tn − 1 , Tn −2 , Tn −3 }; otherwise, we define Sn = 0. Also let S1 = S2 = S3 = 0.

(a)  [10 marks] Determine the mean and variance of Sn  for n > 4.

(b)  [10 marks] Determine the covariance Cov(Sn, Sn+1) for n > 4.

2.  [15 marks] We consider a sequence of random variables X1, X2 , . . . consisting of independent exponential random variables with rate 1. We let m > 0, and define the random variable M by

M = min{n : Xn  > m}.

(a)  [5 marks] What is the PMF of M?

(b)  [5 marks] What is the PDF of XM?

(c)  [5 marks] Is M independent of XM?

3.  [15 marks] Let X and Y be jointly continuous with joint PDF:

f(x, y) = 

(a)  [5 marks] What is the value of c?

(b)  [5 marks] What is P(X + Y > 1)?

(c)  [5 marks] Are X and Y independent?

4.  [15 marks] Let X1  and X2  be two independent exponentially distributed random variables, with means E[X1] = 1 and E[X2] = 1/2. Let Y = min{X1, X2 } and Z = max{X1, X2 }.

(a)  [5 marks] What is E[Y]?

(b)  [5 marks] What is E[Z]?

(c)  [5 marks] What is the cdf of Y?

5.  [20 marks] In this problem, we study the evolution of weather states. To simplify, we assume that there are only two possible states of weather:  Either rainy or dry.  Moreover, suppose that the state of the weather on a given day is influenced by the weather states on the previous two days. We let R denote the rainy state, and D denote the dry state, and Xn be the weather on day n. The weather evolves as follows:

● P(Xn+1 = RlXn = R, Xn − 1 = R) = 0.7

● P(Xn+1 = RlXn = R, Xn − 1 = D) = 0.5

● P(Xn+1 = RlXn = D, Xn − 1 = R) = 0.4

● P(Xn+1 = RlXn = D, Xn − 1 = D) = 0.2

(a)  [10  marks] Calculate the probability P(Xn+1   =  R, Xn+2   =  D, Xn+3   =  DlXn − 1   =

R, Xn = R).

(b)  [10 marks] Explain why {Xn  : n > 0} is not a Markov chain.  Construct a Markov

chain, based on the information above, by re-defining the state of the Markov chain (instead of the state Xn  e {R, D} above).  Specify the probability transition matrix of this new chain.

6.  [15 marks] Consider X to be a uniformly distributed random variable over (0 , 1).  Define the random variable Y = - ln(X). Can you find the PDF of Y?