1    Discrete time Markov chains

Problem 1.1  Let q P ♣0, 1q and consider the Markov chain with state space t0, 1, 2 ... ✉ and tran- sition probabilities

p♣x,x  1q ✏ q,  p♣x, 0q ✏ 1 ✁ q,   ❅ x P t0, 1, 2, . . . ✉ .

For each q P ♣0, 1q, determine whether Xn  is transient, null recurrent, or positive recurrent. For each case it is positive recurrent, find the stationary distribution.

Problem 1.2  Let ♣Ynqn➙1  be a sequence of i.i.d. random variables with

PrYn  ✏ 1s ✏p ✏ 1 ✁ PrYn  ✏ ✁1s       ♣n ➙ 1q

for some 0 ➔ p ➔ 1. Define X0  ✏ 1 and Xn  ✏ ➧i✏(n)1 Yi  for all n ➙ 1.

(a) Argue that ♣Xnqn➙0  is a discrete time Markov chain and specify its state space S . (b)  Provide the transition graph and the transition probability matrix P .

(c)  Show that Pij(n)  converges as n Ñ ✽ for all i and j in S, and determine the corresponding limiting values.

Problem 1.3  Let ♣Xnqn➙0  have state space S ✏ t1, 2, 3, 4, 5, 6✉ and transition matrix

 ☞✍

✝1④6     1④6     1④6     1④3     1④6      0  ✍

✝ 0     0    3④5     1④5     1④5      0  ✍

✍✌

(a) Identify the recurrent and transient states.

(b)  Compute P3♣Tt1,2✉ ➔ ✽q.

2    Poisson Process

Problem 1.4  Let Xt and Yt be independent Poisson processes with rate 1. For each t → 0 compute P♣Xt  ✏ 10⑤Xt  Yt  ✏ 20q.

Problem 1.5  Suppose that at a certain bus station, buses arrive according to a Poisson process with rate λ ✏ 2.

(a) If we wait for two hours, what is the probability that we have not seen a bus yet?

(b)  Given that no bus has arrived in the first two hours, what is the conditional probability

that a bus will arrive in the next hour?

(c) What is the expected time that the second bus arrives?

Problem 1.6  Claims are reported to a car insurance company according to a Poisson process with an average of five claims per day. The USD amount of each claim follows an exponential distribution with mean ✩2,000. Suppose that all claims and the total number of reported claims are independent of each other.

(a)  Compute the expected total sum of claims (i.e., the total USD amount) after one week.

(b) Find the probability that more than one claim with claim size ✩10,000 or higher will be

reported to the insurance company within one week.

3    Continuous Time Markov Chains

Problem 1.7  Mary is a newborn baby whose life can be described by a continuous time Markov chain. In fact, she is always in one of three states: eat, play, or sleep. She eats on average for 30 minutes at a time; plays on average for 1 hour; and sleeps for about 3 hours. After eating, there is a 50–50 chance she will sleep or play.  After playing, there is a 50–50 chance she will eat or sleep. And after sleeping, Mary always plays.

What proportion of the day does Mary sleep in the long-run?

Problem 1.8  A three-state continuous-time Markov chain with state space S ✏ t1, 2, 3✉ has dis- tinct holding time parameters q1  ✏ 3, q2  ✏ 1, and q3  ✏ 2.  From each state, the process is equally likely to transition to the other two states.

(a) Exhibit  (i) the transition probability matrix for the embedded Markov chain,  (ii) the

generator matrix, and (iii) the transition rate graph.

(b) Find the stationary distribution of the continuous time Markov chain.

Problem 1.9  Two dogs – Lisa and Cooper – share a population of N  P N fleas.   Fleas jump from one dog to another independently at rate λ per minute.  Let Xt  denote the number of fleas on Lisa at time t (measured in minutes).  We assume that ♣Xtqt➙0  is a continuous time birth-and-death process.

(a)  Provide the birth and death rates and draw the transition rate graph.

(b)  Show that the expected number mx♣tq ✏ ErXt⑤X0  ✏ xs of fleas on Lisa at time t → 0 is

given by

mx♣tq ✏ e✁2λt  ✂x ✁ ✡  

Hint:  First, differentiate the function mx♣tq with respect to t.  Next, use Kolmogorov’s forward  equation  to  show  that  the  function  mx♣tq  satisfies  the  linear  ODE  mx(✶)♣tq  ✏ ✁2λmx♣tq  Nλ with mx♣0q ✏ x.  Finally, recall that the solution to a linear ODE of the form

f✶♣xq ✏ a ☎ f♣xq  b,    f♣0q ✏ c