Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

MAT00018M

MMath and MSc Examinations 2021-22

Stochastic Processes

1 (of 4).

(a)    An isolated island is inhabited by one species of birds which are prone to

a certain illness.  Each ill bird will infect other birds with rate λ > 0.  As- sume that the number of infected birds is described by the simple birth pro- cess N = (N(t)  : t ≥ 0), i.e.  a birth-death process with all death rates un , n = 1, 2, · · · , equal to 0 and the birth rates λn = nλ, n = 0, 1, 2, · · · .

Write down the Master (or the forward Kolmogorov) Equation for the transi- tion probabilities for this process. [2]

Assume that at time 0 there are exactly two infected birds. By deriving and solving a differential equation for the function

n2 (t) = E(N(t)), t ≥ 0,

the expected value for N(t), find the value of n2 (10) in terms of λ. [6]

(b)    Consider a birth-death process N = (N(t) : t ≥ 0) with the following birth

and death rates:

λ,

λn = 2λ,

0,

u,

un = 2u,

0,

for some λ > 0 and u > 0.

if n = 0,

if n = 1,

if n ≥ 2.

if n = 1,

if n = 2,

if n ≥ 3.

(1. 1)

(1.2)

Explain why this process can be viewed as a Markov process with finite state

space S = {0, 1, 2}. [2]

Find all stationary distributions of the process N restricted to the set S . [8]

[Total: 18]

2 (of 4).

The number of claims received by a branch A, respectively branch B, of a certain insurance company (of an average size) is described by two Poisson processes with rates (per hour) λA and respectively λB given by

λA = 20,

λB = 30.

The branches A and B are so far away from each other that we can assume that the two Poisson processes described above are independent.

(a)    What is the expected number of claims arriving in the branch A during the

first 4 hours of its working? [3]

(b)    What is the probability that the number of claims arriving in the branch A

during the first 4 hour of its working is bigger than 2? [5]

(c)    What is the probability that the number of claims arriving in the branch A during the first four hours is equal to 80 given that the number of claims that had arrived in the branch A during the three hours is 40? [6]

(d)    What is the probability that the number of claims arriving in the branch B during the first two hours is equal to 30 given that the number of claims that had arrived in the branch B during the first three hours is 60? [8]

(e)    Show, by using either the definition a Poisson process or an appropriate theo-

rem, that the total number of claims received by the branches A and B of our insurance company, is described by a Poisson process with rate u. Show also that

u = 50.                                            (2. 1)

[8]

[Total: 30]

3 (of 4).       State without proof any theorem and definition you use in your answer.

(a)    Assume that ξ is a normal random variable with parameters µ = 0 and σ2  = 4,

i.e. ξ N(0, 4).

E[e−5ξ2 ] = 1 = 1

State without proof any theorem you use.

(3. 1)

[8]

(b)    Assume that ξ is a normal random variable with parameters 0 and σ2 , i.e.

ξ N(0, σ2 ), where σ2  > 0. It is known that for every λ R the following

E[eλξ ] = e λ2 σ2 .

Deduce that

E(ξ) = 0,   E(ξ2 ) = σ2 ,

E(ξ3 ) = 0,   E(ξ4 ) = 3σ4 .

[5]

(c)    Assume that a stochastic process W = {W(t) : t ≥ 0} defined on a probability space (Ω , F, P) is a Brownian Motion.

Show that

E[W(2)W(5)] = 2.

[3]

Find the expected value below

E[(W(2))3 W(5)]

[4]

3 (of 4) cont.

(d)    Assume that a stochastic process W = {W(t) : t ≥ 0} defined on a probability space (Ω , F, P) is a Brownian Motion.

Let ξ = (ξ(t) : t ≥ 0)be a stochastic processes given by

2,

ξ(t) = (W(2))2 ,

0,

if 0 ≤ t < 2,

if 2 ≤ t < 5,

if 5 ≤ t < 9,

if t ≥ 9.

(i)    Demonstrate that ξ is a step process. [3]

(ii)    Evaluate the It integral I(ξ) of a step process ξ with respect to the Brow- nian Motion W = {W(t) : t ≥ 0} and compute the mean value of the random

variable I(ξ). [4]

[Total: 27]

4 (of 4).

State without proof any theorem and definition you use in your answer.

In the whole question we assume that a stochastic process W = {W(t)  : t ≥ 0} defined on a probability space (Ω , F, P) is a Brownian Motion.

(a)    Find a real number a such that the following equality is satisfied

eat cos(2W(t)) = 1 2 l0t eas sin(2W(s))dW(s), t 0.        (4. 1)

[10]

(b)    Use the previous part to calculate, for t ≥ 0,

E[cos(2W(t))].                                       (4.2)

[5]

4 (of 4) cont.

(c)    Given positive numbers c and λ, calculate

E[l0 1 ect ' l0t eλW(s) dW(s) '2 dt]

in terms of these numbers c and λ.

1.

(a)    The Master Equation for the transition probabilities

pi,j (t) = P(N(t) = j|N(0) = i), i, j = 0, 1, 2, · · · ; is as follows

dt pij (t) = λj1pi,j1 (t) + uj+1pi,j+1(t) (λj + uj )pij (t)), where pi,i1  = 0 and λ1  = 0.

(1.3)

(1.4)

[3]

Because all the death rates uk are equal to 0, this Master equation becomes

dt pij (t) = λj1pi,j1 (t) λjpij (t), i, j = 0, 1, 2, · · ·

Let us define

n2 (t) = E(N(t)) = x jpij (t).

=0

Note that N(0) = 2 and hence we have

n2 (0) = 1.

(1.5)

(1.6)

We obtain the differential equation for n2 (t) by multiplying the master equa- tion by j and summing over j:

n2 (t) = [ jp2j ] = j p2j

= jλj1p2,j1 (t) jλjp2j (t)

= x ((j + 1)λj jλj )p2j (t)

= x λjp2j = x jλp2j (t)

=0

because λj = jλ.

The solution to this equation with initial (1.6)

n2 (t) = 2eλt , t ≥ 0.

Hence

n2 (10) = 2e10λ .

(b)    We will use the following

Definition Let N = {N(t) : t ≥ 0} be a birth-death process and let pij (t) be its transition probabilities. A sequence(πi )0  of numbers from interval [0, 1] is called a stationary distribution of the process N = {N(t) : t ≥ 0} iff

x πi = 1                                               (1.9)

=0

and, for every j ∈ N,

πipij (t) = πj .

Because all birth λn for n ≥ 2 and the death rates un for n ≥ 3 are equal to 0, once the process starts in the set

S = {0, 1, 2}                                     (1. 11)

it cannot leave it. Hence we restrict our process N to that set. and the process remains a Markov process.

[2]

To find all stationary distributions we will use our assumptions (1. 1) and (1.2). But we begin with a general framework.

The Master Equations for the transition probabilities

pi,j (t) = P(N(t) = j|N(0) = i), i, j = 0, 1, 2;                 (1. 12)

are, with as always λ1  = 0 and u0  = 0,

d

Thus, for j = 0, 1, 2:

dt pi,0 (t) = λ1pi,1 (t) λ0pi,0 (t) + u1pi, 1 (t)

d

d

(j=0) (j= 1) (j=2)

(j=3)

I have included the last equation so that we can see in an explicit way that

dt pi,3 (t) = 0

and so that we can forget about state 4.

Let us rewrite the last system of three equations in our case, i.e.  under as- sumptions (1. 1) and (1.2).

dt pi,0 (t) = λpi,0 (t) + upi, 1 (t),

d

(j=0) (j= 1)

(j=2)

Let us recall that in our case (1. 11) a stationary distribution of the process

N = {N(t) : t 0} is, a finite sequence(πi )0  of numbers from interval [0, 1]

satisfying

2

x πi = 1

=0

and, for every j = 0, 1, 2,

2

x πipij (t) = πj .

=0

Suppose that (πi )0  a stationary distribution of the process N. Then, by dif- ferentiating equality (1. 15) with respect to time t we get

0 = πi pij (t), for every j = 0, 1, 2.                   (1. 16)

We will rewrite equation (1. 16) in the five cases listed above.

First, by identity (1. 16) with j = 0 and next by identity (1. 15) with j = 0 and j = 1 we have

2                                                                               2                                     2

0 = πi [λpi,0 (t) + upi, 1 (t)] = λ πipi 1 (t) + u πipi 1 (t) = −λπ0  + uπ1 .

We infer that

(j=0) (1. 17)

Next, by identity (1. 16) with j = 1 j = 1 and j = 2 we have


=    π0                                                                                  (1. 18)

u

and next by identity (1. 15) with j = 0,

2

0 = x πi [λpi,0 (t) (2λ + u)pi 1 (t) + 2upi,2 (t)]

2                                                      2                                        2

= λ x πipi0 (t) (2λ + u) x πipi 1 (t) + 2u x πipi,2 (t)

= λπ0 (2λ + u)π1  + 2uπ2

(j= 1)

(1. 19)

By (1. 17) we infer that

0 = −2λπ1  + 2uπ2

and hence

π2  =    π 1  =     π0

u         u2

(1.20)

Finally, by identity (1. 16) with j = 2 and next by identity (1. 15) with j = 0, j = 1 and j = 2 we have

2

0 = x πi [2λpi, 1 (t) 2upi,2 (t)]

2                                        2

= 2λ x πipi 1 (t) 2u x πipi2 (t)

= 2λπ1 2uπ2

(j=2)

(1.21)

Hence, we get no new information

Thus we conclude that if (πi ) 0   a stationary distribution of the process N,

then equalities (1. 18) and (1.20) are satisfied.

In order to find exact values we have to use condition (1. 14) to infer that

π0 (1 + + ) = 1                                     (1.22)

Hence, if λ u, we have

1

1

Finally,

λ 1

u 1

λ2 1

u2 1






SOLUTIONS: MAT00018M


But, if λ = u, then

π0  = 1

π 1  = 1

π2  = 1


The above solution of the last part is very long one.  One can find a shorter one.

[8]


[Total: 18]


We consider two independent Poisson processes NA = (NA (t) : t ≥ 0) and NB = NA = (Nb (t) : t 0) which model claims made to branch A and B respectively.

We need to calculate

E[NA (4)].

We know form Lectures that NA (t) is Poisoon random variable with parameter λa t. Hence

E(NA (t)) = λA t

Therefore

E[NA (4)] = 20 × 4 = 80.

[3]


We are asked to calculate

P(NA (4) > 2).

By properties of the probability measure we have



P(NA (4) > 2) = 1 P(NA (4) 2)

= 1 [P(NA (4) = 0) + P(NA (4) = 1) + P(NA (4) = 2)]

Since, as in part (a)

NA (4) Pois(λA × 4) = Pois(20 × 4) = Poiss(80)

We get





SOLUTIONS: MAT00018M




P(NA (4) = 0) + P(NA (4) = 1) + P(NA (4) = 2)

= e80  + e80  + e80

= (1 + 80 + )e2  = 3281e80 .

Hence

P(NA (4) > 2) = 1 3281e80

No precise calculation is required.

[5]


(c)    We are asked to calculate the following conditional probability P(NA (4) = 80 | NA (3) = 40)

By the definition of the conditional probability we have


Here we write the above formula using increments of the process NA .

P(NA (4) = 80, NA (3) = 40) P(NA (4) NA (3) = 80 40, NA (3) = 40)

P(NA (4) NA (3) = 40, NA (3) = 40)

Using independence of random variables NA (4) NA (3) and NA (3),

P(NA (4) NA (3) = 40, NA (3) = 40) P(NA (4) NA (3) = 40)P(NA (3) = 40)

= P(NA (4) NA (3) = 40).

Since

NA (4) − NA (3) ∼ Poiss((4 − 3)λA ) = Poiss(λA ) = Poiss(20), we have

P(NA (4) − NA (3) = 40) = e20

No precise calculation is required.

[6]


(d)    We are asked to calculate


P(NB (2) = 30 | NB (3) = 60)

Following the same definitions and rules as in the part (c) we have

P(NB (2) = 30, NB (3) = 60)

P(NB (2) = 30, NB (3) NB (2) = 60 30)


=                  P(NB (3) = 60)

Now we have

NB (2) Poiss(2 × λB ) = Poiss(60),

NB (3) − NB (2) ∼ Poiss((3 − 2) × λB ) = Poiss((1) × λB ) = Poiss(1 × 30) = Poiss(30) NB (3) ∼ Poiss(3 × λB ) = Poiss(90).

Hence we deduce that

P(NB (2) = 30)P(NB (3) NB (2) = 30)

= e60 e30 = · · ·

Let us observe that all exponentials cancel. Thus


(60)30 (30)30 (60)!

· · · = (90)30 (90)30 (30)!(30)!

= ( )30

No precise calculation is required.

[8]