1.  Identify the transient and recurrent states, and the irreducible closed sets for the Markov chains with following transiton matrices. [8 marks]

2.  consider a Markov chain (xn )nΣ0 with the countable state space {0）1）2）. . .} and the following transition probabilities:

p(i）i + 1)   =   p）i > 0;

p(i）i - 1)   =   q）i > 1;

p(i）i)   =   1 - p - q）i > 1）

p(0）0)   =   1 - p）

where p 持 0 and q  持 0.  Let Ⅴi   := min{n > 0 : xn  = i} be the irst time that the chain visits i.

a)  Explain why this Markov chain is irreducible.  Is it also aperiodic？ show your reasoning.                                                    [5 marks]

b)  Let a）b and i belong to the state space of x such that a < i < b. without using the optional stopping Theorem show that

i - a

b - a .

[8 marks] c)  Assume p < q and show that the limiting distribution π is given

by

π(n) = n ）     n > 0. [8 marks]

3.  Let s be a random walk adapted to (大n )nΣ0  such that

P (sn+1  = sn  + 1|大n )   =  p）

P (sn+1  = sn  - 1|大n )   =   q）and

P (sn+1  = sn |大n )   =   1 - p - q）

for some p 持 0 and q 持 0.  Deine

φ(j) := j  - 1.

a)  show that φ(s) is a martingale with respect to (大n )n>0.  [4 marks] b) Deine Mn  = sn  - n(p - q) for n > 0.  show that M is martingale with respect to (大n )n>0 .                                                  [4 marks]

c) Assume p  q and let T = min{n > 0 : sn  = b or sn  = 0}.  show that whenever 0 参 i 参 b we have

E[T |s0  = i] =  . [8 marks]

4.  Let  N  be  a  poisson  process  with  intensity  λ  and  adapted  to  some iltration (大t )t>0 .

a) show that Nt - λt and (Nt - λt)2 - λt are martingales with respect to (大t )t>0 .       [8 marks]

b) consider the time of the n-th arrival Tn  := inf{t > 0 : Nt  = n} and let m 持 n.  show that

P (Tn  参 t|N1  = m) = k(m))(1 - t)m-ktk ,       At E [0, 1]. [8 marks]

c)  suppose there exists another adapted poisson process Z with in- tensity μ, which is independent of N.  Let xt  = Zt +Nt  and deine τ := inf{t > 0 : xt  = 1}.  show that

P (Nτ  = 1) =  .

(Hint: consider P (T1  < s1 ) where T1  and s1  are the irst arrivals for N and Z respectively and recall that the time of irst arrival

for a poisson process has exponential distribution.)        [6 marks]

5.  Let B denote a Brownian motion with B0  = 0.

a)  state the deinition of a Brownian motion.                      [4 marks]

t ) and (Bt  - 1o(t) sdBs  -

be written as stochastic integrals with respect to B .      [6 marks] c)  Let δ 持 2 and consider X, which solves the following SDE:

Xt  = 1 + lot 2^Xs dBs + δt.

 integral with respect to B.  (Take that X never hits 0 for granted.) [5 marks]

d)  Solve the following stochastic diferential equation:

dyt  = aytdt + (b(t) + cyt )dBt ,

where yo   =  0.    (Hint:  Try a solution of the form  ztHt   where zt  = exp(cBt + (a -  adapted process F and G which need to be determined.)  [8 marks]

e) It is well known that for any deterministic function f(t) the ran-dom variable1a(b) f(s)dBs  is normally distributed.  Find its mean and variance.               [2 marks]

f) use Feynman-kac representation result to ind a function F (t, ①) that solves

?F - a① ?F + 1 σ 2 ?2 F    =   0

F (T, ①)   =   exp(T①),

where a, T and σ are real constants. You may want to use the fact that E[euz ] =  random variable.                                                           [8 marks]