Q1 (5 points) Let E(X) = 2, Var(X) = 9, E(Y) = 0, Var(Y) = 4, and the correlation between X and Y is ρ = 0.25

Calculate :

(a)

Var(X + Y)   =   Var(X) + Var(Y) + 2Cov(X,Y)

=   Var(X) + Var(Y) + 2ρ ^Var(X) ^Var(Y)

=   9 + 4 + 2 × 0.25 × 3 × 2 = 16

(b)

Cov(X,X+Y) = Cov(X,X)+Cov(X,Y) = Var(X)+ρ ^X ^Y = 9+0.25×3×2 = 10.5

Q2 (5 points) Find the mean function and the covariance function for each of the processes below.  For each processes, determine if the process is stationary or not stationary.

(a) The time series {xt }, such that xt  = θ+tet and {et } ∼ WN(0,σ2 ),

where θ is a constant.

(b) The process {Yt }, such that Yt  = Xt −Xt −1  ,and Xt comes from

Solution for (a):  The mean function µX (t) = E(Xt ) = E(θ + tet ) = θ + t(0) = θ .

Thew covariance function :

γX (t,t + h)   =   Cov(Xt ,Xt+h) = Cov(θ + tet , θ + (t + h)et+h)

=   t(t + h)Cov(et , et+h)

Therefore

γX (t,t + h) =

Since the covariance function is dependent on t , so it is not stationary process.

For part(b):

Yt  = Xt − Xt −1  = θ + tet − (θ + (t − 1)et −1) = tet − (t − 1)et −1

The mean function :

µY (t) = E(Xt − Xt −1) = E(Xt ) − E(Xt −1) = θ − θ = 0

and the covariance function :

γY (t,t + h)   =   Cov(Yt ,Yt+h) = Cov(Xt  − Xt −1, Xt+h  − Xt+h−1)

=   γX (t,t + h) − γX (t,t + h − 1) − γX (t − 1,t + h) + γX (t − 1,t + h − 1)

Therefore:

  (t2 + (t − 1) )σ2 2     h = 0;

‘ (t − −2(1;) .

Since the covariance function is dependent on t , so it is not stationary process

Q3 (5points) Consider a process {Xt } , such that

Xt + 0.4Xt −1 − 0.21Xt −2  = Zt − 0.09Zt −2 .

{Zt } ∼ WN(0,σ2 )

(a) Does this  model  have redundant  factor?   if yes,  reduce the model.

(b) Is the process stationary, causal, and invertible?

(c) Does this process have an ARMA(p ,q) model? If yes, give the values to p and q .

Solution For (a) : The polynomial function

ϕ(z) = 1 + 0.4z − 0.21z2  = (1 + 0.7z)(1 − 0.3z)

and

θ(z) = 1 − 0.09z2  = (1 + 0.3z)(1 − 0.3z)

Since both function have common factor 1 − 0.3z , which is redundant

(1 + 0.7B)Xt  = (1 + 0.3B)Zt

which is following model :

Xt + 0.7Xt −1  = Zt + 0.3Zt −1

For part(b).  Solve the equation and find roots:  0 = ϕ(θ) = 1 + 0.7z

z  =  −10/7.   Since  |z|  1, so the process is stationary.   Moreover,

the process is invertible.

For part)(c)

The process is a model ARMA(p = 1,q = 1).

Q4 (6 points) Consider three random variables X1 ,X2 ,X3  is a sta- tionary process, such that µX  = 0, γX (0) = 10, γX (1) = 3, γX (2) = 1

(a) Give the best linear prediction of X3  knowing  = (X2 ,X1 ) (b) Give mean square prediction error (MSPE) of (a).

(c) Give the best linear prediction of 2+5X3 knowing  = (X2 ,X1 )

Solution

We want

P(X3 |) = a1X2 + a2X1

Γa =     Γ = [3(10)   10(3) ]    γ = [1(3) ]

So,

a =   [ 3(0)   0(3) ][1(3) ] =   [1(27) ]

The best linear forecast of X3  given  = (X2 ,X1 ) is

MSPE2 (1) = γX (0) − a\  = 10 − (3) − (1) = 9.0989

(c) The best linear prediction of 2 + 5X3  such that   = (X2 ,X1 ) is

91          91

Q5(2 points) Consider an AR(1) model

Xt − ϕXt −1  = Zt ,

where |ϕ| < 1 and Zt  are i.i.d. random variables with mean 0 and vari- ance σZ(2) . Derive a linear representation for Xt , i.e. find the coefficients ψj  in Xt  =对 ψj Zt −j .

Solution: See Lecture Notes, Example 3.14.

We have

ϕ(B)Xt  = Zt ,                                        (1)

where ϕ(z) = 1 − ϕz . Define

χ(z) =   1  

Now, the function 1/(1 − ϕz) has the following power series expansion:

∞

χ(z) =  =  ϕj zj .

This expansion makes sense whenever |ϕ| < 1. Take equation (1) and multiply both sides by χ(B):

χ(B)ϕ(B)Xt  = χ(B)Zt ,

Xt  = χ(B)Zt ,

since χ(z)ϕ(z) = 1 for all z . That is, the linear representation of AR(1) is

∞                            ∞

Xt  = χ(B)Zt  =工 ϕj Bj Zt  =工 ϕj Zt −j .

j=0                           j=0

The above formula gives a linear representation for AR(1) with ψj  = ϕj . We note that the above computation makes sense whenever |ϕ| < 1.

That is, under this condition there exists the causal linear representa- tion.