Covariance matrix of random vectors x and Y

●  Random p-vector X = [Xl , . . . , Xp ]T  and q-vector Y = [Yl , . . . , Yq ]T

●  Expectations of random vectors/matrices are taken entry-wisely, e.g., µx  = E(X) = [E(Xl ), . . . , E(Xp )]T . 一 E(AX + a) = AE(X) + a as long as both AX + a and BY + b exist.

●  Covariance matrix: the (i, j)-entry is the covariance between the i-th entry of X and j-th entry of Y

一  Σxv  = [cov(Xi , Yj )]p×q  = E[{X 一 E(X)}{Y 一 E(Y)}T ] = E(XYT ) 一 µx µv(T)

一  ΣAx＋α ,Bv＋b  = AΣxv BT  as long as both AX + a and BY + b exist.

一  Σxx  ≥ 0, i.e., Σxx  is positive semi-definite

●  Exercise: Verify the properties of covariance matrix

1.  ΣAx＋α ,Bv＋b  = AΣxv BT  as long as both AX + a and BY + b exist.

2.  Σxx  ≥ 0.

Sample covariance matrix

●  (Xi , Yi )  (X, Y), i = 1, . . . , n

●  Sample means:  = n- l       Xi  and  = n- l       Yi

●  Sample covariance matrix:

n

n 一 1 i=l

一  Unbiasedness:  E(Sxv ) = Σxv

一  SAx＋α ,Bv＋b  = ASxv BT  as long as both AX + a and BY + b exist.

一  Sxx  ≥ 0

一  Implementation in R : cov() (or var() if X = Y)

●  Exercise: Verify the properties of sample covariance matrix

1.  E(Sxv ) = Σxv .  (Hint:  (n 一 1)Sxv  =       Xi Yi(T) 一 nT  =       Xi Yi(T) 一 n- l       i,j Xi Yj(T))

2.  SAx＋α ,Bv＋b  = ASxv BT  as long as both AX + a and BY + b exist.

3.  Sxx  ≥ 0.

Method of moments (MM) estimators for mean vectors and covariance matrices

●  MM imposes no specific distribution on X or Y

●  Steps

1.  Equate raw moments to their sample counterparts:

,．E(X) =          ．E(Y) =          ．．E(XYT ) = n- l

i XiYi(T)

,

．

兮 ．

．

µx  = 

µv  = 

Σxv + µx µv(T)  = n- l

i XiYi(T)