Block/partitioned matrix

● A partition of matrix:  Suppose A11  is of p x r , A12  is of p x s, A21  is of q x r and A22  is of q x s. Make a new (p + q) x (r + s)-matrix by organizing Aij ’s in a 2 by 2 way:

A =     ┐

e.g.,

A =  - 0(1)   1(0)  3(2) ┐

if

A11  = ┌ 0(1)   1(0) ┐ ,    A12  = ┌ 3(2) ┐ ,    A21  = ┌ 4   5 ┐ ,    and   A22  = ┌ 6 ┐ .

●  Operations with block matrices

-  Working with partitioned matrices just like ordinary matrices

-  Matrix addition: if dimensions of Aij  and Bij  are quite the same, then

A + B =   ┐ +   ┐ =   ┐

-  Matrix multiplication: if Aij Bj亿  makes sense for each i, j, k, then

AB =   ┐ ┌   ┐ =   ┐

- Inverse: if A, A11  and A22  are all invertible, then

A二1  = ┌  -A22(二)1 A2(A二111)1(2)A 11(二)11(二)1(1)2 A22(二)1

* A11 .2  = A11 - A12 A22(二)1 A21

* A22 .1  = A22 - A21 A 11(二)1 A12

┐

options(digits  =  4)

(Sigma  =  matrix(c ( 1 ,  .5 ,  .5 ,

.5 ,  3 ,  .5 ,

.5 ,  .5 ,  7),

nrow  =  3 ,  ncol  =  3))

#  Uer乞jy  t右e  乞Xuerse  pj 夕αrt乞t乞pX  mαtr乞g

##  Method  1:  by  the  above  formula

(Sigma11  =  Sigma[1 :2 ,  1:2])

(Sigma12  =  as.matrix(Sigma[1 :2 ,  3]))

(Sigma21  =  t(Sigma12))

(Sigma22  =  as.matrix(Sigma[3 ,  3]))

(Sigma11.2  =  Sigma11  -  Sigma12  %*%  solve(Sigma22)  %*%  Sigma21)

(Sigma22.1  =  Sigma22  -  Sigma21  %*%  solve(Sigma11)  %*%  Sigma12)

(SigmaInv  =  rbind(

cbind(solve(Sigma11.2),  -solve(Sigma11.2)  %*%  Sigma12  %*%  solve(Sigma22)),

cbind(-solve(Sigma22)  %*%  Sigma21  %*%  solve(Sigma11.2),  solve(Sigma22.1)) ))

## Method  2:  solve()

solve(Sigma)

●  Conditional mean vectors and covariance matrices: If X ～ (u, Σ) and

X = ┌ X(X)2(1)   ┐ ,    u = ┌ u(u)2(1)   ┐    and    Σ =   ┐ > 0,

where E(Xi ) = ui  and cov(Xi , Xj ) = Σij , then

-  E(Xi  | Xj  = mj ) = ui  + Σij Σjj(二)1 (mj  - uj ) for i  j and Σjj  > 0

-  cov(Xi  | Xj  = mj ) = Σii - Σij Σjj(二)1 Σji  for i  j and Σjj  > 0

Multivariate normal (MVN) distribution

●  Standard normal random vector

φZ (5) = (2π)二夕/2 exp(-5T 5/2),    5 = [z1 , . . . , z夕]T  e R夕

●  (General) normal random vector

-  Def: The distribution of X is MVN iff there exists q e Z+ , u e Rζ , A e Rζx夕 and Z ～ MVN夕 (0, I) such that X = AZ + u

*  Limit the discussion to non-degenerate cases, i.e., rk(A) = q

*  X ～ MVNζ (u, Σ), i.e.,

fx (m) =  exp{-(m - u)T Σ 二1 (m - u)/2},    m e Rζ

'  Σ = var(X) = AAT  > 0

●  Exercise:

1.  Σ = AAT  > 0 兮 rk(A) = q (Hint: SVD of A);

2.  Σ > 0 ÷ there exists a q x q positive definite matrix, say Σ 1/2, such that Σ = Σ 1/2Σ 1/2  and Σ 二1  = Σ 二1/2Σ 二1/2  (Hint: spectral decomposition of Σ).