Eigendecomposition

● A is a real square n × n matrix

● Characteristic equation of A: det（λIn _ A) = 0, with identity matrix I

● Eigenvalues of A, say λ l  > . . . > λn : n roots of characteristic equation are

● (Right) eigenvector vi : Avi  = λi vi

● Eigendecomposition: A = vAv- l

- v = [vl , . . . , vn] and A = diag（λl , . . . , λn ) are both n × n matrices

● Implementation in R : eigen()

Spectral decomposition

● A is a real symmetric square n × n matrix

● Then v is orthogonal, i.e., vT v = vvT  = I and vT  = v- l

● Spectral decomposition : A = vAvT

Singular value decomposition (SVD)

● Consider a general real n × p matrix B

● But, obviously, BT B and BBT  are both symmetric and square

-  They have identical non-zero eigenvalues

-  They are even positive semi-definite, i.e., their eigenvalues are non-nagative

● Then BBT  = Un×nIn×nUn(T)×n  and BT B = wp×pAp×pwp(T)×p

-  U and w are both orthogonal

● SVD:

B = Un×nsn×pwp(T)×p  = sll ul w l(T) ＋. . . ＋srr ur w r(T)

-  Singular values sii  is the ith diagonal entry of sn×p

-  sll  > . . . > srr  > 0 are square roots of non-zero eigenvalues of BT B and BBT

-  ui   (resp. wi ) is the ith column of Un ×n   (resp. wp×p)

-  r is the rank of diagonal sn×p

● Thin/compact SVD

- Implementation in R : svd()