Question 1. (4 points) In this question, you do not need to justify your answer beyond what is specifically asked in the question.

(a) Is the statement “A complex square matrix is unitarily diagonalizable if and only if it is hermitian” true or false? If it is false, give a closely related true “if and only if” statement.

Solution: False. A complex square matrix is unitarily diagonalizable if and only if it is normal.

(b) Is the statement “A real square matrix is unitarily diagonalizable if and only if it is symmetric” true or false?  If it is false, give a closely related true “if and only if” statement.

Solution: True.

(c) Give a simple example of a matrix that does not have an LU factorization.  What kind of closely related factorization does it have?

Solution: The matrix

┌1(0)   0(1)┐

has no LU factorization. However, it does have an PLU factorization.

(d) Define the ↓-norm on Cn .

Solution: The ↓-norm is given by

|(x1 , . . . , xn )|o  = max卜|x1 |, . . . , |xn |{.

Question 2. (4 points)

(a) Find the condition number of the matrix

A = ┌ 1(2) 4┐

using the 1-norm.

Solution: We have

Thus                                                A-1  = ┌ 1(4) 5┐ .

7 63

κ(A) = |A|1 |A-1 |1  = 9 |      =

(b) Suppose that A è Mn,n (C) and that λ is an eigenvalue of A. Show that, for any choice of vector norm on Cn , we have |A| 」 |λ|, where |A| is the associated matrix norm of A.

Solution: If λ is an eigenvalue of A  è Mn,n (F), then there exists v 0 such that Av = λv. Then we have

|A| = max { : x è Fn , x 0 } 」 = = = λ .

Question 3. (3 points) Suppose that A is a hermitian matrix.  Let x and y be eigen- vectors of A with eigenvalues λ and µ, respectively, with λ µ .  Show that x and y are orthogonal. You may use the fact that all eigenvalues of a hermitian matrix are real.

Solution:

λ(x, y入 = (λx, y入

= (Ax, y入

= (Ax)H y

= xH AH y

= xH Ay

= (x, Ay入

= (x, µy入

= µ(x, y入.

Thus we have

(since λ è R)

(since A is hermitian)

(λ ← µ)(x, y入 = 0.

Question 4. (5 points)

(a) State Schur’s theorem.

Solution: If A è Mn,n (C), then there exists a unitary matrix U such that UH AU = T

is upper triangular. Moreover, the entries on the main diagonal of T are the eigenvalues of A (including multiplicities).

(b) Recall that a square matrix A is nilpotent if Am  = 0 for some m.  Suppose that A is nilpotent. Show that 0 is the only eigenvalue of A.

Solution: Let λ be an eigenvalue of A with corresponding eigenvector v.  Since A is nilpotent, we have Am  = 0 for some m. Thus

λmv = Amv = 0v = 0.

Since v 0, this implies that λ = 0.

(c) Suppose that A  è Mn,n (C) and that 0 is the only eigenvalue of A.   Show that A is nilpotent.  You may use the fact that Bn   = 0 for any strictly upper triangular matrix B è Mn,n (C). (Recall that a matrix is strictly upper triangular if it is upper triangular with all entries on the main diagonal equal to zero.)

Solution: By Schur’s theorem and the fact that all the eigenvalues of A are equal to

zero, there exists a unitary matrix U such that UH AU = T is strictly upper triangular. Then

An  = ╱ UTUH、n  = UTn UH  = U0UH  = 0.

So A is nilpotent.

Question 5. (4 points)

(a) State the spectral theorem for complex matrices.

Solution: Every hermitian matrix is unitarily diagonalizable.  In other words, if A is a hermitian matrix, then there exists a unitary matrix U such that UH AU is diagonal.

(b) State the Cayley–Hamilton Theorem.

Solution: If A è Mn,n (C), then cA (A) = 0.  In other words, every square matrix is a “root” of its characteristic polynomial.

(c) Find a quartic (i.e. degree four) polynomial p(x) such that p(A) = 0 for all A è M3,3 (C) whose eigenvalues are 3 and 5.

Solution: Exactly one of the two eigenvalues has multiplicity 2. Thus the characteristic

polynomial of A is either (x ← 3)(x ← 5)2  or (x ← 3)2 (x ← 5).  Both of these divide p(x) =

Question 6. (3 points)

(a) Give the definition of a positive definite matrix.

Solution: A hermitian matrix A è Mn,n (C) is positive definite if

(x, Ax入 è R>0      for all x è Cn , x 0.

(b) Find the Cholesky factorization of the matrix

A = 2 4(2) 1(4) .

Solution: We row reduce

A ┌0(1) 2 2┐

Dividing each row by the square root of the entry in that row we obtain

U = ┌0(1) 2 1┐

Then the Cholesky factorization is A = UH U .

Question 7. (4 points) Find a reduced QR factorization of

┌ 2(1)   5(0)┐

|0   1| .

Solution: Label the columns of A so that A = ┌a1 a2 ┐ .  We use the Gram–Schmidt algorithm to convert 卜a1 , a2 { to an orthogonal set. We have

u1  = a1 ,

(u1 , a2 入 10

|u1 |2                                           5

So we define

So the reduced QR factorization is

A = ┌q1 q2 ┐ 入┐ = 2(1)/(/) 6 ┐ .

Question 8. (4 points)

(a) Suppose that A = [aij ] è Mn,n (C). Define the Gershgorin discs of A.

Solution: The Gershgorin discs are

D(aii , Ri ) = 卜z è C : |z ← aii | 女 Ri {,    1 女 i 女 n,

where Ri  =Lj:ji |aij |.

(b) State the Gershgorin circle theorem.

Solution: Every eigenvalue of A lies in at least one of its Gershgorin discs.

Solution: The Gershgorin discs are

D(4, 3),    D(0.5, 0.4),    D(3, 2.5),    D(1, 0.7).

Since none of these discs contains zero, the matrix A does not have zero as an eigen- value. Hence A is invertible.

Question 9. (7 points) Find a singular value decomposition for the matrix

A = ┌ 1   0(1)┐

| 0     1| .

Solution: We have

AT A = ┌ 1   0

Thus

1(0)┐ 1

= ┌ 1 1┐ .

cAT A(x) = det ┌x 2   x 2┐ = (x ← 2)2 ← 1 = x2 ← 4x + 3 = (x ← 3)(x ← 1).

So the singular values of A are

σ 1  = ^3   and σ2  = ^1 = 1.

We now find an orthonormal basis of each eigenspace of AT A. For E3 , we row reduce:

AT A ← 3I = ┌ 1(1) 1(1)┐ ┌0(1)   0(1)┐

Thus E3  is spanned by the unit vector

q1  = (1/^2, ← 1/^2).

For E1 , we row reduce:

AT A ← I = ┌ 1 1┐ ┌0(1) 1┐

Thus E1  is spanned by the unit vector

q2  = (1/^2, 1/^2).

We now compute

p1  = Aq1  = ( ← ^2, 1/^2, ← 1/^2),

p2  = Aq2  = (0, 1/^2, 1/^2).

We need complete this to an orthonormal basis by choosing a unit vector p3 orthogonal to p1

and p2  or, equivalently, to their scalar multiples ( ←2, 1, ← 1) and (0, 1, 1). So if p3  = (a, b, c),

←2a + b ← c ← 0    and    b + c = 0.

The second equation gives b = ←c.  Subbing into the first equation gives ←2a + 2b = 0, so

p3  = (1/^3, 1/^3, ← 1/^3).

Defining

P =  [p1 p2 p3 ] = ┌← ┐

| ← 1/^6     1/^2 ← 1/^3| ,

Q = [q1 q2]= ┌ 1(/)/^(^2)2   1(1)/(/)^(^)┐ ,

Σ = ┌ ┐

0    0

we have A = P ΣQT .

Question 10. (5 points) Suppose that A è Mm,n (C)

(a) Give the definition of a middle inverse of A.

Solution: A middle inverse of A is a matrix B è Mn,m (C) such that

ABA = A   and   BAB = B .

(b) Suppose that A is right-invertible.  Show that B is a middle inverse of A if and only if B is a right inverse of A.

Solution: Suppose B is a right inverse of A. Then

ABA = IA = A   and   BAB = BI = B .

So B is a middle inverse of A. Now suppose that B is a middle inverse of A. Since A is right invertible, it has some right inverse C . Then

ABA = A  =÷  ABAC = AC  =÷  AB = I  =÷  AB = I . Hence B is a right inverse of A.

(c) Give the definition of the pseudoinverse of A.

Solution: The pseudoinverse of A is the unique A+  è Mn,m (C) such that A+  is a middle inverse of A and both AA+  and A+ A are hermitian.

(d) Suppose A = P ΣQH  is a singular value decomposition for A, with Σ = ┌ 0(D)   0(0)┐m×n ,    D = diag(d1 , d2 , . . . , dr ),    d1 , d2 , . . . , dr  è R>0 .

Give an explicit expression for A+ .

Solution: We have A+  = QΣ\ PH , where

Σ-1  = ┐n×m .

Question 11. (2 points) Suppose the matrix A è M3,3 (C) has eigenvalues 1 and 2. Give all possible Jordan canonical forms for A (up to reordering of the Jordan blocks).

Solution: The possible Jordan canonical forms are

┌┐ ┌┐       ┌┐       ┌0(1)   2

|0   0   2| ,     |0   0   2| ,     |0   0   2| ,     |0   0

1(0)┐

2| .

Question 12. (2 points) If

A = ┌0(0)   0(1)

|0   0

compute eA .

Solution: We have

A2  = ┌0(0)   0(0)

0   0

and A3  = 0. Thus,

o

2 ┐

3| ,

3┐

|

1 A2  = ┌0(1)   1(1) 3(2)┐

Question 13. (6 points) Consider the quadratic form

Q(x1 , x2 , x3 ) = x1(2) + 2x2(2) + x3(2) + 2x1 x3 .

(a) Give a symmetric matrix A such that Q(x) = (x, Ax入.

Solution:

A = ┌0(1)   2

|1   0

0(1)┐

1| .

(b) Unitarily diagonalize the above quadratic form. In order words, find a unitary matrix U such that, in the new variables y = U-1x, the quadratic form Q(y) is diagonal. Give the quadratic form Q(y) in the new variables.

Solution: The characteristic polynomial of A is

cA (x) = det(xI ← A) = det ┌x 1   x 2 1 ┐

卜(1/^2, 0, 1/^2), (0, 1, 0){.