(1) Linear Regression

Find the best fit line through the points (0, 0), (1, 3), (3, 4), (5, 7). You should  show and explain all steps of the calculation and state explicitly the formulae you are using. Do not use a software package to find the best fit line.

(a) Draw the points and best fit line.

(b) What is the value of e1(2) + e2(2) + e3(2) + e4(2)  that the line minimizes?

(2) 十 (Oblique) Projectors

A square matrix P e Rn ×n  is a projector if P2 = P . In Homework 2 you showed that such a P has at most two eigenvalues, 0 and 1, and that E0 = Null(P) and  E1 = Col(P).

We’ll see that such matrices model oblique projections as opposed to the          orthogonal projections we saw in class. If P e Rn ×n  is a projector and v e Rn , call Pv the shadow of v under P . Note that shadows live in Col(P).

(a) Consider the matrix

0   1

P = [0   1]

(i) Show that P2 = P , i.e., P is a projector.

(ii) Compute and draw its column space and nullspace in R2 .

(iii) For x = (5, 2)T , compute Px and x - Px and locate them in your picture. Notice that x = Px + (x - Px).

(b) Suppose P is a projector. (Use the above example to check each of the steps in this question.  You do not need to show any work on the example.)

(i) Check that if v e Col(P), then Pv = v.

(ii) Check that for all v, then v - Pv e Null(P).

Since v = Pv + (v - Pv), we say that Pv is the oblique projection or shadow of v into Col(P) along Null(P).  Check in example above.

(iii) Show that I - P is also a projector.  This is called the complementary projector to P .  Compute it in the example to keep the example going.

(iv) Argue that I - P obliquely projects onto Null(P), i.e., you need to show that Col(I - P) = Null(P).

(v) Now using that P = I - (I - P) or otherwise, argue that Col(P) = Null(I - P).

(vi) Use the previous part to argue that Col(P) n Null(P) = {0}.

So far we have that P projects onto Col(P) and I - P projects onto      Null(P) and that these spaces are complementary in the sense that they only share the origin. Both projections are oblique, not orthogonal.

(vii) Show that you can write any vector v uniquely as the sum of vectors in Col(P) = E1  and Null(P) = E0 .

(3) 十 Orthogonal Projectors

P e Rn ×n  is called an orthogonal projector if P2 = P and P = PT , i.e., P is a          symmetric projector. Since orthogonal projectors are projectors, all the results from the previous problem still apply, so use them, but some special things happen now  because of symmetry.

1   3

(i) Show that P is an orthogonal projector. i.e., P2 = P and P = PT . (ii) What space does it project onto?

(iii) Draw a picture and mark E0  and E1 .

(iv) For v = (10, 20)T , find Pv and v - Pv and mark them in your picture.

(b) Suppose P is an orthogonal projector.

(i) Argue that Col(P) and Null(P) are orthogonal complements. This is why we call P an orthogonal projector.

(ii) Check that the projector P = A(AT A)-1 AT  from Chapter 4.3 in the          lecture notes, that projects to Col(A), is an orthogonal projector. (Hint:

You may use the fact that for an invertible matrix B , (B-1 )T = (BT )-1 ) (iii) Argue that Col(A) = Col(A(AT A)-1 AT ).

(Hint: Recall where a projector P projects to from Problem (2) and recall from lecture notes where A(AT A)-1 AT  projects to.)

(4) Reflections and Projections

Let T : R3 → R3  be the linear map that performs a reflection about the plane Π defined by x + y + z = 0. This transformation can be completely described as follows:

· T (n) = -n for any vector n perpendicular (normal) to the plane Π. (The

normal vector to Π is (1, 1, 1)).

· T (v) = v for any v e Π.

Note that in comparison to projections, where P2 = P , reflections satisfy the condition that T2 = I .

(a)     (i) Find a basis for the plane Π.

(ii) Find all eigenvalues and eigenspaces for the transformation T.

(iii) Use parts (a) and (b) to write out the matrix for T. (You may write the

matrix as a product of matrices and their inverses).              (iv) Verify, using the matrix from the previous part, that T2 = I .

For the remaining parts of the problem, let u e Rn  denote a unit vector, that is, uT u = 1. You should have a running example to help guide you through the      parts (b) and (c) of this problem. Pick your favorite unit vector u e R3  to get   started.

(b) Let H = I - 2uuT e Rn ×n

(i) Is H symmetric? Is H orthogonal? Explain your answers to both questions.

(ii) Show that u is an eigenvector of H and find its corresponding eigenvalue λu .

(iii) Let v e Rn  be orthogonal to u. Argue that v is an eigenvector of H and find its corresponding eigenvalue λv .

(iv) What is the multiplicity of λv ? Is H diagonalizable? If so, write out what it’s diagonalization will look like. If not, explain why. (Note: If you can write its diagonalization, it will not be with explicit vectors, but rather a general diagonalization in terms of eigenvectors that you have found.)

(v) Explain, in one to two sentences, what the transformation H is doing geometrically. (Hint: If you are stuck, computing H2  might give you insight into what type of transformation H is.)

(vi) Is the transformation T from part (a) related to H in any way? If they are related, find the vector u such that the matrix for T is of the form I - 2uuT . If they are unrelated, explain why.