Written component

Question 1 (20 points).

Let A represent an N x N matrix such that AlA = A2 .

(a) show that tr l (A - Al)l (A - Al)] = O.

(b) show that A is symmetric.

(c) Determine whether A is positive semideinite.

(d) Is it possible to conclude that any symmetric matrix is positive semideinite? If not, what are the suficient conditions on symmetric matrices that make them positive semideinite?

Question 2 (15 points).

Let A represent an N 根 N idempotent matrix; i.e., A2  = A.

(a) show that tr(A) = rank(A).

(b) Any idempotent matrix can be used to deine a projection operator. show that the square matrix P = x(xl x)-1 xl is a projection.

(c) Any idempotent matrix is said to be an orthogonal projection if it is further symmetric. show that the square matrix P  = x(xl x)-1 xl , also known as the hat matrix, is an orthogonal projection.

Question 3 (10 points).

consider the following simple linear regression model

y = xβ + ε

where

l  6  」             l

'   8   '               '

'        '               '

'   9   '                '

y =  '        ' ）  x =  '

'   7   '               '

'        '               '

'        '               '

[ 1O l              [

2

5O 」

52  '

'

55  '

'

75  '

'

57  '

58 l

Here, ε is the 6 根 1 vector of errors, and β is the 2 根 1 vector of parameters. As covered during lectures, the estimate β(教) of parameter β is given by

β(教) = (xl x)-1 xly.

Further, we discussed that estimates of the response variablesy(教) can be obtained by

y(教) = xβ(教) = x (xl x)-1 xly.

(a) present a step-by-step numerical evaluation of the following hat matrix

P = x (xl x)-1 xl .

(b) knowing that the element (i）j) of P measures the inluence of the jth observation on the ith predicted value, discuss what effects do the diagonal elements of P capture.

(c) Does your computed value for tr(P) reveal any information about the structure of the under- lying regression model?

Question 4 (15 points).

compute the derivatives a(a)  of the following functions by using chain rule. Describe your steps in

detail.

(a)

f (z) = exp (- z)

z = g(y) = y」S-1y

y = h(w) = w - μ

where w, μ E Rp , S E Rp 根p.

(b)

f (w) = tr（ww」 + σ2 Ip 根p)

where w E Rp.

(c)

f (w) = tanh(Aw + b)

where w  E  Rp , A  E  RN 根p , b  E  RN,  and  tanh  is  applied to  every component of its P- dimensional input vector.