Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

MSBD 5004 Mathematical Methods for Data Analysis

Homework 4

Due date: 11 November, Friday

1.  Consider the function f : R2  → R given by f(x) = x1 + ex2 −x1 .

(a)  Find the gradient of f .

(b)  Find the Taylor approximation fˆ of f near the point z = (1, 2).

(c)  Compare f(x) and fˆ(x) for the following values of x:

x = (1, 2),    x = (0.96, 1.98),    x = (1.10, 2.11),    x = (0.85, 2.05),    x = (1.25, 2.41). Make a brief comment about the accuracy of the Taylor approximation in each case.

2.  Find the gradient of the following functions, where the space Rn  and Rn ×n  are equipped with the standard inner product.

(a)  f(x) =  ∥Ax − b∥2(2) + λ∥x∥2(2) , where A ∈ Rm ×n , b ∈ Rm , and λ > 0 are given. (b)  f(X) = bT Xc, where X ∈ Rn ×n  and b, c ∈ Rn .

(c)  f(x) = xT Ax, where x ∈ Rn , and A ∈ Rn ×n  is non-symmetric.

(d)  f(X) = bT XT Xc, where X ∈ Rn ×n  and b, c ∈ Rn . (e)  f(X) = trace(XAXB), where X , A, B ∈ Rn ×n .

3.  Consider the vector space l∞   equipped with the norm || · || ∞ .  Define the operator T : l∞   →  l∞   by T({xn }n∈N) = {yn }n∈N  where yn = xn+1 .

(a)  Prove that T is a linear operator.

(b)  Prove that T is a bounded operator.

(c)  Prove that ∥T∥ = 1.

4.  Let V1  and V2  be two Hilbert spaces with the inner products  ⟨ · , · ⟩ V1    and  ⟨ · , · ⟩ V2 , respectively.   Let T : V1  → V2  be a bounded linear operator, and let T ∗   be the adjoint operator of T, i.e., ⟨Tx, y⟩V2   = ⟨x,T∗ y⟩V1   for any x ∈ V1  and y ∈ V2 .

(a)  Prove that T ∗  is a linear operator.

(b)  Prove that (T∗ )∗  = T.

(c)  Prove that ∥T∗ ∥ ≤ ∥T∥ .

5.  Find the Jacobian matrix of the following vector-valued multi-variable functions.

(a)  f : Rn → Rm  is defined by f(x) = Ax − b, where x ∈ Rn , A ∈ Rm ×n , b ∈ Rm . (b)  f : Rn → Rn  is defined by f(x) = xxT a, where x ∈ Rn , a ∈ Rn .

6.  Let f : R2  → R, g : R2  → R2 , g(x,y) = (x2 y,x − y) and h = f ◦ g = f(g(x,y)).  Find  h北 |x=1,y=2  if f北  |x=2,y= −1  = 3 and  |x=2,y= −1  = −2.  (Hint: use the chain rule)