Submissions must be made through the class Canvas page.  You must follow ALL of the following conventions or you will lose points.

● Students must submit their solutions electronically as a  .pdf upload to the course Canvas site.

● The entire assignment must be submitted as ONE pdf file.

● The Matlab (or Python) scripts need to be attached to the pdf file. Include the code after the corresponding question.  Also, the plots should be included in the pdf file, once again in the answer of the corresponding problem; not in the end. Moreover, the numerical results of the Matlab (or Python) code should also be included in the pdf, once again in the answer of the corresponding problem; not in the end.

● For those who are using LaTeX: The mcode package is great for including MATLAB code in LaTeX. The graphicx package can be used to include images in LaTeX.

● Submitted documents must answer questions in order. If you do not answer a question or part of a question, please indicate this on your assignment.

● Submitted documents must be legible and well organized. If you have to re-copy your solution to make your solution clear, do so.

● Hand-written solutions are acceptable under the following conditions:

– Scanned pages must be properly oriented (the top should be on top).

– The scanned pages must be legible with appropriate contrast.

– The grader reserves the right to mark off for untidy or unclear submitted work. All work must be written (or typed) neatly, with each problem clearly labeled and final answers clearly indicated.

● LaTeX Extra Credit:  Students can receive 5 points extra credit if the assignment is written using LaTeX. Complete homework solutions must be written using LaTeX.

1. In this question, you will first formulate the exponential data-fitting problem as a non- linear least-squares minimization, derive the analytical formula for the Jacobian com- putations, and then will implement it numerically.  Derivations are very similar to the examples on Page 1 and Pages 5-6 of the Lecture Notes 22.

We know from CMDA 3605 / MATH 2214 / CMDA 2006 classes that solutions to linear differential equations are a weighted sum of exponentials. Thus, they can be written as

N

y(t) =匕 αj eλjt     where   αj  e C and λj  e C.                            (1)

j|1

We will focus on the simple case that αj  and λj  are real numbers (not complex). In this problem (as we did in class) we do not know αj  and λj .  But we have the samples of y(t). In other words, we have the data

Data:  {y(t1 ), y(t2 ), y(t3 ),  . . . , y(tm )},                                 (2)

where ti  are the sampling points in time. In most cases, due to various reasons such as noise, we will not be able to find the exact αj  and λj  in (1).  Indeed, we will not even know what N is.  So, our goal is, given the data in (2), to find the approximate scalars j  and j  for j = 1, 2, . . . , r such that our approximation

r

yˆ(t) =匕 j ejt                                                                                (3)

j|1

matches the data (2) in the least-squares sense.  More precisely, our goal is to find the scalars j  and j  such that

m

匕 | y(tk ) . yˆ(tk ) |2

k|1

(a) First we put this problem into the nonlinear least-squares formulation, almost as the same way we did in the two examples in class.

Define the vector of unknowns x =  ┌ 1     · · ·   r     1     · · ·   r  ,T  e Rn .  This will be our unknown variables; thus n = 2r .

Show that the nonlinear least-squares error in (4) can be written as

m

匕 | y(tk ) . yˆ(tk ) |2 = lb . g(x)l2 ,

k|1

where b e Rm  represents the data (2) and g(x) e Rm  is the nonlinearity. Explicitly specify what b and g(x) are. This is very similar to what we did in class.

(b)  Our goal is to solve the minimization problem

min lb . g(x)l2

xeR|

using the Gauss-Newton algorithm. As we discussed in class, this requires comput- ing the Jacobian matrix J(x) e Rmxn . Using the analytical formula for g(x) from part-(a), find the analytical expression for the Jacobian matrix J(x).

(c) Now, we have all the tools to implement the Gauss-Newton algorithm.  You will complete the code BonusHomework .m to answer this problem. We will choose r = 2 in our approximation yˆ(t) in (3). Thus, we have

2

yˆ(t) =匕 j ejt  = | e1 t + 2 e2 t ,

j||

┌ αˆ(αˆ)2(|)  ┐

x =  '(') |    '(') e R4  .