EXERCISE 1

(a) Implement descent line search method for steepest descent and Newton directions.  Use the    provided template descentLineSearch.m to guide your implementation. descentLineSearch.m takes line search routine handle as a parameter.  lineSearch.m,  zoomInt.m functions im-    plement the (strong) Wolfe conditions line search in Algorithm 3.5 in Nocedal Wright. Hint:    In Matlab you can cast a function with more parameters e.g,  test(x,a) to fit interface with     fewer parameters using  @(x)  test(x,a)  (value  of a will be fixed to  the passed value).  Here     an example how to  cast  lineSearch.m

lsOptsSteep.c1  =  c1;

lsOptsSteep.c2  =  c2;

lsFun  =  @(x k,  p k,  alpha0)  lineSearch(F,  x k,  p k,  alpha0,  lsOptsSteep);

(b) Implement backtracking line search.   Hint:  Be  guided  by  lineSearch.m implementation. Note,  that  different line  search  routines  need  different parameters  which  can  by passed  as  a struct, see  lsOptsSteep above.

EXERCISE 2

Given the function

f (x, y) = 2x + 4y + x2 − 2y2

(a) Visualise the function and its contours.

(b)  Calculate the contours analytically.

(c)  Calculate the gradient and Hessian analytically.

(d) Find stationary points and classify them i.e. are they minima, maxima or something else?

(e)  Minimise f using the steepest descent method with both fixed step size, Hint:  use step size 1/L, L Lipschitz constant  of the gradient, and using some line search.  Try initialising your method at (x0 , y0 ) = (10, 1) and (x0 , y0 ) = (10, 1.0001).

(f)  Does the method converge for both starting points? Discuss the behaviour of the method.