All files referred to in this homework can be found on CourseWorks.

Your hand-in should be made on Gradescope.

For theory questions, you will need to write math. Please make sure to show your derivations. To see examples of how to write latex code in jupyter, see this link. You may also take pictures of hand-written solutions, if you find that easier. In that case it is your responsibility that the pictures and hand-writing is sufficiently legible for grading.

You must submit two files:

1.  A file (i.e. jupyter notebook file or a python script) with your data analysis for answering questions

2.  A single pdf file with all your answers to all the questions, including your jupyter notebook output for the above notebook.  You can create a pdf file of your notebook using the workflow described here, or you can insert screenshots of the notebook in another pdf.  Alternatively, you can insert your answers to theoretical questions as part of your notebook.

1    ISLR Classification Lab

Complete the lab from Section 4.7 of ISLR. You can skip Part 4.7.7.  Feel free to utilize the provided worked jupyter notebook as inspiration.

2    Classification Models for Stock Market Data

Solve exercise 13 from Section 4.8 of ISLR.

The Weekly dataset can be found in the Data folder.  A description of it can be found here on page

14.

3    Reduced-Rank LDA

Let B and W be symmetric positive definite matrices and consider the following problem of maximizing the Rayleigh quotient :

aT Ba

a     aT Wa

(1)

1.  Use the method of Lagrange multipliers to solve this problem. In particular, show that the optimal solution a*  is an eigenvector of a certain matrix related to B and W .  What is this matrix, and which eigenvector does a*  correspond to?

Hint : Use the scale invariance of the Rayleigh quotient to rewrite the unconstrained maximization as a constrained maximization problem where B appears in the objective, and W appears in the constraint.