1    Linear Regression (30 marks)

Suppose that x0 , x1 , . . . , xt , xt＋1 , . . . , denote the (daily) share prices of a particular stock over time. Answer the following questions (you should add a bias term):

1. Write a linear model to predict xt＋1  using the share prices on the two preceeding days, i.e., xt  and xt - 1 .  (6 marks)

2.  The more useful quantity to predict is ∆t＋1:= xt＋1  - xt  (the ‘:=’ means ‘is defined to be’), the change in share value. Write a linear model to predict ∆t＋1  using xt  and xt - 1 .  (6 marks)

3. Write a linear model to predict ∆t＋1  using ∆t .  (6 marks)

4. Write a linear model to predict ∆t＋1  using ∆t  and xt .  (6 marks)

5. Which of the above four models, if any, are equivalent?  Justify your answer briefly. (6 marks)

Note:  This example is for illustrative purposes to help you understand linear regression. It is not recommended that you use this for actual share price prediction.  For question 1-4, you only need to write down the mathematical relationship between input and output. There is no need to solve the models.

2    Nearest Neighbour and Linear Classification (30 marks)

We have studied a linear classifier Logistic Regression y = σ(wz + w0 ). If z >= 0, σ(z) >= 0.5 and y can be regarded as class ‘1’, and otherwise ‘0’ if z < 0.  The parameters to be learnt are w and w0 .  The  “Nearest neighbour classifier” (NN) is a different approach to learning from data. Suppose we are given N points (zl , y1 ), . . . , (zN , yN ) where yi  ∈ e0, 1}; for a parameter k and given a new point z* , the k-NN approach does the following:  find zjl , . . . , zjk   the k-closest points to z* , then output yˆ*  as the majority label from the set eyjl , . . . , yjk }, i.e., the most commonly occurring label among the k-nearest neighbours.

1. What advantage(s) does the k-NN approach offer over a linear classifier like the logistic regression?  (10 marks)

2. What advantage(s) does the logistic regression offer over the k-NN approach?   (10 marks)

3. What is the computational cost of predicting the label yˆ*  ?  (10 marks)

Remark: You do not have to write precise numbers or even mathematical expressions for the answers above. Make sure you understand the behaviour qualitatively.

3    Naive Bayes Classifier (40 marks)

You need to implement NBC on the Iris dataset. You can obtain this dataset as follows:

from sklearn.datasets import load iris

iris = load iris()

X, y = iris[‘data’], iris[‘target’]

There are three classes denoted by 0, 1, 2, which stand for Setosa, Versicolour and Virginica, three varieties of Iris. There are four features, all real-valued, measurements of sepal length and width, and petal length and width.

Experiment

1) You need to shuffle the dataset, put 20% aside for testing.

N, D = X.shape

Ntrain = int(0.8 * N)

shuffler = np.random.permutation(N)

Xtrain = X[shuffler[:Ntrain]]

ytrain = y[shuffler[:Ntrain]]

Xtest = X[shuffler[Ntrain:]]

ytest = y[shuffler[Ntrain:]]

2) Train a Naive Bayes Classifier and report the training and testing errors.

3) Submit your code (a single .py file) and results (included in PDF).

Note:

You should implement a Na¨ıve Bayes Classifier directly in python.  Using the NBC from existing packages is not allowed.  To keep your code tidy, we recommend implementing it as a class.  The data has 4 different real-valued features, and there are 3 classes.  Write an implementation that you can initialise as follows: