WIA1006/WID3006

1. Answer all questions (25 marks).

a)     Define the following terms and state two industrial applications for each learning algorithm.

i.     Supervised learning

ii.     Unsupervised learning (3 marks)

b)     One of the examples of unsupervised learning is clustering, where K-means is an iterative clustering algorithm that aims to assign data points into K groups, and K represents the number of clusters. Answer following questions related to K-means algorithm,

i.     State a method that is commonly used to choose the number of clusters, K. (1 mark)

ii.     Explain the steps of the algorithm and state the stopping criteria. (6 marks)

c)     State two benefits of performing dimensionality reduction . (2 marks)

d)     One of the examples of dimensionality reduction is PCA algorithm. Specify the steps of this algorithm. (3 marks)

Table 1

e)     By referring a set of data provided in Table 1, develop the Python code to perform dimensionality  reduction  using  PCA.  algorithm and compute the followings:

i.     Feature vector with both eigenvectors. (2 marks)

ii.     New data set (from 2D to 1D reduction) (8 marks)

2.  For the following questions, provide the justification for your answer in a brief and concise manner. If answering using examples is necessary, please provide them in your answer.

Answer all questions (25 marks).

a)  You design a fully connected neural network architecture where all activations are sigmoid.  Should you  initialize the weights with  large  or small  positive numbers? How will these affect your model? (3 marks)

b)  You are given a dataset of 10 × 10 grayscale images. Your goal is to build a 5-class classifier. You have to adopt one of the following two options:

•   the input is flattened into a 100-dimensional vector, followed by a fully- connected layer with 5 neurons

•   the input is directly given to a convolutional layer with five 10 × 10 filters

Explain which one you would choose and why. (3 marks)

c)  You are doing full batch gradient descent using the entire training set (not       stochastic gradient descent). Is it necessary to shuffle the training data? Justify your answer. (3 marks)

d)  One of your friends has trained a cat vs. non-cat classifier. It performs very well and you want to use transfer learning to build your own model. Explain what additional hyperparameters (due to the transfer learning) you will need to tune. (3 marks)

e)  Given below is the designed pipeline for autonomous driving system:

Figure  1: The  input camera  image  is given to two  modules: the Car  Detector  C and the Pedestrian Detector P. C outputs a set of bounding boxes localizing the cars. P outputs a set of bounding boxes localizing the pedestrians. The bounding boxes are then given to a Path Planner S which outputs the steering angle. Assume all these submodules are supervised learning algorithms.

i.     What data do you need to train the submodules in the pipeline presented in Figure 1? (3 marks)

ii.     Explain how would you collect the data for the 3 modules; (Xc, Yc), (Xp, Yp) and (Xs, Ys), referring to Car Detector, Pedestrian Detector and Path Planner respectively. (6 marks)

iii.     After setting up a camera on the hood of your car, an expert driver in your team has collected the dataset A in a city where most roads are straight. She always drives  in the center of the  lane.  Describe two problems that can occur if you train a model on A and test it on real- world data. (4 marks)

3.     Answer all questions (25 marks).

a)  The Malaysian Railway Consortium have been trialling 2 different machine learning methods which attempt to predict whether a train will arrive at its destination on time  or  not,  using  several  input features  corresponding to weather conditions, train priorities, ongoing repair works etc. (for this purpose, ‘on time’ is defined as the train arriving no more than 10 minutes after its scheduled time).

Two different machine learning methods have been tested on a common set of 500 train runs, and the results are as follows:

i.         Compute the F1 score for Method 1 and Method 2 for the trains being on time. (4 marks)

ii.        Based on the F1 score for Method 1 and Method 2, determine which of the method is the best method for the task. (1 mark)

iii.       Explain the concept of precision and recall using the train prediction problem. (7 marks)

b)  Suppose that we want to build a SVM classifier that classifies two-dimensional data (i.e., X = [x1, x2]) into two classes: diamonds and crosses. We have a set of training data that is plotted as follows:

Explain how you would build the SVM classifier with respect to the classification problem provided by providing detailed explanations for the followings:

i.    The  support  vector  optimization  function  used  to  classify  the  two different classes.

Is there a need to use a kernel function to solve the problem? Why? And which kernel is most suitable? Explain. (8 marks)

ii.   The concept of large margin classifier with regards to SVM and the problem presented. (2 marks)

iii.  What  is  the  C  parameter  in  SVM,  and  how  will  it  affect  the  final classification result for the given problem? (3 marks)