Introduction

In this assignment, we’ll work with support vector machines (SVMs) using different kernels. For the SVM part you will be using sklearn’s built-in methods for an end-to-end evaluation on a synthetic binary classification dataset.

Additionally, you will implement your own version of k-means clustering algorithm and evaluate it on asynthetic dataset .

Instructions

1.   Support Vector Machines (SVMs): To train an SVM with a given kernel, we need to find the optimal value for the model hyperparameters. The C-SVM implementation has one  hyperparameter C, that can be set using grid search. For each SVM-kernel combination  report the optimal hyperparameter(s) and the ten -fold cross validation AUC.

Hyperparameter search should be done only using the training dataset, and therefore     would be nested inside the cross-validation loop. Provide hyperparameter estimates for all tenfolds.

a.   Load the dataset_1.csv file. The dataset has only two features and the target is binary {- 1, 1}.

b.   Train an SVM with a Linear kernel (10 points)

c.   Train an SVM with a Polynomial kernel (degree 2) (10 points)

d.   Train an SVM with a Radia Basis Kernel (hyperparameter gamma/scale). For this   implementation the grid search would be done for both C and gamma jointly. (20 points)

e.   How stable are the hyperparameter estimates and what causes the stability / variance for this dataset? (5 points)

f.    Using the mean hyperparameter estimates, train the final SVM and plot the SVM decision boundaries and support vectors for all three kernels. (10 points)

2.   K-Means Clustering: