You are going to work with a subset of the MIT-BIH database with a total of 1800 ECG heartbeats that are characterised according to their morphology and grouped in the following three classes (N,S,V) [1]. Samples of ECG heartbeats from each class are shown in Fig.1.

The 1800 heartbeats from the 3 groups have been pre-processed and decomposed with the Wavelet db4 transform at 6 levels and from both the approximate and detailed Wavelet        coefficients 83 statistical features (mean, std, median, skewness, kurtosis, rms value, ratio)  were extracted to represent every heartbeat in our dataset. These are all stored in the          ecg_signals_preprocessed.csv file as a 1800x84 array where each row represents the ECG record and each column the extracted Wavelet features. The last column “classes” indicates the class of the record as: 0 – ‘N’, 1 – ‘S’, 2 – ‘V’ .

References

[1] Das MK, Ari S. ECG Beats Classification Using Mixture of Features. Int Sch Res Notices. 2014;2014:178436. Published 2014 Sep 17: doi:10.1155/2014/178436

[2] Moody GB, Mark RG. “The impact of the MIT-BIH Arrhythmia Database”, IEEE Eng in Med and Biol, 20(3):45- 50 May-June 2001: (PMID: 11446209)

[3] Dua, D. and Graff, C. (2019). UCI Machine Learning Repository [http://archive.ics.uci.edu/ml]. Irvine, CA: University of California, School of Information and Computer Science.

Question 1 [20 marks]

Use the kmeans algorithm to cluster the records into the three groups using all 83 features available and report the algorithm’s accuracy, precision, recall and F1-score and the confusion matrix. If required, you can scale the features. Use PCA to reduce the dimensionality of your feature vector but ensure that you maintain above 90% cumulative  explained variance and repeat the kmeans clustering and compare the outcomes. Has dimensionality reduction been beneficial in kmeans clustering?

[Important hint also valid for Q2, Q3]

Please keep in mind that as an unsupervised method kmeans and the rest of the clustering algorithms, has no access to the labels. Depending on the random initialisation seed the     algorithm will try to create 3 clusters without being guided by the class labels (0,1,2) in your records. So, if you have 10 records with the following labels [0,0,0,1,1,1,2,2,2,2]  and you   obtain a clustering result as [1,1,1,2,2,2,0,0,0,0] then this is 100% correct as the algorithm  clustered the 10 records into 3 clusters correctly. You may need to change the label assignments (0,1,2) to be able to generate the confusion matrix and classification metrics.

As a suggestion use random_state = 4

Question 2 [20 marks]

Use Gaussian Mixture Models with Expectation Maximisation to cluster the records into the three groups using all 83 features available and report the algorithm’s accuracy, precision,  recall and F1-score and the confusion matrix. If required, you can scale the features. Use    PCA to reduce the dimensionality of your feature vector but ensure that you maintain above

90% cumulative explained variance, repeat the GMM-EM clustering, and compare the outcomes. Has dimensionality reduction been beneficial in GMM-EM clustering?

As a suggestion use random_state = 9

Question 3 [20 marks]

Use Agglomerative clustering to cluster the records into the three groups using all 83 features available and report the algorithm’s accuracy, precision, recall and F1-score and the confusion matrix. If required, you can scale the features. Try different linkage metrics and      decide on the one that give you the best accuracy. Use PCA to reduce the dimensionality of your feature vector but ensure that you maintain above 90% cumulative explained variance,  repeat the kmeans clustering and compare the outcomes. Has dimensionality reduction been beneficial in Agglomerative clustering?

Compare the three clustering methods and also comment on which of the 3 types of ECG beats is easier to be grouped into a cluster and which is the most difficult.

Question 4 [20 marks]

The first 3000 samples (~10 sec) of the first record are stored in the single_ecg_signal.csv    file. We will use this as test signal to evaluate timeseries modelling and forecasting. Load the signal and investigate its stationarity with the Dickey-Fuller test. Also evaluate the stationarity after performing the following transformations to the signal: i) first difference transformation, ii) square root transformation, iii) log transformation. Decide which version of the signal presents the highest stationarity and use this in the following steps. Use the first    2000 samples as a train set and the remaining as testing set and after performing the seasonal decomposition of the signal, develop: i) an AR model to forecast  the timeseries, ii) a MA model to forecast the timeseries, iii) an ARMA model to forecast the timeseries and iv) an ARIMA model to forecast the timeseries. Use the ACF and PACF to decide on the order of your models and compare them using the RSS.

Question 5 [20 marks]

The statlog heart dataset (https://archive.ics.uci.edu/ml/datasets/statlog+(heart)) is a set of   physiological and lab test parameters for 271 patients examined for cardiovascular (CVD)    conditions [3]. The dataset is provided in the heart-statlog.csv file and the last column ‘class’