AIMS

This assignment provides an opportunity to solve two real-world data mining problems using the machine learning workbench. In the two questions given below justification of your answers carries a high proportion of the marks awarded. You are required to conduct experiments for both case studies and report them according to the specified requirements.  Your  answers  below  need  to  be  supported  by  suitable  evidence, wherever  appropriate.   Some  examples  of  suitable  evidence  are  the  Confusion

Matrices, Model Visualizations and Summary Statistics.

Study Area I (bank.csv  use the Bank.zip)

This application is concerned with predicting the outcome of direct bank marketing campaigns (phone calls) of Portuguese banking. The dataset contains 17 attributes for which outcomes of subscribing to a term deposit (yes/no) on a term deposit are known.

You are required to build a model using the Decision Tree Classifier and answer the following questions based on the model built. Use the data segment on the subscriptions whose outcomes are known. In building the model, use the 10-fold cross-validation option for testing.

a)  Describe the pre-processing steps you have performed to prepare your data and perform initial data exploration by analysing the summary statistics of the dataset attributes.                                                                                            [5 marks]

b)  Using  an  appropriate  method  to  identify  the  most  influential  features  in classifying  this  dataset.  Explain  the  process  of the  chosen  feature  selection method  and  use  the  top  four  features  for  building  your  model.  Use  a ‘breakdown’  analysis  for  selected  features  by  the  class  and  describe  their distribution using appropriate plot(s).                                                [10 marks]

c)  Now build a model using the Decision Tree algorithm. By adjusting two suitable parameters (one at a time) reduce the size of the tree to not more than 15 nodes to improve the interpretability of the model generated.   Analyse your findings and discuss the results. Visualise the final generated decision tree and describe it.

[10 marks]

d)  Describe the role of the two parameters in the model building that you used in

c) above. Do you expect that manipulating the parameter, in the same way, will improve accuracy for other types of datasets? Justify your answer.  [5 marks]

e)  Provide and carefully examine the confusion matrix. Generate and provide a classification  report,  showing  precision,  recall,  F1  and  overall  accuracy,  to evaluate  your  model  performance.   Describe  your   findings,   is  there   any significant finding?                                                                             [5 marks]