CMT307

Applied Machine Learning

Implementation and Evaluation of a Case Study Using Machine Learning Techniques

Submission Instructions

Your submission must include:

•    A filled-in copy of the official Coursework Submission Cover sheet .

•    A Jupyter Notebook (.ipynb) file containing all your code and execution outputs/figures.

•    A typeset PDF report (see next section for details).

Ensure that your student number is included on the report and as a comment at the top of each Python file that makes up your submission.

You must submit to Learning Central three files (each named using your student number in the format of [student number]_CW1.pdf, e.g.,  C1234567_CW1.pdf) which contains the     following files:

Before submitting your Jupyter Notebook file (.ipynb), make sure to restart the kernel and execute each cell such that all outputs and figures are visible . Any code submitted will be    run in Python 3 and must be submitted as stipulated in the instructions above.

Any deviation from the submission instructions above (including the number and types of files submitted) will result in a mark of zero for the assessment or question part.

You can submit multiple times on Learning Central. ONLY files contained in the last attempt will be marked, so make sure that you upload all files in the last attempt.

Staff reserve the right to invite students to a meeting to discuss coursework submissions

Assignment

There are two questions in this coursework, marks for each part are in brackets.

Question 1

Your algorithm gets the following results in a classification experiment, where in the table, ‘Id’ is the index number, ‘Target’ is the ground truth that the classifier aims to achieve,

‘Prediction’ is the predicted results. Please compute the confusion matrix, precision, recall, f1-measure and accuracy manually (without the help of your computer/Python, please        provide all steps and formulas). Include the process to get to the final results. [10%]

Question 2

In this question, you will develop machine learning models to predict e-commerce visitors’   purchasing intention. The given dataset Coursework_1_data.csv, which can be downloaded from Learning Central, contains shoppers’ online activity information including clickstream   and session information data, where the last column Revenue represents visitors’                   purchasing intention . Your tasks will include data exploration, data pre-processing, machine learning method selection and implementation, and model performance evaluation. In          addition to aforementioned tasks, you will write a concise report (around 1000 words,           excluding tables and figures) to summarise your work and provide an analysis and                   discussion of the results.

i) Data exploration [10%]:

Conduct exploratory inspection of the dataset to provide a good understanding of data characteristics.

ii) Data pre-processing [30%]:

Carry out well thought pre-processing procedures to prepare the data into a form that is likely to lead to better performance.

iii) Model implementation [30%]:

Select three representative classification methods with a clear justification of your choice. Implement and optimise the classifiers for your chosen classification            methods.

iv) Performance evaluation [10%]:

Organise the data in a suitable form to ensure the trained classifiers to provide reliable results. Evaluate models using suitable performance metrics.

v) Result analysis and discussion [10%]:

Provide an insightful analysis and comparison on results that you obtained from above steps, draw conclusions based on the results and analysis.

Learning Outcomes Assessed

Completion of this coursework allows students to demonstrate that they can:

1.   Implement and evaluate machine learning methods to solve a given task

2.   Explain the basic principles underlying common machine learning methods

3.   Choose an appropriate machine learning method and data pre-processing strategy to address the needs of a given application setting

4.   Reflect on the importance of data representation for the success of machine learning methods