Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

COMP809  – Data Mining & Machine Learning

Semester 1, 2023

Assignment 1

Maximum Marks: 100               22 March 2023

Paper Description: Data Mining & Machine Learning

Paper Code: COMP809

Total Marks: 100

Date: 22 March 2023

Deadline: 12 April 2023

INSTRUCTIONS:

1.  This is an individual assignment.

2.  Only documents in pdf or html will be accepted. You can generate the document directly on Jupyter Notebook.

3.  Submit the pdf file via Canvas.

4. Formats  other  than  pdf will  be  ignored  and  the  author  will  be  asked  to  re-submit  the assignment.   Resubmissions will be subject to the late policy outlined in the study guide (i.e. 5% per day up to 5 days).

5.  The python code required to complete this assignment, which includes code to support your conclusions & answers, must be embedded in the document in the corresponding answer as text (not image), unless otherwise specified.  This code will be marked.  Unsolicited python scripts submitted separately will not be marked.

6.  Read  carefully  and  answer  all the  questions  as  requested.   Any  material  or  information unrelated to the correct answer may result in a significant reduction of marks for that question.

7.  Do not forget to fill in and sign the cover sheet which must be the very first page in the pdf. Use software such as Adobe Acrobat Pro on the Uni computers to include the file at the start of your document. Do not submit the cover sheet separately.

8. If you need an extension or if your performance has been impacted by some extenuating circumstances, then you must complete the special consideration form on Canvas.

9.  Only the techniques studied in this course will be accepted.

10.  The comprehension of the questions is part of the assignment.

Grade table:

QUESTIONS:

1. Abalone is a large marine gastropod mollusk.  The large sea snail is most often found in the cold waters of New Zealand,  Australia,  South Africa,  Japan,  and the west coast of North America. It has extremely rich, flavorful, and highly prized meat that is considered a culinary delicacy. The age of abalone is determined by cutting the shell through the cone, staining it, and counting the number of rings through a microscope – a boring and time-consuming task. Other measurements, which are easier to obtain, are used to predict the age.  Further information, such as weather patterns and location (hence food availability) may be required to solve the problem. The idea of this study is to predict the age of abalone from physical measurements. The economic value of abalone is positively correlated with its age.  Therefore, to detect the age of abalone accurately is important for both farmers and customers to determine its price. Determining the actual age of an abalone is a bit like estimating the age of a tree. Information about the attributes in the data set are given in Table 1. The ranges of the continuous values have been scaled (by dividing by 200).

Table 1: Information about the attributes.

(a)  Clean the data set. Use descriptive statistics to detect any anomaly in the data. Comment on it.               [5]

(b)  Generate a plot for the variable length. Comment on it.                                     [5]

(c) Is there any statistical evidence to keep the variable sex to eventually predict the variable rings? Justify your answer.                                [6]

(d) Is there any statistical evidence to keep the variable sex but considering only males and females to eventually predict the variable rings? Justify your answer.                             [6]

(e)  The aim of this study is to predict the variable rings. Is there evidence of multicollinearity? Justify your answer.          [8]

(f) Fit a linear model with the original variables, i.e., without any transformation on the predictors. Comment on it. How well the model fits the data?             [7]

(g) Use principal components to transform the predictors and fit a linear regression model. How good is the model? Compare it to the model fitted in (f). Justify your answers.                  [9]

(h) Using the model fitted in  (g), predict the ring value for an abalone with length=0.52, diameter=0.41, height=0.14, whole weight=0.83, shucked weight=0.36, viscera weight=0.18, shell weight=0.24, and sex = Masculine.  The numerical values have already been scaled by dividing by 200. Interpret your results.

Table 2: Variables studied in Chac´on et al.  (2023).