Question 1 Data Preprocessing [15%]

Consider a numerical attribute with the following values. It is known that the range of values for the attribute is [0, 20] and it is always an integer.

0       3       5       6       8      12     15     15     15     16     18     19     19     19    20

a)   Convert the attribute into an ordinal attribute by splitting the data into 3 bins of equal interval width. State the ranges of the 3 bins.

b)   Convert the attribute into an ordinal attribute by splitting the data into 3 bins of equal frequency. State the ranges of the 3 bins.

c)    Apply min-max normalization to this attribute.

Question 2 Metric Axioms [20%]

Consider a set of document data that records the number of occurrences of n different words in each of the documents.

a)   Suppose a distance function d is defined for the document data as d(p, q) = arccos(dCOS (p, q)), where dCOS (p, q) is the cosine similarity of p and q . Validate the distance measure with each of the criteria in the metric axioms (Lecture Notes Chapter 2 p.64).

You may use the following inequalities in your answer. Proof is required for any other inequalities used.

⚫     ∀a, b ∈ ℝ, |a| + |b| ≥ |a + b| (triangle inequality)

⚫     ∀a, b ∈ ℝ2, ‖a‖2(2)‖b‖2(2)  ≥ (a ⋅ b)2   (Cauchy-Schwarz inequality)

⚫     Denote ∠AB as angle between vectors A and B, then |∠AC − ∠CB| ≤ ∠AB ≤ ∠AC + ∠CB (triangle inequality for angles)

b)   Suggest one transformation to the document data so that the distance function in part a) satisfies the metric axioms. Explain your answer.

Question 3 Classification [30%]

Consider the training and testing samples shown in Table 1 for a binary classification problem.

a)   What is the entropy of this collection of training examples with respect to the class attribute?

b)   Build a decision tree using entropy as the impurity measure and the pre-pruning criteria is the information gain < 0.1.  Show your steps.

c)    Using the testing data shown in Table 1 as the test set; show the confusion matrix of your classifier.

d)   With respect to the ‘+‘class, what are the precision and recall of your classifier?

Training Set

Record      A      B      C      Class

Testing Set

Record      A      B      C      Class

Table 1 dataset for a binary classification problem

Question 4 Splitting [20%]

Consider a dataset consists of 150 instances of data, with a single attribute a and a class attribute x . There are three possible values for x (A, B or C). Table 2 shows a summary of the dataset showing   the number of instances of data per class label for every value of a appearing in the dataset.

Suppose we want to predict the class attribute x using the numerical attribute a, compare all the possible splitting using the GINI as the impurity measures, and derive the best binary split point.  Show clearly all split points considered and the corresponding GINI.

Table 2 summary of 150 instances of data