Question 2   [20 marks]

In this question, let us investigate a classification problem that has many more variables than observations, i.e., a p > n problem. As required in Parts (a) and (b) below, two classification methods (slightly simplified) are to be implemented and used.

Modern technology such as DNA microarrays has made it feasible to measure the expression levels of large numbers of genes simultaneously for a sample  (or subject/observation).   On Canvas, the following three files are available (data source:  Golub et al. (1999), Science 286, 531–536):

training .csv   -   Training data set needed for building a classifier. It contains

the expression levels of p = 7129 genes for n = 38 samples, along with the gene accession numbers (or gene IDs).

test .csv           -   Independent test data set that can be used for examining

the performance of a classifier. It contains the expression    levels of the same 7129 genes for 34 new samples, where the genes, as indicated by their accession numbers, are given in the same order as in the training set.

samples .txt     -   Class labels of the 72 (= 38 + 34) samples. The class of a

sample is one of two types of tumor, either acute lymphoblastic leukemia (ALL) or acute myeloid leukemia (AML).

Researchers are interested in predicting the type of a tumor from the expression levels of genes. For a two-class problem like this, one can label/classify a new observation x = (x1 , . . . , xp ) as class 1 (or ALL) if

f1 (x) > f2 (x),

or class 2 (or AML) if otherwise, where f1  and f2  are, respectively, the density functions of the observations in the two classes.  If the variables xj  are treated as being independent and normally distributed, the above classification criterion is equivalent to using the inequality given by

p                                                      p

log{φ(xj ; µ1j , σj )} >       log{φ(xj ; µ2j , σj )},                                 (1)

j=1                                                     j=1

where φ(.; µ, σ) denotes the univariate normal density function with mean µ and standard deviation σ , µkj  (k = 1, 2) the mean of the expression levels of gene j for class k and σj  the corresponding within-class standard deviation.  The two classification methods below differ in

their estimates of µkj , where σj  are replaced with their pooled estimates j  from the training

Note that as typical for gene data, the genes are given along the rows but should be treated as variables, while the samples are along the columns but should be treated as observations, in both the training and test sets.

In your code, you should avoid using loops as much as you can.

(a) The Na ı¨ve Bayes method simply uses the sample mean kj  in place of the unknown true

(b) A problem with the Nave Bayes method is that it includes all variables in its classifier,

but most variables (genes here) are likely irrelevant to classification. A soft thresholding method known as Nearest Shrunken Centroids (Tibshirani et al. (2002), PNAS 99, 6567– 6572) provides a better solution. It finds and uses only a subset of variables in its classifier and yet often gives more accurate predictions.

The method works as follows. Let

kj  - j

samples of class k . For a properly-chosen threshold value λ > 0, dkj  is shrunken towards 0 using

d = sign(dkj )(Idkj I - λ)+ ,

where “+” means positive part (a+   = a if a > 0, and = 0 otherwise).  The shrunken

versions of kj  are then obtained by reversing the above transformation as follows:  = j + mk j d .

The classifier uses  in (1) in place of µkj .  Note that for any j, if dj  = dj  = 0, then

Implement the Nearest Shrunken Centroids method and apply it to the test set using λ = 6. Provide the predicted class labels of the test samples and find out how many test samples are misclassified. Print the accession numbers (IDs) of the genes that are deemed having predictive power by the method.

[An appropriate value of λ can be determined solely from the training set, via a data resampling method such as cross-validation.  This is not required for answering this as- signment question.]                                                                                              [10 marks]