Due: Friday, Oct 27 at 5:00 pm on Canvas.

Please submit your solutions as one  single  PDF  ile.  You do not need to submit your code.  Do not submit an Rmarkdown, or Jupyter ile.  You can use these tools to generate your results, but you are required to submit your solutions as a PDF ile. You can include your hand-written part (if any) as a igure.  Make sure they are directly readable.

Honor Policy: You may discuss homework problems with others, but you must inish your assignment independently based on your own understanding.  Copying others’ works is not allowed. Please indicator your collaborators.

1.  (10 pts) Consider two random vectors F      N3 (0, I3 ), E     N3 (0, ψ), where N3  means the 3-dimensional multivariate normal distribution and  I3   is an identity matrix of dimension 3 根 3. Let X be deined as follows:

X1  = 0.9F1  + 0.5F2 + E1

X2  = 0.7F2 + E2

X3  = 0.8F1 + E3 .

(a) What additional  assumptions must be made to make this a factor analysis model?

(b)  Assume ψ = diag(0.2, 0.4, 0.6) and all assumptions from (a) hold, calculate the matrices Σ and Λ in the factor analysis covariance decomposition.

2.  (15 pts) Load the data set “Digits.Rda”, which contains a 360 根 256 matrix, and each row is a 256-dim vector, representing a hand-written digit image of pixel size 16 根 16, as demonstrated in the lab.  Diferent from the lab example, this matrix contains all digits from 0 to 9, 36 for each.

(a) Apply PCA to the data set.  Select 8 PCs.  Note that each PC correspond to a 256-dim loading vector, as the linear combination coe伍cient for each of the 256 pixels (variables).  Thus we can plot each loading vector as a 16 根 16 headmap image, with the pixel positions corresponding to the variable position in the image. Again, by using diferent colors for diferent values, you will be able to visualize the 8 loadings by eight pictures. Generate these 8 pictures.

(b)  Now apply NMF to the data set as in the lecture nodes, with dimension 8. Gen- erate the 8 basis images as in the slides.