Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

CSE 291: Unsupervised learning

Homework 7

This homework is due on may 30  at 11.59pm.

• All homeworks must be typewritten and uploaded to Gradescope.

• No late homeworks will be accepted.

1.  Genes, diseases, and outcomes .  There is a fictitious disease (D) that can cause paralysis (P). Whether or not an individual gets this disease depends in large part on two genes,  G1   and G2 .   Here is a summary:

• Each of these genes G1 ,G2 can either be normal (also known as wild-type), represented by Gi  = 0, or mutant, represented by Gi  = 1.

• For a person with G1  = G2  = 0 (both genes wild-type) the probability of acquiring the disease is zero. If G1  is mutant and G2  is wild-type, the probability is 0.2.  If G1  is wild-type and G2  is mutant, it is 0.1. And if both genes are mutant, then the disease probability is 0.5.

• For an individual with the disease, the probability of paralysis is 0.5. Without the disease, there is still a small probability of paralysis (from other causes): 0.01.

• G1  is mutant with probability 0.1 and G2  is mutant with probability 0.2; these are independent.

(a)  Draw a suitable Bayes net over the variables G1 ,G2 ,D,P, and give all relevant conditional prob-

ability tables. Let D = 1 if the disease is present and D = 0 if it isn’t; likewise with paralysis.    (b) Which of the following independence statements is true? (You don’t need to explain your answers.)

• G1  ?? G2

• G1  ?? G2  | D

• G1  ?? G2  | P

• G1  ?? P | D

(c) What is the probability of disease (D = 1)?

(d) What is the probability of paralysis (P = 1)?

(e) We observe that a person has paralysis. What is the probability that they have the disease?

(f) We observe that a person has the disease (D = 1).  What is the probability that they have the mutant form of gene G1 ?

2.  Probability distribution P over binary variables x1 , . . . ,x6  2 {0, 1} has the following form:

P(x1 , . . . ,x6 ) = (x1 ,x2 )  (x2 ,x3 )  (x3 ,x4 )  (x4 ,x5 )  (x5 ,x6 )  (x6 ,x1 )

where for a,b 2 {0, 1},

(a,b) =

Keep count of how often context words from C appear in these positions around word w .  That is, for w 2 V,c 2 C, define

n(w,c) = # of times c occurs in a window around w .

Using these counts, construct the probability distribution Pr(c|w) of context words around w (for each w 2 V), as well as the overall distribution Pr(c) of context words.  These are distributions over C .

• Represent each vocabulary item w by a |C|-dimensional vector Φ(w), whose c’th coordinate is: Φc (w) = max ✓0,  log ◆ .

This is known as the (positive) pointwise  mutual information, and has been quite successful in work on word embeddings.

Now, use this matrix to  come up with a 100- dimensional representation of words .

(a)  Give  a  description  of your  100- dimensional  embedding.   The description should be concise and

clear, and should make it obvious exactly what steps you took to obtain your word embeddings. Below, we will denote these as    (w) 2 R100 , for w 2 V . Also clarify exactly how you selected the vocabulary V and the context words C .

(b)  Investigate your embedding using nearest neighbor.  Pick a collection of 25 words w 2 V . For each

w, return its nearest neighbor w\ w in V . A popular distance measure to use for this is cosine

distance:

(w) ·    (w\ )

1 −

Do the results make any sense?

(c)  Investigate your embedding by clustering the vocabulary.  Using the vectorial representation    ( · ), cluster the words in V into 100 groups. Clearly specify what algorithm and distance function you use for this, and the reasons for your choices.  Look over the resulting 100 clusters.  Do any of them seem even moderately coherent?  Pick out a few of the best clusters and list the words in them.

Note:  The Brown corpus is very small.  Current work on word embeddings uses data sets that are several orders of magnitude larger.