Bayes Methods Mock 3 2017

Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

Part C/MSc

Bayes Methods

Mock 3 2017

1.   (a)  Let S = (S1, ..., SK ) be a partition of 1 : n = {1, 2, ..., n}.

(i)   Specify the Chinese Restaurant process for arrivals 1 , 2, ..., n.

(ii)  Let PCRP(S) equal the probability the outcome of the CRP is the random partition S. Show that

[Note that Γ(α + n) = Γ(α)  (α + i - 1) .]

(iii) Show that PCRP(S) does not depend on the order of the arrivals.

(iv) Let i1 , i2 , i3  ∈ 1 : n be three fixed labels.  What is the probability that i1 , i2 , i3  are in the same partition set?

(b)  Consider a mixture of normal densities with a fixed number M of components, Dirichlet distributed mixture component weights w  =  (w1 , ..., wM ), and a prior π(θ*) for the

mixture component parameters θ* = (θ1(*), ..., θM(*)):

w   ~   Dirichlet(α1, ..., αM)    with αM  = α/M for α > 0 fixed;

zi     ~   Multinom(w), i = 1, ..., n;

θm(*)     ~   π(θm(*)),  m = 1, ..., M.

Here zi  ~ Multinom(w), i = 1, ..., n means that zi  = m, m ∈ {1, ..., M} with probability wm.  In this model zi  ∈ {1, ..., M} is the label of the cluster to which yi  belongs.  The observation model is

yi ~ f(yi; θz(*)i ), i = 1, ..., n.

Suppose  the  list  z  =  (z1 , ..., zn)  of  cluster  labels  contains  K   ≤  M  unique  values m1 , ...mK .  For k = 1, ..., K let Sk  = {i : zi  = mk, i = 1, ..., n}.  Let S = (S1, ..., SK ). We write S = S(z) for the partition determined from z in this way.

(i)   Write down the posterior for θ* , z, w|y in terms of the model elements.

(ii)  Calculate the marginal prior probability πz(z) = ∫ πzjw(z|w)πW (w)dw for a set of cluster labels.

(iii) For k = 1, ..., K, let nk  = |Sk| give the number of items in cluster k. Let

denote the prior distribution over partitions. Show that

(iv) Show that the prior distribution over partitions converges to a CRP as M → ∞ .

(v)  Write down the distribution to which the marginal posterior distribution of θ* , S|y converges in the limit as M → ∞ .