Question 1.                          [23 marks]

Let x1 , . . . , xn  denote the observed values of n p-dimensional observations X 1 , . . . , Xn  from a p.f. or p.d.f. f (x; θ),  where θ  is  a d-dimensional parameter.   If  f (x; θ)  belongs  to  the d-dimensional exponential family, then the likelihood function L(θ) for θ has the form

L(x1 , . . . , xn ; θ) = b(x1 , ..., xn ) exp{c(θ)TT (x1 , ..., xn )}/a(θ),

where c(θ) is a q × 1 vector function of the parameter vector θ and where a(θ) and b(x1 , ..., xn ) are non-negative scalar functions.

(i) What is the condition on q and on the Jacobian of c(θ) for the likelihood function (or equivalently, f (x; θ)) to belong to the regular exponential family?                                                     [3 marks]

(ii)  Discuss the uniqueness of the so-called natural or canonical parameter c(θ) and the corresponding choice of the sufficient statistic T.                                                                                    [3 marks]

(iii) Assuming henceforth that the likelihood function belongs to the regular exponential family, show that the likelihood equation

∂ log L(θ)/∂θ = 0

can be expressed as

T (x1 , . . . , xn ) = E{T (X 1 , . . . , Xn )};

that is, the maximum likelihood (ML) estimate θ(ˆ) of θ satisfies the equation,

T (x1 , . . . , xn ) = Eθ(a){T (X 1 , . . . , Xn )};

where Eθ(a) implies expectation using θ(ˆ) for θ .                                                                     [7 marks]

(iv) In the current case where L(θ) belongs to the regular exponential family, show that the observed information matrix I(θ(ˆ)) is equal to the estimated Fisher (expected) information matrix s (θ(ˆ)), that is,

I(θ(ˆ)) = s (θ(ˆ)). [10 marks]

Question 2.                                                                                                                             [15 marks]

Let x1 , . . . , xn   denote  an observed random sample from  a normal distribution with mean µ and variance σ2 .

Derive the likelihood ratio test statistic λ to test the null hypothesis

H0  : µ = σ2

versus the alternative hypothesis

H1  : µ  σ 2 .

Explain how an approximate P-value can be calculated for this test statistic.

Question 3.                                                                                                                             [25 marks]

We let Y denote a random variable distributed as

Y ~ N(θ, 1),

where the mean θ is unknown.

Let Y1 , . . . , Yn    denote a random sample, where only values of Y greater than C were able to be measured by the recording machine.

The aim is to find the maximum likelihood (ML) estimate θ(ˆ) on the basis of the observed data, y = (y1 , . . . , yn )T ,

where yj  denotes the observed value of Yj  (j = 1, . . . , n).

It is proposed to use the expectation–maximization (EM) algorithm to compute θ(ˆ) on the basis of this

truncated sample so obtained.

(i) Write down the likelihood function L(θ) for θ that can be formed on the basis of the observed- data vector y.                [2 marks]

(ii)  Consider the EM framework where m is introduced as the  “missing” number of unobservable observations yj  (j  = n + 1, . . . , n + m)  less than  C in the process undertaken to obtain the observed data. That is, the complete-data vector x is given by

x = (yT , zT )T ,

where z = (m, wT )T  is the missing-data vector with w = (yn＋1, . . . , yn＋m)T .

Define a conditional distribution for m given the observed day y so that the complete-data likelihood Lc (θ) implies the incomplete-data likelihood L(θ).                                         [8 marks]

(iii)  Give the E-step on the (k + 1)th iteration of the EM algorithm; that is, calculate the so-called Q-function Q(θ; θ(k)).  You may use without derivation the expectation of your choice for the conditional distribution of m given y.        [5 marks]

(iv)  Give the M-step to find the updated estimate θ(k＋1)  of the estimate of θ .                    [10 marks]

Question 4.                                                                                                               [15 marks]

Consider the following joint density for x and θ ,

f (x, θ) = ╱x(n)、θx+α − 1 (1 - θ)n −x+β − 1

for x = 0, 1, . . . , n, 0 < θ < 1, α > 0, and β > 0.

(i) Find the conditional distribution of x given θ and name the distribution.

Note:  It is sufficient to work out the kernel of the conditional distribution, that is, without specifying the normalising constant.      [4 marks]

(ii) Find the conditional distribution of θ given x and name the distribution.

Note: As in part (a), you may omit specifying the normalising constant.                       [4 marks]

(iii) Using parts (i) and (ii), or otherwise, describe how you would construct a Gibbs sampler to sample from f (x, θ).        [7 marks]

Question 5.                         [22 marks]