1.   [25 marks] Assume that, given Λ = λ, the random variable X has p.d.f.

fX (xjλ) = λ exp(-λx),   x > 0,   λ > 0,

i.e., XjΛ = λ     exponential(λ). Further, assume that the random variable Λ has

p.d.f.

fΛ (λ) = λα -1 e-δλ ,   x > 0,   α > 0,   δ > 0,

i.e., Λ     gamma(α, δ).

(a)  [5 marks] Write down the joint p.d.f. of X and Λ, and show that the marginal p.d.f. of X is

fX (x) = ,   x > 0,   α > 0,   δ > 0.

(b)  [8 marks] Show that

E(X) =    and   E(X2 ) =  ,

and clearly state for what values of α and δ these moments exist.

(c)  [3 Marks] Find the variance of X.

(d)  [5 marks] If X1 , . . . , Xn are independent, identically distributed random

variables with p.d.f. fX (x) given in part (a), then find the method of moments estimators of α and δ.

(e)  [4 marks] Find the p.d.f. of Z = X2 and E(Z).

2.    [25 marks] Assume that y1 , . . . , yn  are observations of Y1 , . . . , Yn, where Yi ,

i = 1, . . . , n, are independent, normally distributed random variables with mean

α + βxi and unknown variance σ2 , and x1 , . . . , xn are known constants such that P xi = 0.

(a)  [11 marks] Show that the maximum likelihood estimates of α, β and σ2 are given by

ˆ(α)  =  ,

β(ˆ)  =   P xi yi

ˆ(σ)2    =   (yi - ˆ(α) - β(ˆ)xi )2 ,

where  =P yi.

Remember to check that the stationary point of the log-likelihood function is a maximum.

(b)  [4 marks] Show that the maximum likelihood estimators for α and β are unbiased and find their variances.

(c)  [3 marks] Show that the Fisher information matrix for θ = (α, β, σ2 )T  is

I(θ) =      P xi(2)         0(0)        .

  0         0      

(d)  [2 marks] What are the Cramr–Rao lower bounds for unbiased estimators of α and β? Do the maximum likelihood estimators for α and β attain their bounds?

(e)  [2 marks] What is the asymptotic distribution of ˆ(σ)2 ?

(f)  [3 marks] Show that

 , 

is an approximate 95% confidence interval for σ2 .

3.   [25 marks] Suppose that Y1 , . . . , Yn  is a random sample from f (yjθ) = θyθ -1  if 0 < y < 1. Assume the gamma prior distribution π(θ) = θα -1 e-βθ where    α > 0, β > 0 are known constants.

(a)  [5 marks] Show that the posterior distribution of θ is proportional to θn+α -1 e-θ(β -log(A)) , where A =“ yi.

(b)  [5 marks] Find the posterior predictive distribution of a future observation Yn+1 . (c)  [5 marks] Find the Bayes factor for comparing this model with the ‘uniform model’. Here the uniform model means that the pdf f (y) = 1 if

0 < y < 1( i.e. H0  : θ = 1).

(d)  [10 marks] The Bayes factor depends on the data through A. Show that, for

given values of α and β the Bayes factor rejects H0  if either A is too small or too large. Explain in your own words why this should be the case intuitively (no formal proof required).

4.  Suppose that Y1 , . . . , Yn are independent and identically distributed with probability density function

f (yjθ) =  ,   y ≥ 1 , θ > 0 .

(a)  [5 marks] Find the Jeffreys prior for θ and obtain the posterior density for θ under this prior (up to a constant).

(b)  [5 marks] Find a normal approximation to the posterior distribution of θ .

(c)  [5 marks] Describe the Metropolis-Hastings independence sampler for this

posterior distribution when the proposal distribution is the normal approximation from part (b). Write down the acceptance probability. Why might it be necessary to discard some initial draws from the resulting Markov chain?

(d)  [5 marks] Describe the advantages and disadvantages of using

Metropolis-Hastings over the normal approximation to sample from the posterior.

(e)  [5 marks] Assume, for the random walk Metropolis algorithm where

θ* = θ(t) + E, that setting E     N(0, 1) achieves ‘good’ acceptance rate.

Describe how choosing the proposal distribution to be N(0, σ2 ) with σ2  = 0.1 and σ2  = 10 will affect the acceptance rate and the overall performance of the algorithm.

Learning objectives:

LO1 Construct appropriate parametric statistical models for frequently encountered types of data.

LO2 Conduct likelihood inference for parametric statistical models, including estimating pa- rameters, constructing large-sample confidence intervals and conducting hypothesis tests.

LO3 Derive the asymptotic behaviour of likelihood inference, including the asymptotic dis- tribution of the maximum likelihood estimator and the log-likelihood ratio test statistic.

LO4 Conduct Bayesian inference for parametric statistical models, including choosing a prior distribution, computing the posterior distribution in cases with conjugate and non-conjugate priors, and making predictions and decisions based on the posterior distribution.