MATH96046/MATH97073 Statistical Theory: Coursework

1. The inverse  Gamma distribution with parameters a0,θ > 0, denoted IG(a0,θ), is a continuous distribution on (0, ∞) with probability density function

x −a0 − 1e −θ/x,    x > 0.

Γ(a0)

Suppose that X1,...,Xn ∼iid IG(a0,θ), where a0 is known. We will consider giving θ a Gamma Γ(α,β) prior, i.e. one with density function

π(θ) =         θα − 1e −βθ,       θ > 0,

where Γ(α) =R0∞ tα − 1e −tdt is the usual Gamma function.

You may use the following properties in this question: for Z1,...,Zm ∼iid Γ(α,β), we have

EZi =             Var(Zi) =

1/Zi ∼iid IG(α,β),

m

XZi ∼ Γ(mα,β).

i=1

(a) Show that {IG(a0,θ) : θ > 0} forms an exponential family of distributions.           [1 mark]

(b) Suppose θ ∼ Γ(α,β) under the prior. What is the posterior distribution of θ given the

observations (X1,...,Xn)?

Compute the Bayesian estimator for θ (also called π-Bayes decision rule) for squared error loss. Is it an admissible estimator? Justify your answer.                                        [3 marks]

(c) Find the MLE for θ and show that the posterior mean θ¯n converges to the MLE as α,β → 0. [1 mark]

(d) Find the Jeffreys prior for θ and the corresponding posterior distribution. Comment on the connection between the MLE and the Jeffreys prior.                                             [2 marks]

Consider now the frequentist model where X1,...,Xn  ∼iid  IG(a0,θ0) for some ‘true’ θ0  > 0 and assume na0  > 2 (a0 is still known). Consider the generalized posterior mean θ¯n  again in the limit β → 0 but with α ∈ R (as opposed to α > 0), i.e. take the formula in (c) but let α ∈ R. We will now treat θ¯n  as a frequentist estimator.

(e) Compute the bias and variance of the resulting estimator.                                    [3 marks]

(f) Compute the mean-squared error (MSE) of θ¯n  = θ¯n,α  and find the value α = α∗ ∈ R that minimizes MSE(θ¯n).                                                                                               [2 marks]