Q1 Let X1 , . . . , Xn  be a random sample of size n from a population with unknown mean ϑ and known variance σ 2  > 0. Let Xn  denote the sample mean. Throughout your answer, explicitly state any assumptions that you make.

1.1  Show that (Xn )2  is a biased estimator for Θ2  by evaluating its bias. [Hint: Var (Y | ϑ) = E (Y2  | ϑ) - (E (Y | ϑ) )2 .]

1.2 Let σ = 1, n = 2, X1  = 1, and X2  = 3. Provide an unbiased estimate for Θ2 .

Q2 Assume that X | ϑ has probability density function f (x | ϑ) = ϑe−9z . Suppose that

we wish to test the hypotheses

H0 : ϑ ≥ 1,                                                     (1)

H1 : ϑ < 1.                                                     (2)

Consider the test that rejects H0  if X ≥ c.

2.1  Show that P (X ≥ c | ϑ) is a decreasing function of ϑ .

2.2 For what value of c does the test have size α0  (where 0 < α0  < 1)?

2.3  State the definition of a p-value, and compute the p-value of the test when we observe X = 2.

2.4 Again when X = 2, would you reject H0  at the 0.025 level?

Q3 An operating system for a personal computer has been studied extensively, and it

is known that the standard deviation of the response time following a particular command is σ = 7 milliseconds.

3.1 A new version of the operating system is installed, and we wish to estimate the mean response time Θ for the new system to ensure that a 95% confidence interval for Θ has a length of at most 5 milliseconds. What sample size would you recommend? Explicitly state any assumptions that you make.

3.2 A random sample of 10 response times X1 ,  . . . , X10  has a sample mean of

52 milliseconds.  Construct a 95% frequentist prediction interval for the next response time X11 ,  and provide a statistical interpretation of this interval. Explicitly state any additional assumptions that you make.

3.3 If [a, b] is the interval that you obtained in part 3.2, explain why

P (a ≤ X11  ≤ b | x1 . . . x10 )                                     (3)

may not be equal to 0.95.

3.4 How do we call an interval [c, d] such that P (c ≤ X11  ≤ d | x1 . . . x10 ) = 0.95?

Q4  Suppose that X1 , . . . , Xn  form a random sample from the following distribution

with parameter ϑ, where ϑ ∈ [0, 1] is unknown:

,．ϑ        if xi  = 0

P (Xi  = xi  | ϑ) = ． ϑ        if xi  = 1                                 (4)

．．1 - ϑ   if xi  = 2

4.1  Consider the estimator  := a + b     Xi . Find values for a and b such that

 is an unbiased estimator for Θ.

4.2 Find the Bayes estimator for Θ under squared error loss, assuming that Θ follows a uniform distribution on [0, 1].

You may find it useful to recall that, for any α > 0 and β > 0, we have that Z ～ Beta(α, β) has probability density function f (z)  za − 1 (1 - z)β − 1  and expectation E (Z) =  .

4.3 What is the maximal possible bias of the Bayes estimator for Θ that you derived in part 4.2?

4.4  Calculate the estimate tˆ and also the Bayes estimate when n = 5 and X1  = X2   = X4   = X5   = 0 and X3   = 1, and with the values of a and b that you derived in part 4.1. Which of the two estimates, tˆor Bayes, would you rather use? Explain in one sentence.

Q5  Suppose that we model bus waiting times X1 , X2 ,  . . . , Xn  as Xi   | ϑ ～ U(0, ϑ)

(the uniform distribution on [0, ϑ]) and where the Xi  are i.i.d.  conditional on Θ. Assume that Θ has the following density function, called the Pareto density, with hyperparameters α0  > 0 and β0  > 0:

f (ϑ) := ,0(α)0 β0(a)

We observe a random sample of size n: X1  = x1 , . . . , Xn  = xn .

(5)

5.1 What is the maximum likelihood estimate of Θ?

5.2  Show that the posterior density is again a Pareto density, but with different parameters αn  and βn . Determine αn  and βn  as a function of the data.

5.3 Let now α0  = 1 and β0  = 5. A random sample of size 2 is observed with x1  = 2 and x2  = 10.  If the value of Θ is to be estimated by using the squared error loss function, what is the Bayes estimate for Θ?  Derive its numerical value in this case.  Compare with the numerical value of the maximum likelihood estimate and briefly discuss in one sentence which of these two estimates you prefer, and why.

5.4 Again with α0  = 1, β0  = 5, n = 2, x1  = 2, and x2  = 10, derive the probability density function of the posterior predictive distribution, as a function of x3 , up to a normalisation constant.