STATS 310/732 Introduction to Statistical Inference SEMESTER 1, 2021

1. Let the random variables X1 ,X2  have the joint density function f(x1 ,x2 ) = 2e−x1 −x2 ,    x1  ≥ x2  ≥ 0.

(a) Find the conditional density function f1 (x1 |x2 ), including its support.

[6 marks] (b) Find the probability density function of Y = X1 + X2 , including its support.

[6 marks]

[12 marks]

2. Let X ∼ N(µ,σ2 ) and Y ∼ Gamma(k,λ) (for k > 1) independently.  In terms of the parameters,   nd E(X/Y).

[6 marks]

3. Let θ = (θ 1, . . . , θp)T be an unbiased estimator of a vector parameter θ = (θ1 , . . . ,θp )T ,

(a) E(Ui ) = 0, for i = 1, . . . ,p.

[6 marks]

(b)  Cov(θ i,Uj ) = 0, for any i = j .

[6 marks] [12 marks]

4. Let x1 ,x2 , . . . ,xn  be a random sample drawn independently from a distribution with probability density function

f(x;θ) = e− √x ,    x > 0,   θ > 0.

(a)  Find the method-of-moments estimator θ 1 of θ .                                   [5 marks]

(b)  Find the maximum likelihood estimator θ 2 of θ .  (You do not need to perform

(c) Find the Fisher information.

[5 marks]

(d) Find a new parametrisation λ = g(θ) so that the maximum likelihood estima-

tor λ is the minimum variance unbiased estimator of λ . Justify your answer.

[20 marks]

5.  Consider a probability density function that has the form      f(x;θ) = cθ 1 θ2(2)e−x 1 −x2  2 ,    x,θ 1 ,θ2  > 0,

where θ = (θ1 ,θ2 ) and c is a constant.  Let x1 , . . . ,xn  be a random sample drawn independently from the distribution.

(a) Find the MLE θ of θ . (You do not need to perform the second derivative test.)

[5 marks]

(c) What is the limiting distribution of √n(θ 1 − θ 1 ), as n → ∞ ?            [5 marks]

[5 marks] [20 marks]

6. Let X have a distribution with density function

f(x;θ) = θ(θ + 1)(1 − x)x − 1 ,    0 < x < 1,   θ > 0.

One is interested in testing

H0  : θ = 1   vs.   H1  : θ > 1.

(a) Let C = {x : x < a } be the critical region of some test at the signi  cance level of α for a single observation x from the distribution.  Find the value of a0.05 .

[5 marks]

(b) For a random sample x1 , . . . ,xn  independently drawn from the distribution, does the uniformly most powerful test exist at the signi  cance level of α? Explain why.

[5 marks] [10 marks]

7. Let Y1 ,Y2 ,Y3  be independent normally-distributed random variables with

E(Y1 ) = β1 , E(Y2 ) = β1 + 2β2 , E(Y3 ) = −2β1 + β2

and a common variance σ 2 .

(a) Find the least squares estimator β of β = (β1 ,β2 )T .                          [5 marks]

θ = d1 Y1 + d2 Y2 + d3 Y3

[5 marks]

[5 marks] [15 marks]

8.  Show that the straight line represented by the linear regression model

 which is a least squares   t from n observations (x1 ,y1 ), . . . , (xn ,yn ), passes through the point (x, y), where x = n− 1   xi  and y = n− 1   yi .

[5 marks]

9. For a decision-making problem, the following table gives R(di ,θj ), the risk of each candidate decision rule di  for each state of nature θj :

  θ 1      θ2

10

12

13

15

15

17

18

20

(a) Find all admissible rules.

[5 marks]

(b) Find the minimax rule(s). Justify your answer.

[5 marks] [10 marks]

10.  Assume that X ∼ U(0, 1) if  = θ 1 , or X ∼ Beta(2, 1) if  = θ2 .  Let the action space be {a1 ,a2 } and the loss matrix be

  θ 1       θ2

0

20

Given the prior probabilities P( = θ1 ) = 0.6 and P( = θ2 ) = 0.4,   nd the Bayes rule.

[5 marks]