STATS 310/732 Introduction to Statistical Inference SEMESTER 1, 2019

1. Let X1 ,X2  have the joint probability density function

f(x1 ,x2 ) = 8x1 x2 ,    0 < x1  < x2  < 1.

Let Y1  = X1 /X2  and Y2  = X2 .

(a) Find E(X1 X2 ).

[6 marks]

(b)  Show that the joint probability density function of Y1  and Y2  is fY1,Y2 (y1 ,y2 ) = 8y1y2(3) ,

and state the support of the distribution.

[6 marks]

(c)  Show that Y2 |Y1  = y1  has the probability density function

f2 (y2 |y1 ) = 4y2(3) ,

and state the support of the distribution.

[6 marks]

(d) Are Y1  and Y2  independent? Justify your answer.

[2 marks] [20 marks]

2. Explain in sucient detail why the weak law of large numbers does not hold for the mean of a random sample independently drawn from the Cauchy distribution which has density function

f(x) = ,    x ∈ R.

[5 marks]

3. Let X ∼ χν(2), i.e., the chi-square distribution with ν degrees of freedom, which has E(X) = ν and Var(X) = 2ν . Explain using the central limit theorem why

X − ν

converges in distribution to a standard normal random variable as ν → ∞ .

[5 marks]

Answer:    Write X = P Xi , where Xi      χν(2)0   and ν = nν0  (if ν is an integer, we can simply set ν0  = 1 and n = ν). Therefore, Var(Xi ) = 2ν0  is   nite, and

Y = = =

=

to which the CLT can be applied.

X − ν

 √2nν0 nX − nν0

4. Let X1 ,X2 , . . . ,Xn  be a random sample drawn independently from the geometric distribution with probability function

f(x;θ) = θ(1 − θ)x ,    x = 0, 1, 2, . . . ,   0 < θ < 1, which has mean (1 − θ)/θ and variance (1 − θ)/θ2 .

(a) Write down the likelihood and log-likelihood functions.

[4 marks]

(b) Find the maximum likelihood estimator 

(c)  Show that the Fisher information I(θ) = n/{θ2 (1 − θ)}.

[4 marks]

(d) Is θ an MVUE of θ? Justify your answer.                                           [4 marks]

95% con  dence interval for θ .

[4 marks] [20 marks]

5.  Consider the multinomial distribution with 3 categories, where the random variables X1 ,X2  and X3  have the joint probability function

f(x;θ) = n!x1!x2!x3!θ 1(x)1 θ2(x)2 (1 − θ 1  − θ2 )x3 ,    x1 ,x2 ,x3  ≥ 0,

where x  =  (x1 ,x2 ,x3 )T , θ  =  (θ1 ,θ2 )T , n  = x1  + x2  + x3 , θ 1   >  0, θ2   >  0 and

θ3  ≡ 1 − θ 1  − θ2  > 0.

(a) Write down expressions for the log-likelihood function ℓ(θ) and the score statis- tic vector U(x;θ).

[5 marks]

(b) Find the maximum likelihood estimator θ of θ .  (You do not need to perform

(c)  Show that the Fisher information is

I(θ) = n  1θ1    1θ3

1θ2    1θ3    .

[5 marks]

(d)  Consider using −2 log(LR) to test the null hypothesis H0  : θ 1  = θ2  = θ3 against

[5 marks] [20 marks]

6.  Let X have a distribution with density function

f(x;θ) = θxθ −1 ,    0 < x < 1,   θ > 0.

One is interested in testing

H0  : θ = 1    vs.   H1  : θ > 1,

based on a random sample x1 , . . . ,xn  independently drawn from the distribution.

(a)  Write down the sample space S, the parameter space  and the null parameter space  0  of the test.

[2 marks]

(b)  Let n =  1 and C = {x : x > aα } be the critical region of some test at the signi  cance level of α . Find the value of a0.05 .

[4 marks] (c)  Let n ≥ 1.  Show that the uniformly most powerful (UMP) test has the form

n

Reject H0 , if   xi  > bα ,

i=1

where bα  is so chosen that the test has a signi  cance level of α .

[4 marks] [10 marks]