Question 1 (10 points)

Let X1 , . . . , Xn  be an i.i.d. sample with density

fX (x; θ) =        I(x > θ),        θ > 0.

(a) Find u, the “method-of-moments” estimator of θ .

Solution:  As E[X] = 2θ, then u  = X .

(b) What can we say about the MSE of u?

Solution:  Since E [X2] = +o, the variance of X is not defined, nor it is the variance of u , therefore we cannot define MSE位 (θ).

(c) Find M , the maximum likelihood estimator of θ .

Solution:  M = min{Xi}.

(d) Is M  consistent in quadratic mean?

Solution:  Let T = min{Xi}, then fT (t; θ) =  t2n+1 I(t > θ), hence

E[T] = θ,        E [T2] = θ,        Var [T] = θ 2 ;

then

MSE上 (θ) = Var [T] + ╱θ _ θ ←2 = θ 2 ;

since MSE上 (θ) → 0 as n → +o, we can say that M  is consistent in quadratic mean.

Question 2 (6 points)

Let X1 , . . . , Xn  be an i.i.d. sample with density

fX (x; θ) = 2θx(1 _ x2 ), − 1  I(0 < x < 1),        θ > 0.

(a) Find the critical region for the level α MP test for H0  : θ = 1 vs. H1  : θ = θ 1  > 1 (no need to

obtain the implementable form).

Solution: We use Neyman-Pearson lemma:  as L(θ; x) = 2n θn       xi(1 _ xi(2)), − 1         I(0 < xi  < 1),

setting L(θ1 ; x) > k L(1; x) gives

2n θ1(n)       xi(1 _ xi(2)),1 − 1        I(0 < xi  < 1) > k 2n       xi       I(0 < x < 1),

which boils down to     (1 _ xi(2)) > k, therefore

爱 = ,x ∈ Rn  :    (1 _ xi(2)) > k9 、,

with k9  such that P,=1 {X ∈ 爱} = α .

(b) Find the critical region for the level α UMP test for H0  : θ = 1 vs. H1  : θ > 1 (no need to obtain

the implementable form).

Solution:  Since in the previous result the critical region does not depend on θ 1 , it gives also the critical region for the UMP test:

爱 = {x ∈ Rn  : u(1 _ xi(2)) > k9 } ,

with k such that P,=1 {X ∈ 爱} = α .

(c) Now for this point, let n = 1 (i.e.: we have a single observation). Find the power function of the previous UMP test.  [Hint: you may need to obtain the implementable form for this case]

Solution:  As n = 1, 爱 = {x ∈ (0, 1) : 1 _ x2  > k9 } = {x ∈ (0, 1) : x <′ 1 _ k9 } and, if 0 < t < 1, FX(t; θ) = 1 _ (1 _ t2 ), . Hence, one immediately finds that

α = P,=1 {X < ^1 _ k9 } = FX( ^1 _ k9 ; 1) = 1 _ k9 ,

that is: k9 = 1 _ α; we can then write the power function, if θ > 1

Q(θ) = P, {X <′α } = FX(′α; θ) = 1 _ (1 _ α), ,

Q(θ)

1

α

1                                              θ

Question 3 (5 points)

Consider an i}i}d}  sample X = (X1 , . . . , Xn) from the population X ~ f,  with θ ∈ Θ .

(a)  Provide the definitions of sufficient, minimal sufficient, and complete statistics.

(b)  Suppose T is sufficient but not complete.  Does this prevent T from being minimal sufficient?  In

case it does not, provide an example of a minimal sufficient statistic which is not complete.

(c) Assume now that n = 2 and X1 , X2  are i}i}d}   ~ Bernoulli(θ).  By resorting exclusively to the definition of sufficient statistics prove or disprove the following claims:  (1) T1(X) = 2 is sufficient;

(2) T2(X) = X2  is sufficient; (3) T3(X) = X1 + X2  is sufficient.

Solution:  Please refer to your notes and to the textbook.

Question 4 (5 points)

Define the maximum likelihood estimator   of θ  ∈  狁 computed from an  i}i}d}   sample X1 , . . . , Xn extracted from fX (x; θ). Under the usual regularity hypotheses (please state them), what is the limiting

distribution of ′n ( _ θ )? From this result carefully Оbtaií (not simply state) the approximate large

sample distribution of    What is the approximate large sample distribution of τ一(θ), the maximum likelihood estimator of τ(θ)?  (assume τ(.) differentiable).

Solution:  Please refer to your notes and to the textbook.