Provide detailed answers to the following problems.

Problem 1.  Consider a trinomial distribution (X1 , X2 , X3 ) ~ tri-nomial(n, p1 , p2 , p3 ), where X3  = n - (X1 + X2 ) and p3  = 1 - (p1 + p2 ). The joint probability mass function

is given by

f (x1 , x2 , x3 ; p1 , p2 ) = │x1 ,x2(n), x3、p1(z)1  p2(z)2  p

(a) Find a minimal sufficient statistic for this family.

(b) Find the MLE of p1 , p2  (and hence p3 ).

(c) Assume p1  = p2  = θ and p3  = 1 - 2θ, with 0 < θ < 1/2.  Find a minimal sufficient for θ .

(d) Find the MLE of θ . Also, find condition(s) under which the MLE respects the range Θ = (0, 1/2).

(e)  Given the data (x1  = 3, x2  = 4) and n = 12, find the value of the MLE of θ .

Problem 2. (Gaussian mixture model) Consider a random variable X with the following pdf

f (x; θ) = p φ(x; µ, 1) + (1 - p) φ(x; -µ, 1)

where φ(x; µ, 1) is the pdf of N (µ, 1), and the vector of unknown parameters is θ = (p, µ), such that 0 < p < 1 and µ > 0.

(a) Find the moment estimate of θ .

(b) Verify whether we can find closed-form MLE for θ, or numerical methods need to be used to find an approximation to the MLE!

Problem 3. The following parametric families were discussed in Assignment 2. Please see relevant solutions posted on myCourses.

(a) Let X1 , X2 , . . . , Xn  be a random sample of size n from

f (x; θ) = e − (北 −9)    ,   x > θ

and f (x; θ) = 0, otherwise.

Find both the moment estimator and MLE of θ and compare these estimators (their forms) with those discussed in parts (c)-(d) of Problem 3, Assignment 2.

(b) Let X1 , X2 , . . . , Xn  be a random sample from the exponential distribution with pdf f (x; θ) = θe−9北    ,   x > 0

and θ > 0 is the unknown parameter. Find both the moment estimator and MLE of θ . Find the variance(s) of these two estimator(s) and compare them with the variance of UMVUE and also the CRLB (Use the results of Problem 5, Assignment 2 for this comparison).

(c) For the model in part (b) above, find the MLE of F (x0 ; θ) = P9 (X1  < x0 ), for any fixed x0  > 0.  For large values of n, compare the MLE with the UMVUE provided in part(c), Problem 5, Assignment 2. This comparison is purely from the point

of view of values of these two estimators for large sample sizes.

Hint:  for large n, (1 + a/n)n  ≈ ea .

(d) Verify consistency of the two estimators discussed in part (c) above.

Problem 4.  Let X1 , X2 , . . . , Xn  be a random sample from Poisson(λ), where λ > 0 is unknown.

(a) Find the MLE of g1 (λ) = λ2 .  For large values of n, compare the MLE with the UMVUE of g1 (λ) provided in part(a), Problem 6, Assignment 2.  This com- parison is purely from the point of view of values of these two estimators for large sample sizes.

Also, verify consistency of the two estimators.

(b) Find the MLE of g2 (λ) = P入 (X1  = 0).  For large values of n, compare the MLE with the UMVUE of g2 (λ) provided in part(b), Problem 6, Assignment 2. This comparison is purely from the point of view of values of these two estimators for large sample sizes.

Hint:  for large n, (1 + a/n)n  ≈ ea .

Also, verify consistency of the two estimators.

Problem 5. Assume that X1 , X2 , . . . , Xn and Y1 , Y2 , . . . , Yn are two independent random samples from N (µ1 , σ 2 ) and N (µ2 , σ 2 ), respectively.  The unknown parameters are θ = (µ1 , µ2 , σ 2 ).

(a) Find moment estimator and MLE of θ . Are they the same as its UMVUE (part(b), Problem 8, Assignment 2)?

(b) Verify consistency of the three estimators discussed in part (a).