Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

STAT0005: Probability and Inference 2020/21

Level 5

(b)  Instead of the entire sample x1 , . . . , xn , suppose you are only given the sample minimum, x(1)   = min{x1 , . . . , xn }. Based on the distribution of the sample minimum X(1) , which you should derive, find the maximum likelihood estimate M IN  of µ in this case. Compute its mean-square error.  [8]

(c)  In your first employment as statistician, you are asked to implement the above estimation on a very small computer platform with limited memory and computing power. Samples are fed into the computer one by one and the task of the code is to produce an estimate of µ quickly after each new data point xi is fed in. Since the code is meant to keep running even when the number of samples n gets large, it is not feasible to store all samples observed so far. Your colleague suggests the following updating scheme to keep track of the sample minimum:

m1  = x1 ,       mn+1  = min(mn , xn+1)       (*)                                          (1)

Another colleague claims that, while the Xi  all follow different distributions, iXi  always follows the same distribution and hence suggests using the scheme

b1  = x1 ,       bn+1  = min(bn , (n + 1)xn+1)       (**)                                      (2)

(i)  Write down the estimator of µ that can be obtained from mn .  [1]

(ii)  Using moment generating functions, decide whether the other colleague’s statement is true and justify your decision. Derive the estimator that can be obtained from bn  and compute its mean

square error.  [6]

(iii)  Construct a similar updating scheme to (*) and (**) based on your results in part (a) keeping track of a sufficient statistic an  which you should define and write down the estimator of µ that can be obtained from an .  [4]

(d)  [Type] Decide which of the three estimators from part c has the smallest mean square error and justify your decision. Provide an intuitive explanation for your findings. Word limit: 200 words.[6]

B 2 [30 marks]

Let X ~ N ╱╱ s(c)in(os)α(α)  、, Σ、, where α e (-π/2, π/2) =: Θ is an unknown parameter and the positive definite symmetric matrix Σ = ╱  oσ 1(σ)σ222   、  is presumed known. You may assume that the eigenvalues λ 1

and λ2  of Σ are strictly positive. You may use without proof that when u and v are orthogonal eigenvectors of Σ associated with the eigenvalues λ 1  and λ2 , respectively, then Σ - 1  = λ 1(-)1 uuT + λ2(-)1 vvT  holds.

(a)  Compute 匝[|X|2]. Decide whether this expectation depends on α and justify your decision.  [7]          (b)  Obtain the maximum likelihood estimator of α based on a single observation x = (x1 , x2 )T  in the case

Σ = Id.  You may omit checking the second order condition as well as the boundary conditions.  [6]

(c)  Compute the Fisher information i(α) contained in a single observation of X in the case of general positive definite symmetric Σ.  [8]

(d)  Assume that λ 1  > λ2  holds in this part. Express geometrically what relationship α and u must satisfy to maximize i(α).  Prepare a sketch showing a typical scatter plot of a random sample for X and its relation to the vector  ╱ s(c)in(os)α(α)  、  in the case where i(α) is maximal and in the case where i(α) is minimal. You may assume without proof that the estimator found in part (b) is valid also for general positive definite Σ.  [6]

(e)  [Type] Finally, provide an intuitive explanation for the geometric condition connecting the value of the Fisher information, the asymptotic variance of the MLE  and the relative orientations shown in your sketch. Word limit: 200 words.  [3]