Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

STAT0005: Probability and Inference 2020/21

Level 5

Main exam period

  Answer ALL questions.

 You may submit only one answer to each question.

  The relative weights attached to each section are Section A (40 marks), Section B (60 marks).

  The numbers in square brackets indicate the relative weights attached to each part question.

●  Marks are awarded not only for the final result but also for intermediate steps and the clarity of your answer.

Administrative details

●  This is an open-book exam. You may use your course materials to answer questions. Some questions may ask you to solve, or not to solve, a problem in a particular way; please take note of this. Failure to do so may result in marks being deducted.

● You  may  not  contact  the  course  lecturer  with  any  questions, even if you want to clarify something or report an error on the paper. If you have any doubts about a question, make a note in your answer explaining the assumptions that you are making in answering it.

●  UCL requires that all 24-hour online exams have a specified overall word limit. The overall word limit for this exam has been set well in excess of the expected amount of work so that you do not need to worry about exceeding it. Therefore, we expect that solutions to the paper will be much shorter than the specified word limit.

●  Some part-questions require text-based answers; many of these will indicate the maximum number of sentences you may write. You must adhere to this or risk losing marks.

Formatting your solutions for submission

●  Some part-questions require you to type your answers instead of handwriting them. These questions state [Type] at the start of the part-question. You must follow this instruction.  Failure to do so may result in marks being deducted.  For questions without the  [Type] instruction, you may choose to type or hand-write your answer.

● You should submit ONE document that contains your solutions for all questions/ part-questions. Please follow UCL’s guidance on combining text and photographed/ scanned work.

●  Make sure that your handwritten solutions are clear and are readable in the document you submit. You are encouraged to write out solutions neatly once you are happy with them.

Plagiarism and collusion

● You must work alone.  In particular, any discussion of the paper with anyone else is not acceptable. You are encouraged to read the Department of Statistical Science’s advice on collusion and plagiarism, which you can find here.

  Parts of your submission will be screened via Turnitin to check for plagiarism and collusion.

● If there is any doubt as to whether the solutions you submit are entirely your own work you may be required to participate in an investigatory viva to establish authorship.

A 1 [12 marks]

Let the sample space be given by Ω = {ω1 , ω2 , ω3 } and consider the events A = {ω1 , ω2 }, B = {ω2 , ω3 } and C = {ω2 }. For i e {1, 2, 3}, let pi  = P ({ωi }).

(a)  For this part question, assume that p1  = p2  = p3 . Decide whether A and B are independent and justify your decision. Also decide whether A and B are conditionally independent given C and justify your

decision.  [6]

(b)  Find all possible sets of values of (p1 , p2 , p3 )T  e 皿3  for which A and B are independent presenting a

clear and rigorous argument.  [6]


Consider the joint pdf

fX,Y (x, y) = ,

 

 

 

 

4

x3 y3 0

 

 

 

 

if x > 1, y > 1    otherwise       .

(a)  Compute the marginal cdf of X.  [4]

(b)  Obtain Cov(X, Y) justifying your steps.  [2]

(c)  Decide whether X and Y are independent and justify your decision.  [2]

A 3 [8 marks]

(a)  [Type] Explain how the join mgf MX,Y  of two random variables X and Y can be used to establish whether X and Y are independent. Word limit: 200 words [5]

(b)  Consider the two cases where the marginal distribution of X is given by fX (x) = x-2  (where x > 1) and fX (x) = e-]x], respectively.  For each case, decide whether the method from part (a) can be applied in principle and justify your decision.  [3]

A 4 [12 marks]

Let X1 , . . . , Xn  be a random sample from the distribution given by the pdf

fX (x) = , th(x)ewi(1)se   ,

where o e Θ = (0, o) is an unknown parameter.

(a)  Obtain the log likelihood for the parameter o given the observation x1 , . . . , xn  e (1, o)n . Justify your

steps and simplify your nal expression as far as possible.  [3]

(b)  Compute the maximum likelihood estimator of o carefully performing all necessary checks in your

treatment of the optimization problem.  [9]

B 1 [30 marks]

Consider the independent random variables Xi ~Exp  , enumerated by i e N. Here, µ > 0 is an unknown

parameter. In this question, you may omit checking second order conditions and boundary conditions.

(a)  Obtain the maximum likelihood estimator M LE  of µ based on a sample x1 , . . . , xn  from the above random variables. Note carefully that, while the Xi are independent, they are not identically distributed. Compute the estimator’s mean-square error.  [5]

(b)  Instead of the entire sample x1 , . . . , xn , suppose you are only given the sample minimum, x(1)   = min{x1 , . . . , xn }. Based on the distribution of the sample minimum X(1) , which you should derive, find the maximum likelihood estimate M IN  of µ in this case. Compute its mean-square error.  [8]

(c)  In your first employment as statistician, you are asked to implement the above estimation on a very small computer platform with limited memory and computing power. Samples are fed into the computer one by one and the task of the code is to produce an estimate of µ quickly after each new data point xi is fed in. Since the code is meant to keep running even when the number of samples n gets large, it is not feasible to store all samples observed so far. Your colleague suggests the following updating scheme to keep track of the sample minimum:

m1  = x1 ,       mn+1  = min(mn , xn+1)       (*)                                          (1)

Another colleague claims that, while the Xi  all follow different distributions, iXi  always follows the same distribution and hence suggests using the scheme

b1  = x1 ,       bn+1  = min(bn , (n + 1)xn+1)       (**)                                      (2)

(i)  Write down the estimator of µ that can be obtained from mn .  [1]

(ii)  Using moment generating functions, decide whether the other colleague’s statement is true and justify your decision. Derive the estimator that can be obtained from bn  and compute its mean

square error.  [6]

(iii)  Construct a similar updating scheme to (*) and (**) based on your results in part (a) keeping track of a sufficient statistic an  which you should define and write down the estimator of µ that can be obtained from an .  [4]

(d)  [Type] Decide which of the three estimators from part c has the smallest mean square error and justify your decision. Provide an intuitive explanation for your findings. Word limit: 200 words.[6]

B 2 [30 marks]

Let X ~ N ╱╱ s(c)in(os)α(α)  Σ, where α e (-π/2, π/2) =: Θ is an unknown parameter and the positive denite symmetric matrix Σ =   oσ 1(σ)σ222     is presumed known. You may assume that the eigenvalues λ 1

and λ2  of Σ are strictly positive. You may use without proof that when u and v are orthogonal eigenvectors of Σ associated with the eigenvalues λ 1  and λ2 , respectively, then Σ - 1  = λ 1(-)1 uuT + λ2(-)1 vvT  holds.

(a)  Compute 匝[|X|2]. Decide whether this expectation depends on α and justify your decision.  [7]          (b)  Obtain the maximum likelihood estimator of α based on a single observation x = (x1 , x2 )T  in the case

Σ = Id.  You may omit checking the second order condition as well as the boundary conditions.  [6]

(c)  Compute the Fisher information i(α) contained in a single observation of X in the case of general positive definite symmetric Σ.  [8]

(d)  Assume that λ 1  > λ2  holds in this part. Express geometrically what relationship α and u must satisfy to maximize i(α).  Prepare a sketch showing a typical scatter plot of a random sample for X and its relation to the vector   s(c)in(os)α(α)    in the case where i(α) is maximal and in the case where i(α) is minimal. You may assume without proof that the estimator found in part (b) is valid also for general positive definite Σ.  [6]

(e)  [Type] Finally, provide an intuitive explanation for the geometric condition connecting the value of the Fisher information, the asymptotic variance of the MLE  and the relative orientations shown in your sketch. Word limit: 200 words.  [3]