● Answer ALL questions.

● You may submit only one answer to each question.

● The relative weights attached to each section are Section A (39 marks), Section B (59 marks), Section C (38 marks).

● The numbers in square brackets indicate the relative weights attached to each part question.

● Marks are awarded not only for the final result but also for the clarity of your answer.

Asking questions during the coursework period

● You may not email the course organizer directly during the period set for this coursework.

● If you need to clarify any part of the coursework, you may post to the course Moodle forum within the first two working days of the coursework’s release.  No clarification questions will be answered after this.

● You may not ask questions other than clarifications at any point during the period set for the coursework.

Formatting your solutions for submission

● Some part-questions require you to type your answers instead of hand- writing them.  These questions state [Type] at the start of the part- question.  You must follow this instruction.  Failure to do so may result in marks being deducted. For questions without the [Type] instruction, you may choose to type or hand-write your answer.

● Some part-questions ask you for an explanation using only words and no formulae. If you use formulae anyway, these may be entirely ignored in the marking process.

● Where a word limit has been set for a part question, this has been chosen to be at least three times the length of the expected answer. Hence you should view the word limit as a strict upper limit rather than as the number of words to achieve.

● You should submit ONE document that contains your solutions for all questions/ part-questions. Please follow UCL’s guidance on combining text and photographed/ scanned work.

● Make sure that your handwritten solutions are clear and are readable in the document you submit. You are encouraged to write out solutions neatly once you are happy with them.

Plagiarism and collusion

● You must work alone. In particular, any discussion of the coursework with  anyone  else is not acceptable.  You are encouraged to read the Department of Statistical Science’s advice on collusion and plagiarism, which you can find here.

● Parts of your submission will be screened via Turnitin to check for plagiarism and collusion.

● If there is any doubt as to whether the solutions you submit are entirely your own work you may be required to participate in an investigatory viva to establish authorship.

Section A

● A1 Let X ～ U (-1, 1) and let Y = X4 .

(a)  Compute E[Y].

(b)  Compute Var(Y).

(c)  Compute the pdf fY  of Y .

● A2 Let the joint distribution of X two-way table:

[3] [3] [5]

and Y be given by the following

Here, a, b are unknown constants such that the above table is a valid two-way table.  For parts (a)-(d) you may leave your results in terms of a and b where necessary.

(a)  Compute the marginal pmfs pX  and pY .

(b)  Compute E[X] and E[Y].

(c)  Compute Var(X) and Var(Y).

(d)  Compute Corr(X, Y) in the case (a, b)  (0, 0).

[3]

[3]

[3]

[5]

(e) What constraints must the pair (a, b) satisfy to ensure that the

table above is valid?                                                                    [2] (f) What is the smallest value Corr(X, Y) can take in this case? Give a value of (a, b) for which the smallest possible value of Corr(X, Y)

is attained.                                                                                   [2]

● A3 Let the joint cdf of X and Y be given by

, 0                  if x < 0 or y < 0

FX,Y (x, y) =．

(a)  Compute P (0 < X < 1, 0 < Y < 1).

(b)  Compute the marginal cdf FY  of Y .

[2]

[3]

(c)  Compute P (X < 1/2 IY < 1/2).

[Type] Using only words and no formulae, decide whether X and Y are independent and justify your decision.  Maximum length:

150 words.                                                                                   [5]

Section B

● B1 For i e {1, . . . , n} with n e N and n ≥ 2, let X N(µ, σ2 ) where µ and σ 2  > 0 are both unknown. To estimate the variance σ 2 , consider the estimator

Tα  =       (Xi - )2 ,

where  =       Xi . In this expression, the number α e (-o, 2) is used to obtain different estimators.

(a) Name the estimator in the case α  =  1.   What is the expected value of T1 ?  (You do not need to compute the expected value if

you know it.)

(b)  Compute the bias of Tα .

(c)  Compute the sampling variance of Tα . variance of T1 .

(d)  Show that the mse for Tα  is given by

[2]

[2]

Hint:   Start from the

[5]

mse(Tα ; σ2 ) =  ╱α2 - 2α - 1 + 2n、.

[4]

(e)  Given the sample size n, which value αx (n) of α results in the smallest mean square error of Tα ? You need to provide a derivation and justification of your result and while you may omit checking the second order condition you should check the boundaries.    [8]

(f) Hence provide a formula for an estimator of the form Tα  with smallest mse.

[Type] Using only words and no formulae, give one reason why T1 is often used in practice in spite of your result. Maximum length:

300 words.                                                                                   [5]

● B2 For n e N, consider the regression model of the form

Y = αx + ∈,       ∈ ～ N(0, Σ),

where the covariate x e Rn  with x  0 and the positive definite sym- metric matrix Σ e Rn ×n  are fixed and known whereas the parameter α e R is unknown. The sample consists of a single observation y from this model.

(a)  [Type] Using only words and no formulae, explain how a maxi-

mum likelihood estimator is obtained in general. Maximum length:

150 words.                                                                                   [4]

(b) In the setting described above, obtain the log-likelihood for the parameter α given the one observation y e Rn .                         [4]

(c)  Show that the MLE of α is given by

xT Σ_1y

MLE  =

You need to check all applicable conditions for a maximum.        Hint:    Note that α is a number (not a matrix or a vector) and

note the dimension of xT Σ_1y as well as that of xT Σ_1 x.

(d)  Compute E[MLE].

[8]

[5]

(e)  Compute the Cramer-Rao lower bound for unbiased estimators of α. What is the interpretation of this bound?                             [4]

(f)  Compute the sampling variance of MLE .  Hence decide whether or not MLE  achieves the Cramer-Rao lower bound.

Hint:     First show that MLE  is of the form MLE  = c + aT ∈ for

some constant c e R and some constant vector a e Rn  which you should specify.

[8]

Section C

Let X  ～  N (µ, Σ) where µ  e  Rn   and  Σ  e  Rn ×n   for dimension n  ≥  2. Also assume that  Σ is positive definite symmetric.   Let A  e Rk ×n   with k e {1, . . . , n}. You may use the facts that, firstly, AΣAT  is positive definite symmetric if A has full rank and that, secondly, A has full rank if and only if its row vectors are linearly independent.

(a)  Compute the mgf of Y = AX and thus show that Y follows a normal distribution and specify its mean vector and covariance matrix.       [4]

(b) Under the condition that A has full rank, write down the pdf of Y . Explain why it is impossible to write down the pdf of Y if A does not have full rank.                                                                                     [4]

(c) Using the mgf or otherwise, prove that Cov(Xi , Xj ) = 0 if and only if Xi  and Xj  are independent. Note that during the course we have only established this in the case of bivariate normal distributions.           [6]

(d)  Suppose that Cov(X1 , Xj ) = 0 holds for all j e {2, . . . , d}.  Show that X1  is independent of X2 + X3 + . . . + Xd .                                          [5]

(e)  Consider three discrete random variables U, V, W each taking values in {-1, 1} and such that U is independent of V and U is independent of W .  For each of the statements (i) and (ii) below, decide whether it is true in general or whether it may be false.  If the statement is true in general, provide a proof.  Otherwise, find a joint pmf for U, V and W that provides a counterexample (i.e.  a joint distribution for which the statement does not hold), explaining your reasoning and presenting your joint pmf in a table as follows:

(i)  U and V + W are uncorrelated.

(ii)  U and V + W are independent.

[4]

[5]