STAT7301 Mathematical Statistics Semester One Final Examinations, 2021

Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

STAT7301 Mathematical Statistics

Semester 1, 2021

Question 1.                      [13 marks]

(a) Let t = (x1 , . . . , xn )T  contain an observed random sample on a random variable X with prob- ability density function f (x; θ) specified up to an unknown vector of parameters θ .  The random sample is denoted by

W = (X1 , . . . , Xn )T .

Suppose a null hypothesis H0  : θ = 0 versus an alternative hypothesis H1  : θ  0 is to be rejected if the observed value T (t) of the test statistic T (W) is sufficiently large in magnitude.

(i)  Give a definition of the P-value of a test in general.                                                  [1 mark]

(ii)  Give a definition via a mathematical expression for the P-value of the test proposed here.  [1 mark]

(b) Let

X1 , . . . , Xn1       i.  .   N (µ1 , σ 1(2)),

Y1 , . . . , Yn2       i.  .   N (µ2 , σ2(2)),

denote two independent random samples from two classes C1  and C2 , respectively.

σ 1(2)  = c σ2(2);                                                                  (1)

that is, σ 1(2) = σ2  and σ2(2) = c σ2 , where c is known.

(i) Write down the likelihood equation,

∂ log L(θ)/∂θ = 0,

for this problem.                                                              [2 marks]

(ii)  Give its solution, yielding the maximum likelihood (ML) estimates of µ1 , µ2 , and σ2 .  Note you are not required to verify that the solution is a (global) maximizer of the likelihood function.          [2 marks]

(iii)  Give the distribution of the ML estimator ˆ(σ)2  and explain how your answer was obtained. [3 marks]

(iv)  Consider the test of

H0  : µ1  = µ2   vs. H1  : µ1   µ2 ,

on the basis of the test statistic,

 

T =         X - Y         

2ˆ(σ)2 /n1  + c ˆ(σ)2 /n2 ,

where ˆ(σ)2  is the ML estimate of σ2 .

Give an exact result for the null distribution of this test statistic T under assumption (1), with an explanation as to how it was obtained.                                   [4 marks]

Question 2.                  [17 marks]


A random sample X1 , . . . , Xn  is taken from a population in which the random variable X has proba- bility function or density function f (x;   ), which belongs to the regular exponential family,

f (x;   ) = b(x) exp{c(  )Tt(x)}/a(  ),                                         (2)

where    is the vector of unknown parameters.  Hence the likelihood function L(  ) is given by

L(  ) = h(x) exp{c(  )TT (x)} {a(  )}−n ,

where x = (x1 , . . . , xn )T  is the observed random sample and where

T (x)   =   t(xj ),

h(x)   =   Ⅱ b(xj ).

j=1

The maximum likelihood (ML) estimate ˆ of    can be shown to satisfy the equation

E{T (X)} = T (x);                                                             (3)

that is,

[E{T (X)}]     ˆ  = T (x),

=

where X is the random vector with particular value x.

(i)  Establish the result (3) in the simplified case where the canonical parameter c(  ) is equal to    . [2 marks]

(ii)  Using the result (3) where the canonical parameter c(  ) is not necessarily equal to    , show that

s (ˆ ) = I(ˆ ),                                                         (4)

where I(  ) is the negative of the Hessian of log L(  ) and s (  ) is the Fisher  (expected) infor- mation matrix. To simplify your solution, you may take    to be a scalar. [3 marks] 

(iii) Why is T (X) a sufficient statistic for    and why is it a minimal sufficient statistic?   [2 marks]

(iv)  Suppose U is an unbiased estimator of   . Show that

W = E{U } T}


is also an unbiased estimator of   .  [2 marks]

(v)  Consider for simplicity the case of only a single parameter and so where 9 , U , I , and T are scalars. Show that

var(W) < var(U),                                                   (5)

and state where equality occurs in (5).                                                                             [3 marks]

(vi) Let

g(9) = f (k; 9),

where k is some specified value of the random X with probability function f (x; 9).

Give the ML estimate of g(9).                                                                                     [1 mark]

(vii)  Show that

U (T) = pr{Xj  = k } T(

is the uniform minimum variance unbiased (UMVU) estimator of g(9), where Xj  is a member (before it is observed) of the random sample from which T is formed.                           [4 marks]

Question 3.

Consider a Markov Chain y1 , y2 , . . . , yn  with joint probability density function (pdf)           [5 marks]

f (y1 , y2 , . . . , yn ) = f (y1 )f (y2 }y1 )f (y3 }y2 ) . . . f (yn }yn − 1 ) .

(i)  Draw the Bayesian network corresponding to this Markov Chain.        [2 marks]

(ii)  Show that the joint pdf can also be factorised in  “reverse time” order, i.e.,       [3 marks]

f (y1 , y2 , . . . , yn ) = f (yn )f (yn − 1 }yn )f (yn −2 }yn − 1 ) . . . f (y1 }y2 ) .

Question 4.                       [11 marks]


Let x1 , x2 , . . . , xn  be iid observations from a Geometric distribution, each with probability function

f (x} p) = (1 - p)zp ,    x = 0, 1, 2, . . .  ,

where p e [0, 1] is an unknown parameter. Note that in this parametrisation, x represents the number of failures before the first success.  Consider a prior distribution on p given by p ~ Beta(α, β) with pdf

f (p) =  pa − 1  (1 - p)8 − 1  ,    p e [0, 1] ,

where B(α, β) = Γ(α)Γ(β)/Γ(α + β).

(i) Find an expression for the posterior pdf of p given the data t = (x1 , x2 , . . . , xn ) and identify its distribution.          [3 marks]

(ii) Is the prior distribution p ~ Beta(α, β) conjugate for this problem?                              [1 mark ]

(iii)  Show that the mean of any Beta(a, b) distribution is given by a/(a + b).                       [2 marks]

(iv) Using parts (i), (ii) and (iii), or otherwise, show that the posterior mean of p given t is

E(p} t) =  .                                     [1 mark]


(v) What happens to the posterior mean as sample size n → o?                                           [1 mark]

(vi) What happens to the posterior mean if prior hyperparameters α, β → 0?                       [1 mark]

(vii)  Give an interpretation of the posterior mean by completing the following sentence:

“The effect of the prior hyperparameters α, β on the posterior mean of p is like . . . ”    [2 marks]

Question 5.                   [14 marks]

Consider the following Bayesian model:

f(µ, σ2 )   x   1/σ2  ,  µ e R, σ2  > 0 , x1 , . . . , xn   }  µ, σ2          N(µ, σ2 ) .

(i) Derive an expression for the joint posterior pdf of (µ, σ2 ) given t = (x1 , . . . , xn ).                     [2 marks]

(ii)  Show that                            

n                                   n

 (xi - µ)2  = (xi - ¯(x))2 + n(µ - ¯(x))2  .

i=1                               i=1                                                       [2 marks]

(iii) Using part (ii), or otherwise, show that the conditional posterior f(µ}σ2 , t) is normal.  Find the mean and variance of this normal distribution.                        [2 marks]

(iv)  Show that the conditional posterior f(σ2 }µ, t) is Inverse-Gamma.  Find the shape and scale of this Inverse-Gamma distribution.             [2 marks]

(v) Describe how you would sample from the joint posterior f(µ, σ2 }t).                              [4 marks]

(vi)  Describe how you construct posterior 90% credible intervals for the mean parameter µ and the variance parameter σ 2 .                                [2 marks]

2023-06-10