Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

Semester 1 Assessment, 2020

MAST30020 Probability for Inference

Question 1 (8 marks)

Let A1, A2 , . . . be a sequence of events in a common outcome space Ω .

(a) Express the event B1  :=“at least one of the events Aj , j 2 1, occurred” in terms of the Aj’s using the basic set operations.

(b) Express the event B2  :=“exactly two of the events Aj , j 2 1, occurred” in terms of the Aj’s using the basic set operations.

(c) Express the event B3  :=“infinitely many of the events Aj , j 2 1, occurred” in terms of the Aj’s using the basic set operations.

(d) Express the events Bk, k = 1, 2, 3, from parts (a)–(c) using the indicators 1Aj    of the events Aj, j 2 1.

Question 2 (10 marks)

Consider the function X(ω) := 1(1,5](ω) + 1(3,6](ω) on the outcome space Ω = (0, 10].

(a)  Specify the partition of Ω generated by the function X (i.e., the collection of non-empty

sets of the form {X  = x}, x  e R).   How many elements are there in the generated sigma-algebra σ(X)? Explain.  [Hint:  Plot the graph of X.]

(b) Let Y (ω) := 51(0,1](ω), ω e Ω . Will this function Y be a random variable (RV) on the measurable space (Ω, σ(X))? Explain.  [Hint:  Plot the graphs of X and Y .]

(c) Consider the probability space (Ω , B , P), where B is the sigma-algebra of Borel subsets of Ω and the probability measure P is the uniform distribution on [2, 7], i.e., P has density f (ω) = 1[2,7](ω), ω e Ω (w.r.t. the Lebesgue measure).  Compute the distributions of the RVs X and Y (i.e., compute their probability mass functions).


Question 3 (19 marks)

Ll

Let {Xn}n-0  be a sequence of RVs such that Xn  _ X0  as n  o.

(a)  Prove that Xn  _ X0  as n → o.


You can continue your answer to question 3(a) in the answer box on the next page. Page 5 of 22 pages


This answer box can be used to complete your answer to question 3(a):


(b) Assuming in addition to L1-convergence that there is a constant C2   < o such that E|Xn _ X0| < C2n_3/2, n = 0, 1, 2, . . . , prove that Xn  _(乩) X0  as n → o.

(c) Assuming in addition to L1-convergence that there exists a constant C1  < o such that

L2

P(|Xn| > C1) = 0, n = 0, 1, 2, . . . , prove that Xn  _→ X0  as n → o.

(d) Assuming that {Xn}n-0  c L2  is a sequence of independent RVs such that Xn   X0 as n → o, prove that P(X0 = EX0) = 1 (i.e., the limiting RV X0  is a constant).          [Hint:  Show that Var (X0) is the limit of Cov (Xn, X0 ).]

Question 4 (9 marks)

Let Z1  and Z2 be independent standard normal random variables. Consider the random bivari- ate vector X := (1, 0) + (1, 1)Z1 + (1, 2)Z2 .

(a)  Compute the mean μ = EX and covariance matrix CX(2)  of the random vector X .

(b) Write down an expression for the density f (α), α := (x1 , x2 ), of the random vector X using matrix algebra, in terms of the mean and covariance matrix of X.  Using your answer to part (a) above, compute the density f (x1 , x2 ) in explicit form.

You can continue your answer to question 4(b) in the answer box on the next page.

(c) This answer box can be used to complete your answer to question 4(b):

Compute the characteristic function ϕ(t1 , t2 ) of the random vector X.  (It is not enough to give your answer in a form involving matrix products.  You have to do necessary computations to give an explicit closed form of the  ChF, like in the second half of part (b), where you had to compute f (x1 , x2 ).)

Question 5 (12 marks)

Consider a triangular array” of random variables Xn,k:

X1 1

X2,1 , X2,2

. . .    . . .    . . .

Xn,1, Xn,2, . . . , Xn,n

. . .    . . .    . . .    . . .

such that the RVs in each row Xn,1, Xn,2, . . . , Xn,n  are independent and identically distributed, P(Xn,k  = 1) = 1 _ P(Xn,k  = 0) = pn  e (0, 1), k = 1, . . . , n. Put Sn  := Xn,1 + . . . + Xn,n, n 2 1.

(a) Assuming that pn = λn_1 , n 2 1, for some λ e (0, o), use the method of characteristic functions to prove that Sn  _ Y as n → o, where Y has the Poisson distribution with mean λ.  First compute the ChF ϕY  of Y .  (An expression for ϕY  is given on p. 22 of this paper, but you have to derive it when answering this question.)

(b) Assuming that pn = λn_1/2, n 2 1, for some λ e (0, o), use the method of characteristic functions to prove that Wn  := n_1/4(Sn _ npn) _ W as n → o, where W ~ N (0, λ). (An expression for ϕW  can be obtained from the standard normal ChF which is given on p. 22 of this paper — do not derive the latter ChF.) [Hint:  You may wish to use this formula:  1 + x = exp{x _ x2 + o(x2 )} as x → 0, which is valid for complex-valued x as well.]


Question 6 (26 marks)

For each of the following statements, say whether it is TRUE or FALSE and give a brief explanation of your answer (e.g. by quoting basic properties and/or theorems discussed in the subject, or by doing a calculation, or by giving a counterexample).

In each part, one mark will be awarded for correct true/false answer and one mark will be given for a correct explanation.

(a) For any events A, B  in a common probability space  (Ω , r, P), one has P(B \ A)  =

P(B) _ P(A).

(b) For any discrete RV X and any function f : R → R, the function Y := f(X) will be a discrete RV as well.

(c) For any absolutely continuous RV X and continuous function f, the random variable Y := f(X) is also absolutely continuous.

(d) Any non-decreasing continuous function  F  :  R  →  R such that limxo_oF (x)  =  0, limxo+oF (x)  =  1, is the distribution function  (DF) of some absolutely continuous distribution on R.

(e) Suppose that U ~ U[0, 1]. Then P(U2  < t) < P(U < t) for any t e R.

(f) If X  > 0 is an RV with bounded density fX  such that supx>0 x1/2fX (x) < o, then Y := X1/2  is always an absolutely continuous RV with a bounded density.

(g) If X and Y are RVs such that X2  and Y2  are independent of each other, then X and Y are also independent of each other.

(h) If S is a univariate sufficient statistic for θ, and ϕ : R → R is a continuous function, then T := ϕ(S) is always also sufficient for θ.

(i) Let A1  and A2  be disjoint events such that 0 < P(Aj) < 1, j = 1, 2. Set Xj  := 1Aj   and denote by ϕXj (t) the characteristic function (ChF) of Xj, j = 1, 2. Then the ChF of the sum X1 + X2  is equal to ϕXl(t)ϕX2 (t).

(j) One always has P(X + Y < 5) < P(X < 3) + P(Y < 2).

(k) If X, Y, Z e L2  are uncorrelated non-trivial RVs (i.e., none of them is a constant), then so are X _ 2Z and Y + 3Z .

(l)  The function (1 _ |t|)1(|t| < 1), t e R, is the ChF of some probability distribution on R.

(m) For any RV X > 0 with EX < o one has E ln X < ln EX.

Question 7 (12 marks)

Let X1, X2 , . . . be independent identically distributed (i.i.d.)  RVs, such that EelXll  < o.  Set

Sn  := X1 + X2 + . . . + Xn, n = 1, 2, . . . When solving this problem, use the following notation: φ := EeXl, mk  := EX1(k), k > 0.

(a)  Prove that E|X|k  < o for any k 2 1.

Compute E(Sn+k|Sn) for n, k 2 1.

(c)  Compute E(Sn(2)+k|Sn) for n, k 2 1.

Compute E(Sn|Sn+k) for n, k 2 1.

Compute E(eSnk |Sn) and E(eSnk |eSn) for n, k 2 1.

Question 8 (16 marks)

In this problem, X := (X1, . . . , Xn) is a sample of n i.i.d. RVs from a distribution belonging to a parametric family p = {Pθ}θeΘ  of distributions on R. We assume that all distributions from p are absolutely continuous and denote by fθ  the density of Pθ , θ e Θ.

When doing the parts of the problem below, you can refer to any theorem from our course, but if you do that you have to provide formal statements of the respective results.

(a)  Give a formal definition of a sufficient statistic (SS) for parameter θ .

Give a formal definition of the maximum likelihood estimator  for θ. Prove that if S is an SS for θ then  is a function of S only.

Assume that Pθ  is the gamma distribution with θ = (α, β) e Θ = (0, o)2 , where α is the shape parameter, β is the scale parameter, i.e., X1  has density

xα _ 1 e_x/β

f(α,β)(x) =    βα Γ(α)   1(x > 0).

Find a bivariate SS for θ = (α, β).


Under the assumptions of part (c), assume that α = α0  is known.  Find an SS for the only remaining unknown parameter β .

Find the value of a > 0 such that the estimator β*  := aX1  for β would be unbiased.     State the Rao–Blackwell theorem and use it and the SS you found in this part to improve the unbiased estimator β* .


Some (potentially) useful facts and formulae

You may wish to use some of them (but you will certainly not need all of them).

 

· If X ~ U (_1, 1), then EeitX  =  =  .

· If Z ~ N (0, 1), then EeitZ  = e_t2 /2  and EeitZ2   = (1 _ 2it)_1/2 .

· If X ~ Poisson(λ) = P (λ), then EeitX  = eλ(eit _1) .

· If X ~ Exponential(λ) = E(λ), the density of X is equal to fX (x) = λe_λx 1(x > 0) and

its ChF is EeitX  =      1     

·  eix = cos x + i sin x, so that cos x = Re eix , sin x = Im eix  for x e R, and

cos(x + y) = cos x cos y _ sin x sin y  and  sin(x + y) = sin x cos y + cos x sin y.

o

· Γ(z) =        tz _1 e_tdt  for  Re z > 0, so that Γ(z + 1) = zΓ(z) and therefore Γ(k + 1) = k!

0

for k = 0, 1, 2, . . .

· A square matrix B is called orthogonal if BT B = BBT  = I , the identity matrix.