553.430/630, Spring 2023: Homework 5

The homework is due on Monday, March 13, 2023, by 11:59 p.m.  Submission is via Gradescope. Please note:  all Rice problems refer to the 3rd (US) edition.  If this is not the edition you are using—for instance, if you have the international edition—please check to make sure the problems in your version of the text match those in the 3rd US edition.

You are free to talk with each other and get help.  However, you should write up your own answers and understand everything you write. You must show ALL YOUR WORK in order to receive credit. ANSWERS WITHOUT APPROPRIATE JUSTIFICATION WILL RECEIVE NO CREDIT. Please feel free to stop by office hours if you need additional help!

Problem 1.  Choose the correct answer and justify your choice completely.

Suppose Xn , n > 1, is a sequence of random variables on a probablity space Ω .  Suppose all the random variables Xn  have common mean E[Xn] = µ .  Suppose X is also a random variable defined on Ω .  Suppose that for all n, the variance V (Xn ) s M , where M is a fixed constant. Which of the following is true?

(a)  Because the variances of the Xn  random variables are all bounded by a constant M , this guarantees, by Chebyshev’s inequality, that Xn  converges in probability to the common mean µ .

(b)  Because the variances of Xn  random variables are all bounded by a constant M , this guarantees, by Chebyshev’s inequality, that Xn  converges to µ in L2 .

(c)  The only way to guarantee either of the options in (a) and (b) is to require that the random variables Xn  be independent.

(d) If there exists a single sample point ω e Ω such that the sequence Xn (ω) converges to µ, then we know that Xn  converges to µ with probability one.

(e)  Both (a) and (b) are true.

(f)  All of (a), (b), and (d) are true.

(g)  None of the above.

Problem 2.  Choose the correct answer, and justify your response completely.  Suppose Ω = [0 , 1], and let ω e Ω be drawn uniformly at random from the unit interval.  Define the sequence of random variables Xn , n > 1, on Ω by

Xn (ω) = n  I[α 0 , ] (ω) + nα I[1 -  , 1] (ω)

Here α e R is a fixed, finite real number, and the notation IA  above denotes the indicator function of the set A. Let X be the random variable defined by X(ω) = 0 for all ω e [0, 1]. Which of the following is true?

(a)  For α = 1, the expected value of Xn  is E[Xn] = 1 + 1/n.

(b)  Regardless of the value of α , Xn  converges to X in probability.

(c)  Regardless of the value of α , Xn  cannot converge to X with probability one because for any δ > 0, the set {ω : IXn (ω) - X(ω)I > δ} has positive probability.

(d) If α = 1, then for any n > 51, we are guaranteed that

IXn (ω) - X(ω)I < 1/50

no matter what the value of ω e [0, 1] happens to be.

(e)  Both (a) and (b) are true.

(f)  Both (a) and (c) are true.

(g)  Both (b) and (c) are true.

(h)  All three of (a), (b), and (c) are true.

(i)  All three of (a), (b), and (d) are true.

(j)  All four of (a), (b), (c), and (d) are true.

(k)  None of the above.

Problem 3 (Adapted from Naiman: Delta-method, the Central Limit Theorem, and approximate distribu- tions). Let X1 , . . . , Xn  be an iid sample from some distribution having mean µ and variance σ 2 . Recall that the Central Limit Theorem says that ^n(X - µ) has an approximate N(0, σ2 ) distribution as n tends to infinity. Let g be a smooth function with g\ (µ)  0. In particular, suppose that the first and second derivates of g exist and are continuous. The purpose of this exercise is to justify the claim that ^n(g(X) - g(µ)) has distribution that is approximately N(0, g\ (µ)2 σ 2 ).

(a) Write down a first order Taylor’s expansion with remainder for g about µ . (Here the remainder term should be quadratic in x.)

(b)  Substitute X for x in the expansion in (a) and use this to express ^n(g(X) - g(µ)) as a sum of two

terms, one involving (X - µ) (the linear term) and the other involving (X - µ)2  (the quadratic term).

(c)  Explain why the linear term should have a distribution that is approximately N(0, g\ (µ)2 σ 2 ) as n tends to infinity.

Hint: If Y ~ N(0, σ2 ) what is the distribution of cY where c is a constant?

(d)  Slutsky’s Theorem relates how convergence in probability and in distribution is impacted by sums and products. Explain why the quadratic term should tend to zero in probability as n tends to infinity, and then use Slutsky’s Theorem to show the distributional result you are required to prove.

Hint: you can use, without proof, the fact that Xn  and Yn  are two sequences of random variables defined on the same probability space, and if Xn  converges in probability to X and Yn  converges in probability to Y , their product Xn Yn  converges to the random variable XY . You can also use, without proof, the fact that g is a continuous function and if Xn is a sequence of random variables converging in probability to X, then g(Xn ) converges in probability to g(X).  Alternatively, if you prefer, you can use without proof the fact that if h(x) is a continuous function on a closed, bounded interval [a, b], then there exists M such that Ih(x)I < M for all x e [a, b].

Problem 4.  Rice, Chapter 8, Exercise 7, parts (a) through (b) only, page 314.

Problem 5.  Rice, Chapter 8, Problem 13.

Problem  6  (Is the MLE for i.i.d exponential data asymptotically normal?) .  Let Xi , 1 < i < n, be i.i.d exponential with parameter λ > 0.