Problem 1

In this problem, we will work with the Poisson distribution with unknown true parameter λ0  > 0.

(a) Find the maximum likelihood estimator  given an i.i.d sample of {Xi } from the

Poisson distribution.

(b) Find the Fisher Information of Poisson distribution.

(c) Find the asymptotic variance of the MLE  .

(d)  Consider the following method for estimating λ0 . Observe that p0  = P(X = 0) = e −λ0

Letting Y denote the number of zeros from an i.i.d sample of size n,  λ0   might be estimated by

 = −log ( )

Show that  is a consistent estimator of λ0 .

Hint:  You will need to use the continuous mapping theorem.

(e) Use the delta method to obtain the asymptotic variance of  .

(f)  Compare the asymptotic variance of MLE  against the asymptotic variance of  by

computing their relative efficiency.

(g) Using ggplot, plot the relative efficiency of  versus  from the last part (on Y-axis)

against different values of true λ0  (on X-axis). What do you conclude? Does the true λ0  affect your choice on which estimator to choose?

Problem 2

In this problem, we will work with the Rayleigh distribution with unknown true parameter θ0  > 0:

f(x;θ) = e−x2 /(2θ2 )

Assume that you are given an i.i.d random sample from the Rayleigh distribution. In the fol- lowing, you don’t need to derive the expected value and variance of the Rayleigh distribution. You can look them up on Wikipedia.

(a) Find the method of moments estimator θ˜ for θ0 .

(b) Find the finite sample (non-asymptotic) variance of the method of moment estimator θ˜. You should not use the delta method here since the sample is finite.

(c) Find the maximum likelihood estimator θˆ for θ0 .

(d)  Show that θˆ2  is an unbiased estimator of θ0(2) .

(e)  Show that θˆ is a biased estimator of θ0 .

Hint:  Jensen inequality is strict if the function φ is strictly convex or concave.

(f) Find the Fisher information of the Rayleigh distribution with true θ0 .

(g) What is the asymptotic variance of the MLE?

(h)  Compare the asymptotic variance of MLE θˆ versus the asymptotic variance of θ˜ by

computing their relative efficiency.  What do you conclude?  Does the true θ0  affect your choice on which estimator to choose with large samples?

(i) Is the relative efficiency you got from the previous part valid for finite samples?

Problem 3

Suppose X1 , . . . ,Xn  are an i.i.d sample from a population with density

f(x;η) =  exp( − )

with true parameter η0 .

(a) Find the MLE for η

(b) Is the MLE biased or unbiased?

Hint:  You should work with |Xi | instead of Xi  to find the expected value of MLE. What is the distribution of |Xi | ?

(c) Find the finite-sample (non-asymptotic) variance of the MLE. You can use the hint above again.

(d) Find the Asymptotic variance of MLE.

(e) How does the finite sample variance of MLE compare against its asymptotic variance? (f) Is MLE an efficient estimator in finite samples?

Problem 4

Suppose that X ∼ Binomial(n,p).

(a) Derive the MLE for p.

(b)  Show that MLE from the previous part is unbiased.

(c)  Show the MLE from above achieves the Cram´er-Rao lower bound in finite samples.

(d) Plot the log-likelihood function for X = 20 and n = 40 using ggplot. You can create a grid of points from 0 to 1 using the seq command and plot their associated log- likelihood values using geom point and geom line.  Another way of doing this is to use stat function which directly plots a function.

Problem 5

In this problem, we will recreate the two figures in slide 17 of MLE asymptotics slide deck with ggplot.

Our goal is to draw the log-likelihood function over different values µ when the variance of the normal distribution is known.

(a)  Suppose Xi   ∼ N(0, 1).   Derive the log-likelihood function assuming we know that

σ 2  = 1 but don’t know µ .

(b) Take an i.i.d random sample of size 20 from N(0, 1). For each random observation, you can write a log-likelihood function by plugging in the value of Xi into the log-likelihood function. Plot these 20 log-likelihood functions on the same figure using ggplot. Your plot should have 20 curves. Set the alpha parameter of these curves to 0.3.

You can use geom line over a grid or stat function in a for loop.  Set the limits on your x-axis to -10 and 10 and y-axis to -50 and 0. You can use coord cartesian for this.

(c) Now we will create the average log-likelihood function. Instead of taking an i.i.d sample of 20, take an i.i.d sample of 5000. These 5000 observations give you 5000 log-likelihood functions.  Don’t plot all 5000 curves, instead take their average and plot the single average curve. You should overlay this single curve on the same figure from the previous part. You can take the average point by point if you are using geom line or define a function for the average log-likelihood if you are using stat function. Use a different color for this curve than the 20 curves in the previous part and use alpha parameter of 1.