Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

Tutorial 2 Problem Set

1. For an estimator θˆ and the true parameter θ ∗ , defining the bias as b(θˆ) := |E[θˆ] − θ∗ |,

show that the mean square error

E[(θˆ ,

can be decomposed as the summation of the variance of the estimator and the square of the bias. That is

E[(θˆ θˆ] + b(θˆ)2 .

We only consider univariate θ here.

2.  Consider a binomial variable X ∼ bin(n, p) where p is unknown. Given the observation X = x, derive the likelihood function and the maximum likelihood estimator (MLE) for p.  Is the MLE unbiased?  Further derive the Fisher information and justify if the MLE is efficient in this case.

3. Let X1, X2 , . . . , Xn be iid random variables drawn from the Gaussian distribution N(µ, σ2 ) where the mean µ and the variance σ 2  are unknown. Derive the maximum likelihood estimators (MLEs) for the mean and variance. Justify if the MLEs for this problem is unbiased or not. Derive the Cramer-Rao lower bounds of the variances of the MLEs and justify if the MLEs for this problem are efficient.

4.  Consider the linear regression case where we have m distinct points, x1 , x2 , . . . , xm   ∈ R.  We can treat observations as independent random variables y1 , y2 , . . . , ym  depend on covariate x1 , x2 , . . . , xm  as follows:

yi  = θ0 + θ1 xi + θ2 xi(2) + θ3 xi(3) + ϵi ,

where ϵi  are iid N(0, σ2 ) and m  > 4.  Derive the Fisher information matrix and the Cramer-Rao lower bound of the resulting maximum likelihood estimator.

5. Let θˆ ∈ R be any unbiased estimator for estimating the scalar value parameter θ ∈ R. Prove the Cramer- Rao lower bounds for the variance of the estimator, that is,

Var(θˆ) ≥ In(θ)−1 .