Exercise 1. [5 points] Warming Up

Suppose I have an i.i.d sample X1 , X2 , . . . , Xn from the normal distribution distribution with parameters (µ, σ2 ).  Recall that these paramters are, respectively, the mean E[X] = µ and the variance of V[X] = σ 2 . What is the probability that = µ?

Solution: is a continuously distributed random variable. As such, the probability of it being equal to any given number is equal to 0. Hence P ( = µ) = 0.

Exercise 2. [10 points] Unbiased-ness and Consistency

We have shown that the sample mean estimator is both unbiased and consistent for the population mean.

a) Give an example of an estimator that is unbiased but not consistent.

Solution  Take the first observation, X1 .  It’s a perfectly valid estimator for the population mean µ In fact it’s immediate to show that it’s unbiased since E[X1] = µ .  Of course it’s not consitent because if X1 is not a degenerate random variable  (say for example X1  is normally distributed, for a fixed i we have P (IX1 - µI > i) > 0 for all n sample sizes, since such a probability does not depend on n.

b) Give an example of an estimator that is consistent but not unbiased.

Solution  This is also easy.  Take + .  We already know that µ because the sample mean is consistent.  Moreover, limn →~ = 0.  By the continous mapping theorem + µ + 0 = µ .  So this estimator is consistent. On the other hand E[ + ] = µ + µ . So the estimator is not unbiased.

Exercise 3. [15 points] Sample variance

Consider the sample variance estimator for the population quantity V(X) given by:

n

i=1

where is the usual estimator for the sample mean.

a) Show that this estimator is not unbiased.

Solution:

E[2] = E ┌ ( ┐

n

n

= E[(X1 - )2 )]

= E[((X1 - µ) - ( - µ))2 )]

= E[(X1 - µ)2 - 2 . (Xi - µ)( - µ) + ( - µ)2]            = E[(X1 - µ)2] - 2 . E[(X1 - µ) . ( - µ)] + E[( - µ)2] = V[X1] - 2 . Cov(Xi , ) + E[( - µ)2]

2 V[X1]

n                              n

2 V[X]

n                n

= V[X] - V[X]

n

V[X]

So we showed that σ˜2  is not unbiased.

(by linearity of E) (by identically distributed)

(by linearity of E) (by definition of Covariance)

(by variance of sample mean)

Exercise 4. [15 points] A gambler’s estimator

X is a random variable with mean E[X] = µ . Consider the following estimator for µ:

Xgambler  = Xi + F                                                               (1)

where F is Bernoulli random variable, independent of the Xi  that equals to 1 with probability p and -1 with probability (1 - p).

a) Do you think that Xgambler  is consistent for µ? Why or why not?

Solution  We can show that Xgambler   is not consistent for µ .   This is because,  no matter how large the sample size, there is always some positive probability, namely p that our estimator overestimates or undersetimates µ by one unit. In particular, choosing i = 0.5 and using the product rule, after conditioning on the two events F = 1 and F = 0:

P (IXgabler  - µI > 0.5) = P (Ixgabler  - µI > iIF = 1) . p + P (IXgabler  - µI > 0.5IF = -1) . (1 - p) = P (I + 1 - µI > 0.5IF = 1) . p + P (I - 1 - µI > iIF = -1) . (1 - p)   = P (I + 1 - µI > 0.5) . p + P (I - 1 - µI > 0.5) . (1 - p)

When n → o both P (I + 1 - µI > 0.5) and P (I - 1 - µI > 0.5) will approach 1 since the sample mean is cosnistent for µ (hence inconsistent for the values µ + 1 and µ - 1 respectively. But then choosing η smalle enogh, it cannot be there exists no N such that for all sample sizes n 2 N the condition P (IXgabler  - µI > 0.5) < η holds. So Xgambler is not consistent.

b) For which value of p is Xgambler  an unbiased estimator of µ?

Solution We can compute the expected value of our estimator:

n

i=1

n

i=1

= µ + (2p - 1)

Hence if p = the estimator is unbiased.

c) Compute the variance of Xgambler  and compare it to the usual sample mean estimator .  Give an explanation for your findings.

Solution  Computing the variance is easy because we know that F is independent of . Hence we know V[XGambler ] = V[ + F] = V[] + V[F] But then:

V[Xgambler ] = V[] + V[F]

V[X]

n

Where we have computed V [F] = E[(F - E[F])2] directly from the definition:

V[F] = E[(F - E[F])2]

= (1 - (2p - 1))2 P (F = 1) + (-1 - (2p - 1))2 P (F = -1)

= 4 . (1 - p)2 . p + 4 . p2 . (1 - p)

= 4p(1 - p)[1 - p + p]

E[XGambler ] is higher than V[] because there is additional noise in F that adds no information about the true µ .

Exercise 5. [15 points] Sampling Distribution and CLT

Suppose you have access to a sample from the population of people who received a traffic tickets.  we denote Ti  the number of traffic tickets received by person i.

The distribution of T is given by P (T = 0) = 0.8, P (T = 1) = 0.15, P (T = 2) = 0.05.

a) Compute the E[T] and V[T].

Solution:

E[T] = 0.8 . 0 + 0.15 . 1 + 0.05 . 2

= 0.25

V[T] = E[(T - 0.25)2]

= 0.8 . (0 - 0.25)2 + 0.15 . (1 - 0.25)2 + 0.05 . (2 - 0.25)2

= 0.8 . 0.0625 + .0.15 . 0.5625 + 0.05 . 3.0625

= 0.2875

b) Construct the sampling distribution for the sample mean obtained from a random i.i.d sample of n = 2. (Remember, the sampling distribution lists out all the possible values for and the associated probabilities.)

Solution:  First we list all possible otcomes of (X1 , X2 ) and their associated probabilities.  Moreover we list the value of 2  = :