625.661 Statistical Models and Regression Modules 1,2 Assignment

Please do all the problems below.

State necessary assumptions for your analytic derivations and analyses.

Read Mod01B. Consider a response variable  y  and a regressor or

independent variable  x .  Regardless of whether  x  is a fixed (i.e., non-

random) variable or a random variable, we can always work on the conditional expectation E( y  |  x) and conditional variance  V( y  |  x) .  An example is a

simple linear regression model

E( y  | x) = β + βଵ x

V( y  | x) = σଶ  ,

where  β , βଵ , σ ଶ  are all parameters whose values are unknown and do not depend on x . They need to be estimated once we have a random sample.

1.  In a simple linear regression analysis of  n  independent paired data ൫yଵ,xଵ ൯,  … . ,  ൫y,x ൯ to fit the following model labeled   M1

E( y  | x ) =  β + βଵ (ax + b)  ,

ε = y − E( y  |  x ) ,                      i = 1, … , n ,

where the regressor  x  is a random variable with mean μ௫  and variance σ௫(ଶ) . The random error  ε  is statistically independent of  x  and has conditional      mean zero and conditional variance σଶ . The terms a and b are real

numbers and a ≠ 0. The values of  μ௫ , σ௫(ଶ), σ ଶ  are all unknown. Before the  n

independent paired data for (y , x) are available, we need to construct estimators for the parameters.

a)  Construct the ordinary least squares (OLS) estimator of β1  .  Does this estimator change as the value a and/or the value of b are changed?

Provide mathematical proof for your answer.

b)  Is the OLS estimator you obtained in a) unbiased for  β1 ?  Provide mathematical proof for your answer.

c)  Construct the ordinary least squares (OLS) estimator of  β0  .  Does this estimator change as the value a and/or the value of b are changed?

Provide mathematical proof for your answer.

d)  Derive the conditional variance of the OLS estimator of  β1  in a), i.e., conditional on x’s, and construct an unbiased estimator of this

conditional variance. Provide mathematical proof.

e)  Derive the conditional covariance between the OLS estimator of β1  and the OLS estimator of β0  (i.e., conditional on x’s).

f)   Find  a  and  b  such that conditional on x’s, the correlation between the OLS estimator of β1  and the OLS estimator of β0  is zero.

g)  Construct an unbiased estimator for  σ2  and provide mathematical proof for unbiasedness.

2.  Refer to the linear regression model M1 in Problem 1 above, but  x  is a non-random regressor.  Discuss whether the ordinary least-squares

estimator of the slope   β1    is always unbiased and whether it always has  the smallest variance compared to any estimator of  β1  , irrespectively of what the value of  β0    is.  State assumptions in your discussion. Be careful about the word “any”.

3.  Use any math/stat software (e.g., www.numbergenerator.org/randomnumbergenerator) of your choice to find a random number generator to randomly select 20 rows of   Table B.3 for Problem 2.4 of Textbook. Do (a), (b), (c), (d), (e), (f) by hand

calculation (i.e., do not use any software to produce results, but  you can use any software to generate the percentile of normal,