MATH2010 Statistical Modelling I SEMESTER 2 EXAMINATION 2022/23

(i)  [2 marks] Fit a multiple linear regression model with the response and explanatory variables given above.

(ii)  [1 mark] Perform a test to identify which coefficients are significant at a 1% level of significance.

(iii)  [2 marks] Construct a 95% confidence interval for β1 , the coefficient associated with age.

(iv)  [1 mark] Perform a hypothesis test for the null hypothesis H0  : β1 = 10 at the 5% level.

(v)  [5 marks] Another clock was sold, with age=200 and bidders=10. Produce  90% confidence and prediction intervals for the price of this clock. Explain the difference in width between the two intervals. Can you identify any problems that might be associated with this prediction?

(vi)  [4 marks] Provide a practical interpretation of the estimated intercept. Can you see any problem with this interpretation? If so, suggest a transformation of the model that might address this.  (Note: You do not need to fit the transformed model.)

2.   [Total of 25 marks] Consider the following regression model:

Y = Xβ + ϵ ,                                            (1)

where Y is then-dimensional vector of response variables. X is then × pmatrix of explanatory variables, β is the p-vector of parameters and ϵ is a n-dimensional

vector valued random variable with components ϵi iid ∼ N(0, σ2)

(a)  [6 marks] Show that the least-squares estimator for β is given by

β(ˆ)LS  = (XTX)—1X TY

and derive its sampling distribution.

Consider all linear estimators of β, that is, all estimators that are of the form

β(ˆ)W  = WY

with W an p × nmatrix.

(b)  [4 marks] Compute E(β(ˆ)W ), and show that its variance is Var(β(ˆ)W ) = σ 2 WW T.

(c)  [2 marks] Show that β(ˆ)W  is unbiased if and only if WX = I.

(d)  [10 marks]  Let

E := Var(β(ˆ)W ) — Var(β(ˆ)LS ).

Show that if β(ˆ)W  is unbiased then there exists a p × n matrix L such that

E = σ 2 LLT. Hence show that, for any p-dimensional vector w, wT Ew ≥ 0. Hint: it maybe helpful to express the matrix W as W = (XTX)—1XT + L.

(e)  [3 marks] For two p-dimensional random vectors Z , Z/, we say that Var(Z) is larger than Var(Z/ ) (written Var(Z) ≥ Var(Z/ )) if

wT Var(Z)w ≥ wT Var(Z/ )w

for all p-dimensional vectors w.

Show that if β(ˆ)W  is unbiased then Var(β(ˆ)W ) ≥ Var(β(ˆ)LS ). What does this tell you about the sampling distribution of β(ˆ)LS?

(i)  [1 mark] How many observations were made?

(ii)  [4 marks] Fill in the missing values from the output (under “t  value” and   “Pr(>|t|)”). Which of the variables could be removed without significantly worsening the fit of the model? If you use R to answer this part of the question, please clearly state the commands used.

4.    [Total of 25 marks]

The following table summarises model fits for all possible combinations of 3

explanatory variables, x1 , x2 and x3 , based on n = 20 observations. An × in the    column indicates that this variable was included in the analysis, a − indicates that it was not.

The obtained values of RSS can be loaded into R with the following command:

rss  =  c (82 . 188,   67 . 649,   71 . 835,   20 . 929,   54 . 917, 38 . 117,   19 . 945,   16 . 099)

If you use R to answer any part of this question, please clearly state the commands used.

(a)  [2 marks] For each model, state the number of explanatory variables, the length of the parameter vector β, and the number of degrees of freedom.

(b)  [6 marks] For each of the following pairs of models, either perform an F-test

comparing the two models at the 5% significance level, or explain why such a test cannot be performed.

(i) H and E. (ii) H and D. (iii) G and F.

(c)  [1 mark] Explain why the residual sum of squares cannot be used for model selection.

(d)  [4 marks] For each model,compute AIC and BIC, and identify the best model according to each criterion.

(e)  [4 marks] For both forward and backwardselection with AIC:

(i) In each case, what is the final model chosen?

(ii) In each case, for which models would you not need to calculate AIC?

A new factor variable x4  is introduced into the analysis, with three levels labelled 1, 2 and 3. Of the 20 examples in the dataset, n1 were found to be factor 1, n2 were

factor 2 and n3 were factor 3,with n1 + n2 + n3  = 20. The Yi were ordered so that

the first Y1 ,..., Yn1  are factor 1, Yn1 +1,..., Yn1 +n2  are factor 2 and Yn1 +n2 +1 , . . . , Yn are factor 3.

(f)  [3 marks] Explain how we would add columns to the design matrix X used in model H to include x4  in the analysis. Describe a constraint that must be introduced to ensure that the new design matrix is nonsingular.

(g)  [5 marks] The RSS of the model with x4  included is 15.011. Compare the new model to model H by performing an F-test at the 5% significance level.