Q1.  [17 points] You are given the following dataset:

(a) [1 point] Write the design matrix x .

(b) [2 point] Compute xT x .

(c) [2 point] Compute ╱xT x、!1 .

(d) [2 point] Compute xT r .

(e) [2 point] Compute T  = (βˆ0 , βˆ1 ).

(f) [2 point] Compute Var(βˆ0 ), Var(βˆ1 ) and Cov(βˆ0 , βˆ1 ).

(g) [2 point] Compute H .

(h) [2 point] Compute Var(e1 ) and Cov(e1 , e2 ).

(i) [2 point] Compute Var(yˆ1 ) and Cov(yˆ1 , yˆ2 ).

Q2.  [22 points] Suppose we have the following linear regression model with p predictors: Yi = β0 + β1x1,i + . . . + βpxp,i + εi     (i = 1, . . . , n)

where εi I N(0, σ2 ). In lecture 13, we partitioned the sum of squares, as follows:

n

(Yi - )2

i=1

↘                                               -

Total Sum of Squares (SST)

n                                                          n

(Yi - i)2

i=1                                                      i=1

↘                                                 -                                                              ↘                                               -

Error Sum of Squares (SSE)      Regression Sum of Squares (SSR)

(a) [3 points] Show that the SST, SSE and SSR above can be written in the matrix form as follows:

❼ SST = rT ╱I - J、r

❼ SSE = rT (I - H)r

❼ SSR = rT ╱H - J、r

(b) [7 points] Show that E(SSE) = (n - p - 1)σ2 .

Hint: Apply the theorem in lecture 10 p.12, as we have done for the simple linear regression.

(c) [7 points] Show that E(SSR) = pσ2 + βT xT ╱H - J、xβ . Hint: Apply the theorem in lecture 10 p.12.

(d) [5 points] Show that E(SSR) in (c) can be written as:

E(SSR) = pσ 2 +

p                              p

βk(2)SSk,k +

βkβk\ SSk,k\

where SSk,k\   =

k=1

(Xk,i - k)(Xk\ ,i - k\ ).

k=1 k k\

Q3.  [20 points] Consider the following linear regression model with p predictors:

Yi = β0 + β1x1,i + . . . + βpxp,i + εi     (i = 1, . . . , n)

where εi I N(0, σ2 ).

Suppose you want to estimate the conditional mean of the response at α0(T)  = (1, x1,0 , x2,0 , . . . , xp,0). Let Y0  denote the response at α0 . Prove the following:

(a) [5 points] E(0 ) = E(Y0[x1,0 , x2,0 , . . . , xp,0).

(b) [7 points] Var(0 ) = σ 2 α0(T) ╱xT x、-1 α0 .

(c) [5 points] 0  is a linear combination of Yi’s where i = 1, . . . , n.

(d) [3 points] 0 ~ N ╱E(Y [x1,0 , x2,0 , . . . , xp,0), σ2 α0(T) ╱xT x、-1 α0、.

Q4. Case study

The dataset “bp.txt” is available on Quercus, along with the documentation “Description.pdf” . In Part A, you will examine the joint effect of 10 genes on the systolic blood pressure (SBP). In Part B, you will create a prediction model for the SBP.

PART A

(a) Identify the categorical variables and create the corresponding dummy variables. For the gen- der, use “M” as the reference group. For all other binary variables, use “N” as the reference group.