Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

STA303H1-S: Methods of Data Analysis II

Assignment 1 - Question 1

Winter 2023

Q1 (6 points - each part 3 points):

1.)  Consider the multiple linear regression model Y  = Xβ + ε and the least squares estimate  = (X\ X)−1 X\ Y . Show that

 = β + Rε ,

where R = (X\ X)−1 X\ .

2.)  Consider the multiple linear regression Y = Xβ + ε, where X is n × (p + 1) design matrix of rank p+1 < n, β = (β0 ,β1 , ··· ,βp )\ , and ε ∼ Nn (0,σ2 In ). Suppose we are interested in testing the hypothesis H0  : Cβ = 0, where C is a known q×(p+1) coefficient matrix of rank q ≤ p+1. This is known as the general linear hypothesis.  The alternative hypothesis is HA  : Cβ  0. Show that, if the null hypothesis is true, then the full-reduced-model test statistic is given by

(Cβˆ)\  [C(X\X)−1C\]−1 (Cβˆ)/q

RSS/(n − p − 1)

Hint:

❼ To understand the math, consider for example the model Y = β0 +β1X1 +β2X2 +β3X3 +ε

where we need to test H0  : 2β1  = 2β2  = β3 . This will be equivalent to test the hypothesis

H0  : Cβ = 0 where C = ).

❼ The minimization problem under the linear restriction can be solved by using the method

of the Lagrange multiplier, where you need to minimize (Y − Xβ)\ (Y − Xβ) + 2λCβ . Here λ denotes the Lagrange multiplier.