What is a linear model?

● Responses are linear functions with respect to unknown parameters.

Univariate/multiple linear regression (J&W Sec. 7.2–7.5)

● Interested in the relationship between random scalar y and random g-vector [x1 , . . . , xq ]T

● Model

_ Population version: y l x1 , . . . , xq  ~ ([1, x1 , . . . , xq ]β, 72 ), where β = [β0 , . . . , βq ]T , i.e., * E(y l x1 , . . . , xq ) = [1, x1 , . . . , xq ]β = β0 +    j(q)=1 xj βj

* var(y l x1 , . . . , xq ) = 72

_  Sample version ψ = 太β + ε

* ψ = [y1 , . . . , yn ]T  and design matrix

┌  1   x11      . . .    xq1   ┐

太 =  '                   . . .              '

'                                   '

● Independent realizations [yi , xi1, . . . , xiq ]T  ~ [y, x1 , . . . , xq ]T , i = 1, . . . , n

●  rk(太) = g + 1 < p + g + 1 < n

*  ε = [e1 , . . . , en ]T  ~ (〇n , 72 Ⅰn )

● Least squares (LS) estimation (no need of normality) _ LS  = (太T 太)_ 1 太T ψ

_ L(2)S  = (n _ g _ 1)_ 1 (ψ _ 太LS )T (ψ _ 太LS ) = (n _ g _ 1)_ 1 ψT (Ⅰ _ 工)ψ * Hat matrix 工 = [hij ]nxn  = 太(太T 太)_ 1 太T

●  Symmetric

●  Idempotent: 工2  = 工工 = 工

●  rk(工) = rk(太)

●  Each eigenvalue of 工 is either zero or one

* E(L(2)S ) = 72

● Maximum likelihood (ML) estimation (in need of (conditional) normality)

_ ML  = (太T 太)_ 1 太T ψ = LS

*  Given 太, ML  ~ dvNq+1(β, 72 (太T 太)_ 1 )

_  M(2)L  = n_ 1 ψ(Ⅰ _ 工)ψ = n_ 1 (n _ g _ 1)L(2)S

*  Given 太, nM(2)L /72  = (n _ g _ 1)L(2)S /72  ~ x2 (n _ g _ 1)