*  Sample variance S2  = (n - 1)- 1

-  ,n( - µ)/σ ～ N (0, 1)

-  (n - 1)S2 /σ 2  ～ χ2 (n - 1)

-  ,n( - µ)/S ～ t(n - 1)

(Xi - )2

- x1 , . . . , xn   MVNp (u, О), n > p

- S  ll , i.e., ML  ll ML

-  ,nО - 1/2( - u) ～ MVNp (一, A)

-  (n - 1)S = n ML  ～ Wp (n - 1, О)

- n( - u)T S- 1 ( - u) ～  Hotelling’s T2 (p, n - 1)

 

-  Def: Wp ( О, n) is the distribution of      Yi Yi(T)  with Y1 , . . . , Yn   MVNp (一, О)

*  A generalization of χ2 -distribution:  Wp ( О, n) = χ2 (n) if p = О = 1

-  Propoties

*  〇〇T  > 0 and w ～ Wp ( О, n) ÷ 〇w〇T  ～ Wp (〇О〇T , n)

*  wi   Wp ( О, ni ) ÷ w1 + w2  ～ Wp ( О, n1 + n2 )

*  w1  ll w2 , w1  + w2  ～ Wp ( О, n) and w1  ～ Wp ( О, n1 ) ÷ w2  ～ Wp ( О, n - n1 )

*  w ～ Wp ( О, n) and a e Rp  ÷

 ～ χ2 (n)

* w ～ Wp ( О, n), a e Rp  and n > p ÷

a(a)T(T) ～ χ2 (n - p + 1)

* w ～ Wp ( О, n) ÷

tr(О - 1 w) ～ χ2 (np)

 

● Hotelling’s T2  distribution

-  A generalization of (Student’s) t-distribution

- If x ～ MVNp (一, A) and w ～ Wp (A, n), then

xT w- 1 x ～ T2 (p, n)

- Y ～ T2 (p, n) 兮 Y ～ F (p, n - p + 1)

●  Wilk’s lambda distribution

-  Wilks’s lambda is to Hotelling’s T2  as F distribution is to Student’s t in univariate statistics.

-  Given independent w1  ～ Wp ( О, n1 ) and w2  ～ Wp ( О, n2 ) with n1  > p,

Λ =   ～ Λ(p, n1 , n2 )

- Resort to approximations for computation:  {(p - n2 + 1)/2 - n1 } ln Λ(p, n1 , n2 ) s χ2 (n2p)

Hypothesis testing

●  Model: x ～ f9 *   e {f9  : 9 e 入}

-  9 * :  parameters of interest, fixed and unknown

-  入:  the parameter space

●  Hypotheses H0  : 9*  e 入0  v.s. H1  : 9*  e 入1

- 入0 n 入1  = 0

-  入0 u 入1  = 入

●  Rejection/critical region R

-  Reject H0  if x e R

●  Level α :  sup9∈o0  β(9 ) s α

-  Power function:  β(9) = Pr9 (x e R)

-  When 9 *  e 入0 , Pr(type I error) = β(9 * ) s sup9∈o0  β(9 ) s α

*  Type I error:  H0  is incorrectly rejected

-  When 9 *  e 入1 , Pr(type II error) = 1 - β(9 * )

*  Type II error:  H0  is incorrectly accepted

●  p-value:  alternative to rejection region

-  Impossible to be well-defined in some cases

- p = p(z) is defined such that sup9∈o0  Pr9 {p(z) e [0, α)} s α for all α e [0, 1]

*  R = {z : p(z) e [0, α)}

●  Necessary components in reporting a testing result

1.  Hypotheses

2.  Name of approach

3.  Value of test statistic

4.  Rejection region/p-value

5.  Conclusion: e.g., at the α level, we reject/do not reject H0 , i.e., we believe. . .

Likelihood ratio test (LRT)

●  Minimize the type II error rate subject to a capped type I error rate (under certain classical circumstances)

●  Test statistic

 

-  0 : ML estimator for 9 e 入0

-  : ML estimator for 9 e 入

●  Rejection region R = {z : λ(z) s c}

-  z is the realization of x

-  c e R is chosen such that

sup Pr(λ(x) s c) = α.

9∈o0    9

*  Have to know the null distribution of λ(x), i.e., the distribution of λ(x) with 9 e 入0