Testing on Au (J&W pp. 279)

●  A is of q x p and rk(A) = q , i.e., AΣAT  > 0

●  Model: iid AXi  ~ MVNq (Au, AΣAT ).

●  LRT for H0  : Au = p0  v.s. H1  : Au  p0

–  Test statistic: n(A _ p0 )T (ASAT )- 1 (A _ p0 ) ~ T2 (q, n _ 1) = F (q, n _ q) under H0

–  Rejction  region  at  level  α :   R  =  {z1 , . . . , zn    :    (A _ p0 )T (ASAT )- 1 (A _ p0 )  > F1 -α,q,n -q }

– p-value: p(z1 , . . . , zn ) = 1 _ FF (q,n -q){  (A _ p0 )T (ASAT )- 1 (A _ p0 )}

●  Multiple comparison

– Interested in H0  : µ 1  = . . . = µp  v.s. H1  : Not all entries of u are equal.

*  µk : the kth entry of u

– p = 2 (i.e., A = [1, _1]): A/B testing

(1 _ Ⅲ ) x 100% confidence region (CR) for u (J&W Sec.  5.4)

●  Pr((1 _ α) x 100%CR covers u) = 1 _ α

–  CR is a set made of observations and is hence random

–  u is fixed

–  (1 _ α) x 100% CR covers u with probability (1 _ α) x 100%

●  Dual problem of testing H0  : u = u0  v.s.  H1  : u  u0  at the α level

–  Translated from rejection region.  Steps:

1.  Take R as a function of u0 ;

2.  Replace u0  with u;

3.  Take the complement.

–  (1 _ α) x 100% CR = {u : n( _ u)T Σ- 1 ( _ u) < χ1(2) -α,p } if Σ is known

–  (1 _ α) x 100% CR = {u :  ( _ u)T S- 1 ( _ u) < F1 -α,p,n -p } if Σ is not known

(1 _ Ⅲ ) x 100% CR for p = Au

●  X1 , . . . , Xn   MVNp (u, Σ)

– Unknown Σ

– n > p

●  A is of q x p and rk(A) = q , i.e., AΣAT  > 0

●  Then iid AXi  ~ MVNq (p , AΣAT )

●  (1 _ α) x 100% CR for p is {p :  (A _ p)T (ASAT )- 1 (A _ p) < F1-α,q,n -q }

●  Special case: A = a e 毖p

–  (1 _ α) x 100% confidence interval (CI) for scalar ν = aT u is

{ν : n(aT  _ν)2 (aT Sa)- 1  < F1-α,1,n - 1 } = │aT  _t1-α/2,n - 1 |aT Sa/n, aT +t1-α/2,n - 1 |aT Sa/n\

Simultaneous confidence intervals

●  Construct (1 _ αk ) CI for scalars a k(T)u, say CIk , k = 1, . . . , m, simultaneously

●  Make sure Pr(|k {ak(T)u e CIk }) > 1 _ α

●  Bonferroni correction

– Bonferroni inequality:

m                                                               m                                                       m                                                          m

Pr( | {ak(T)u e CIk }) = 1 _ Pr( | {ak(T)u  CIk }) > 1 _ L Pr(ak(T)u  CIk ) = 1 _ L αk

k=1                                                       k=1                                                k=1                                                   k=1

– Taking αk  such that α = | αk , e.g., αk  = α/m, i.e.,

(ak(T) _ t1-α/(2m),n - 1 |a k(T)Sak /n, a k(T) + t1-α/(2m),n - 1 |a k(T)Sak /n)

– Working for small m

●  Scheffé’s method

– Let CI出  = (wT  _ c |wT Sw/n, wT  + c |wT Sw/n) for all w e 毖p

–  Derive that c = |p(n _ 1)(n _ p)- 1 F1 -α,p,n -p

*  By Cauchy–Schwarz: {wT ( _ u)}2 = [(S1/2w)T {S- 1/2( _ u)}]2  s {(wT Sw)T /n}{n( _ u)T S- 1 ( _ u)} ÷

m

Pr( | {ak(T)u e CIk }) > Pr(  |  {wT u e CI出 }) = 1 _ Pr(  |  {wT u  CI出 })

k=1                                              出 egψ                                                                                         出 egψ

= 1 _ Pr(  |  [{wT ( _ u)}2 /{(wT Sw)T /n} > c2])

出 egψ

> 1 _ Pr({n( _ u)T S- 1 ( _ u) > c2 })

*  Pr({n( _ u)T S- 1 ( _ u) > c2 }) = α ÷ c = |p(n _ 1)(n _ p)- 1 F1 -α,p,n -p

– Working for large even infinite m