STAT 3690 Lecture 03

Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

STAT 3690 Lecture 03

2022


Statistical modelling

●  What is a statistical model?

一  (Joint) distribution of random variable (RV) of interest

●  Rephrase linear regression and logit regression models in terms of distributions

Characterizing/representing univariate distributions

●  (scalar-valued) RV X : a real-valued function defined on a sample space Ω

●  Cumulative distribution function (cdf): FX (x) = Pr(X s x)

一 right continuous with respect to x

一 non-decreasing w.r.t. x

一 ranging from 0 to 1

●  Discrete RV

一  RV X takes countable different values.

一 probability mass function (pmf): pX (x) = Pr(X = x)

●  Continuous RV

一 RV X is continuous iff its cdf FX  is absolutely continuous with respect to x, i.e., 刁fX , s.t.

x

FX (x) =          fX (u)du   Ⅴx ∈ 斌.

−∞

一 probability density function (pdf): fX (x) = FX(′) (x).

●  Characteristic function

●  Moment-generating function

Characterizing/representing joint/multivariate distributions

●  Random vector/vector-valued RV 一 艾 = [Xl , . . . , Xp ]干

●  Joint cumulative distribution function (joint cdf):  Fx (xl , . . . , xp ) = Pr(Xl  s xl , . . . , Xp  s xp ) 一  right continuous w.r.t. each xi

一  non-decreasing w.r.t.  each xi

一  ranging from 0 to 1

●  Joint distribution of continuous RVs

一  Joint pdf/density:

fx (xl , . . . , xp ) = Fx (xl , . . . , xp )

一 Multivariate normal (MVN) distribution

●  Joint distribution of discrete RVs

一  Joint pmf:

px (xl , . . . , xp ) = Pr(Xl  = xl , . . . , Xp  = xp )

一  Multinomial distribution

●  Multivariate characteristic/moment-generating functions

●  Exercise:   Suppose that we  independently  observe  an  experiment that  has  m  possible  outcomes Ol , . . . , Om   for n times.   Let pl , . . . , pk   denote probabilities of Ol , . . . , Om   in each experiment re- spectively. Let Xi  denote the number of times that outcome Oi  occurs in the n repetitions. What is the joint pmf of 艾 = [Xl , . . . , Xm]干 ?

Marginalization

●  艾 = [Xl , . . . , Xp ]干  v = [Xl , . . . , Xq ]干 , and q < p.

●  Marginal cdf

FY (xl , . . . , xq ) = x' →∞ lf(i)or(m)all i>q Fx (xl , . . . , xp )

●  Marginal pdf of v (when Xl , . . . , Xp  are all continous)

∞               ∞

fY (xl , . . . , xq ) =          . . .         fx (xl , . . . , xp )dxq＋l . . . dxp

−∞           −∞

●  Marginal pmf of v (when Xl , . . . , Xp  are all discrete)

∞                     ∞

pY (xl , . . . , xq ) =                . . .           px (xl , . . . , xp )

xg＋l = −∞       xp = −∞


●  “marginal” is used to distinguish pdf/pmf of v from the joint pdf/pmf of 艾.

Conditioning = joint/marginal

v = [yl , . . . , yq ]干  and 艾 = [xl , . . . , xp ]干

●  Conditional pdf of v given 艾


fY|x(yl , . . . , yq  | xl , . . . , xp ) =

●  Conditional pmf of v given 艾

pY|x(yl , . . . , yq  | xl , . . . , xp ) =

fx ,Y (xl , . . . , xp , yl , . . . , yq )

fx (xl , . . . , xp )

 

 

px ,Y (xl , . . . , xp , yl , . . . , yq )

px (xl , . . . , xp )

Transformation of random variables (p-dimentional case)

●  Let g = (gl , . . . , gp ): 斌p  → 斌p  be a one-to-one map with inverse g − l  = (gl(−)l , . . . , gl ).

● v = g(艾) and 艾 = g − l (v) are both continuous p-random vectors.

●  Jacobian matrix of g − l  is 扌 = [∂gl (yl , . . . , yp )/∂yj ]p×p  = [∂xi /∂yj ]p×p . 一  |det(扌)| = |det([∂yi /∂xj ]p×p)|− l  if replace xj  with g − l (yl , . . . , yp )

●  fx  is known. Then

fY (yl , . . . , yp ) = fx (hl(−)l (yl , . . . , yp ), . . . , hp(−)l (yl , . . . , yp ))|det(扌)|

●  Exercise: Let 艾 = [Xl , X2]干  follow the standard bivariate normal, i.e., its pdf is fx (xl , x2 ) = (2π) − l exp{_(xl(2) + x2(2))/2},    (xl , x2 ) ∈ 斌2 .

Find out the joint pdf of v = [Yl , Y2 ]干 , where Yl  = ←X l(2) + X2(2)  and 0 s Y2  < 2π is angle from the

positive x-axis to the ray from the origin to the point (Xl , X2 ), that is, Y is X in polar co-ordinates.













2022-03-17