There are 100 points in total on this assignment.  You may discuss your answers with other students, but please hand in your own assignment in your own words. Make sure to include your name and your student ID number. Late assignments will not be accepted.

1    (conditional)  Independence    (10 points) These are easy problems to help convince you about two of the claims I made in class:  that pairwise independence does not imply independence, and that independence does not imply conditional independence.

(a)  (5 points) consider the probability space given by:

Ω = {a,b,c, d}

F = P(Ω) = {Q, {a}, {b}, {c}, {d}, {a, b}, . . . , Ω}

P ({a}) = P ({b}) = P ({c}) = P ({d}) = 

(These four probabilities are enough:  any other event is a union of these three disjoint events, so we can calculate the probability of that event as an appropriate sum.)  Now, consider the three events

A = {a, d}

B = {b, d}

C = {c, d}

show that A, B , and C are pairwise independent (that is,any pair of them are independent), but they are not mutually independent.

(b)  (5 points) consider the same probability space

Ω = {a,b,c, d}

F = P(Ω)

P ({a}) = P ({b}) = P ({c}) = P ({d}) =1/4

but now consider the events

A = {a, b}

B = {b, c}

C = {a,c, d}

show that A and B are independent. show that A and B are not independent conditional on C.

2    Random  variables    (10 points)  Let x be a discrete random variable that takes on only three values: 1, 2, and 3. suppose P (x = 1) = O.5, P (x = 2) = O.3, and P (x = 3) = O.2.

(a)  (4 points) Formally deine this random variable.  That is, deine a probability space (Ω) 大）P) and deine x ：Ω 一 R that gives us the requirements on x listed above.  keep things simple! Ω needs just three elements.

(b)  (3 points) what is P (x ≤ 2 | x > 2)？

(c)  (3 points) what is P (x > 2 | x ≤ 2)？ use Bayes, law and your answer from part (b).

3    Marginals,  conditionals, and Functions    (15 points) consider a uniform distribution on the region

A = {(①) g) E R2   |  O ≤ ① ≤ 2）max{O）① - 1} ≤ g ≤ min{1）①} }

Note that this is the parallelogram with vertices (O）O), (1）1), (2）1), and (1）O):

This bivariate distribution has density function

f (①) g) = {O(1)

which is equivalent to

if O ≤ ① ≤ 2）max{O）① - 1} ≤ g ≤ min{1）①}

otherwise

(1 '

f (①) g) =〈 1 ('O

if O ≤ ① ≤ 1 and O ≤ g ≤ ①

if 1 ≤ ① ≤ 2 and ① - 1 ≤ g ≤ 1

otherwise

and is also equivalent to

f (①) g) = {O(1)

0≤ g ≤ 1 and y≤ ① ≤ g + 1

otherwise

(a)  (5 points) Find the marginal density fx (①).  If you did things right, you should get a function that increases from ① = O to 1 and decreases from ① = 1 to 2.

Hint:  consider separately ① E [O）1] and ① E [1）2]

(b)  (5 points) Find the conditional density fy |x (g | ①) for ① E (O）2).

(c)  (5 points) Find the density of log(x).

4    σ-Algebras and Measurability    (15 points) σ-algebras and measurability are much simpler when the underlying sample space Ω is inite. In that case, the much harder concept of a σ-algebra really just boils down to a partition of Ω .  In this question, I will have you work through a concrete case that will hopefully clear up what is happening.

suppose Ω has just ive outcomes:

Ω = {w1 , w2 , w3 , w4 , w5 } .

Let’s divide this sample space into three non-overlapping regions:

F1  = {w1 , w2 }

F2  = {w3 }

F3  = {w4 , w5 }

Note that Fi  u Fj  = Q for all i  j  (the sets are non-overlapping) and niFi  = Ω (the union of the sets is the whole sample space Ω).  In general, this type of construction  (a collection of disjoint sets whose union is the whole) is known as a partition of Ω .

In case you prefer pictures, here is what we have:

obviously, the set {F1 , F2 , F3 } is not a σ-algebra.  In fact, it fails all three conditions:  it does not contain Ω as one of the sets, it does not contain any set complements, and it does not contain any unions. However, we can generate a σ-algebra from this partition in a simple way:

? = {Q, F1 , F2 , F3 , F1  n F2 , F1 n F3 , F2 n F3 , F1 n F2 n F3 } .

put diferently, ? is the set of all possible unions (including the empty union) of F1 , F2 , and F3 . Now, let’s move on to the questions.

(a)  (3 points) Briely justify that ? is indeed a σ-algebra.

(b)  (4 points) consider the function X ：Ω 一 R deined by

X(w1 ) = 0

X(w2 ) = 1

X(w3 ) = 2

X(w4 ) = X(w5 ) = 3

Is this function ?-measurable  (measurable with respect to the σ-algebra ?)？  Recall that X  is

?-measurable if and only if {w | X(w) 参 a} E ? for all a.

Hint: try a = 0.

(c)  (3 points) Now consider the function X ：Ω 一 R deined by

X(w1 ) = X(w2 ) = 1

X(w3 ) = 2

X(w4 ) = X(w5 ) = 3

Is this function measurable with respect to the σ-algebra ?？

(d)  (5 points) what conditions need to be placed on a function x ：Ω 导 R to make it ?-measurable？ Hint: your answer should be in terms of two equalities.

In general, when you have a inite Ω any σ-algebra consists of all the unions of sets in a partition, and any measurable function with respect to that σ-algebra is constant on each set in that partition. unfortunately, this does not necessarily extend to the ininite case.  However, this is still a helpful way to think about what a σ-algebra is doing and what measurability means.

5    conditional Expectations    (10 points) Let,s continue with the example from the previous ques- tion.  we have Ω = {w1 , . . . , w5 }, and suppose for our probability space we have the discrete σ-algebra

大 =  .  That is, P (A) = 5(井)A

where 论A is the number of elements in A.  To make life easy consider the random variable X(wi ) = i. That is, X(w1 ) = 1, X(w2 ) = 2, etc.  Let ? denote the same σ-algebra as in the previous question.

E [(Y - X) 1A] = 0       AA e ?                                                    (1)

where here 1A  is the random variable deined as

1A (w) = {0(1)

if w e A

if w  A

Let,s see what this means in terms of our partition.

If you did things right, in the previous problem part c. you should have obtained the condition that in order for a random variable to be?-measurable, it must be constant on each Fi.  So, if Y is?-measurable, it must be that

Y (w1 ) = Y (w2 ) = g1

Y (w3 ) = g2

Y (w4 ) = Y (w5 ) = g3

for three constants g1 , g2 , and g3 . we just need to ind the three constants such that equation (1) holds for all choices of A.

To get you started, I,ll do theirst two.  If we pick A = Q, then 1A  is always 0, so equation (1) always holds. Next, for A = F1 , this becomes

E [(Y - X) 1F1 ] = 

1

=   

5

1

=   

5

+  (Y (w4 ) - X(w4 )) 1F1 (w4 ) +

(g1 - 1) +  (g1  - 2) +  (g2  - 3) 根 0 +  (g3  - 4) 根 0 +  (g3  - 5) 根 0 (g1 - 1) +  (g1 - 2)

Setting this equal to zero, we solve for g1  = 1.5.

(a)  (2 points) use the same logic for A = F2  to ind g2 .

(b)  (3 points) Repeat for A = F3  to ind g3 .

For these three constants g1  = 1.5, g2 , and g3 , you should now have that equation (1) holds for all A e?. For example, for A = F1 n F2

E [(Y - X)1A] =  (g1  - 1) +  (g1  - 2) +       (g2  - 3)       +  (g3 - 4) 根 0 +  (g3 - 5) 根 0 = 0

石                             >         石           >

O by how we chose g1                O by how we chose g2

and similar arguments work for all the other unions in ? as well.  Therefore, for these three values g1 , g2 , and g3 , you have that the random variable Y satisies the deinition of E[X | ?].

If you look closely, you should notice something about the three values g1 , g2 , and g3 :

(c)  (5 points) calculate the following three quantities E[X | F1], E[X | F2], E[X | F3].  compare them to g1 , g2 , and g3 .

If you did it right, your three numbers should match g1 , g2 , and g3 .  This is not a coincidence. It continues to hold if we consider more general probability measures and diferent values for X .  This also extends in the natural way to any other case where ? is a σ-algebra associated with a partition. You will always have that E[X  | ?] is a constant on each piece of the partition and equal to the conditional expected value on that piece. unfortunately, this does not extend to the fully general case, but the intuition does extend. E[X | ?] denotes the “best guess” using the maximal amount of information “allowed” by ?.

6    change of Measure part 1    (20 points) This problem might seem hard, but it isn,t.  I will guide you through all the steps.

First, a bit of introduction.   Let  Ω be a sample space, and let 大 be a σ-algebra over Ω .   Let P and Q be two probability measures on (Ω, 大).  (Remember, there is nothing“special” about the letter P.  probabilities are just functions from 大 to  [0, 1] with some conditions.  we can easily consider two diferent such functions.) we say Q is absolutely continuous with respect to (w.r.t.)  P if P (A) = 0 implies Q(A) = 0 as well for all A e 大.  we say P and Q are equivalent if Q is absolutely continuous w.r.t.  P  and P is absolutely continuous w.r.t.  Q.  Note that equivalent does not mean equal.  It just means that whenever one assigns zero probability to an event, the other does as well.

when we have multiple probability measures, we need to specify which one is being used to compute expectations.  we do that using a superscript.  Ep [.] means to take expectations under the probability measure P , and EQ [.] means to take expectations under the probability measure Q.  sometimes, when P is obviously the “baseline” probability measure from context, we will drop the superscript P and let E[.] = Ep [.].

Now, consider a very straightforward setup. we have just three possible outcomes Ω = {w1 , w2 , w3 }, we have the discrete σ-algebra 大  =  下(Ω),  and we have  P ({w1 })  =  0.5,P ({w2 })  =  0.3, P ({w3 })  = 0.2.  Just for fun, let,s add another probability measure Q, with Q({w1 }) = 0.7, Q({w2 }) = 0.3, and Q({w3 }) = 0.

(a)  (3 points) Is P absolutely continuous w.r.t.  Q？ Is Q absolutely continuous w.r.t.  P？ Are P and Q equivalent？

Deine a new random variable Y as follows

Q({wi })

P ({wi })

That is, Y (w1 )  =  1.4,  Y (w2 )  =  1,  and Y (w3 )  =  0.   Let x be any arbitrary random variable, with x(wi ) = ①i  for i = 1, 2, 3.

(b)  (3 points) what is E[Y]？(Here, E[.] denotes Ep [.].)

(c)  (3 points) what is EQ [x]？(Your answer should be a linear combination of ①1 , ①2 , and ①3.) (d)  (3 points) How about E[Y x]？(Again, E[.] denotes Ep [.].)

(e)  (2 points) How do EQ [x] and E[Y x] relate to each other？

You should have noticed that Y is a special random variable: it is anon-negative random variable with expectation one that helps us translate expectations under Q into expectations under P.  speciically, the expectation of any random variable x under Q can be written as an expectation under P of the product Yx , and the same Y works for any x. This is not just speciic to this case.  For any general probability space, if Q is absolutely continuous with respect to P , such a random variable exists.  As a result, this random variable has a name:  it is called the 及adon-笑ikodym derivative of Q with respect to P, and

it is sometimes denoted dp(dQ) .

(f)  (6 points) Is there a Radon-Nikodym derivative of P with respect to Q？If so, ind it.  If not, what is the problem？

7    change of Measure part 2     (10 points) we can go the other way around as well.  To keep things very simple, let,s work in the same probability space (Ω, 大, P) as in problem 6. As in that problem, let x denote any random variable, with x(wi ) = ①i.

Let Y be some non-negative random variable, with Y (wi ) = 9i  > 0.  suppose also that E[Y] = 1. To get you started, note that this means that

E[Y] = 0.591  + 0.392 + 0.293  = 1

E[Y x] = 0.591①1  + 0.392①2  + 0.293①3

Now, let Qbe some arbitrary probability measure on (Ω, 大), meaning Q({w1 }) = q1 , Q({w2 }) = q2 , and Q({w3 }) = q3  for some three, nonnegative constants q1 , q2 , and q3  that sum to 1.  Again, to get you started,

EQ [x] = q1①1  + q2①2  + q3①3

a  (3 points) Find the three values q1 , q2 , and q3  such that E[Y x] = EQ [x].

Note: your answer should not depend on ①1 , ①2 , and ①3. I want it to work for any of these.  Instead, your answer should involve the three probabilities 0.5, 0.3, and 0.2, and the three values 91 , 92 , and 93 .

b  (4 points) check that your three values q1 , q2 , q3  specify a valid probability distribution.  That is, check that they are nonnegative and sum up to 1.

Note: this now shows that E[Y x] = EQ [x]. Taking an expectation of a product with a nonneg- ative random variable that has expectation 1 is the same as taking an expectation under another probability measure.

c  (3 points) Is Q absolutely continuous w.r.t.  P？