Problem  1:  (Ehrenfest model) Gas molecules move about randomly in a box which is divided into two halves symmetrically by a partition.   A hole is made in the partition. Suppose there are 20 molecules in the box. Think of the partitions as two urns (urn 0 and 1) containing balls labeled 1 through 20.  Molecular motion can be modeled by choosing a number between 1 and 20 at random and moving the corresponding ball from the urn it is presently into the other.  This is a historically important physical model introduced by Ehrenfest in the early days of statistical mechanics to study thermodynamic equilibrium. The Ehrenfest model has also been applied to study the dynamics of social network formations. Let Xn   denote the number of molecules at the left partition of the box  (urn 0) after n transitions.

In HW4, you modeled {Xn  : n ≥ 0} as a DTMC with S = {0, 1, 2, . . . , 20} and

You also calculated the steady state distribution:

Simulate the first 10000 transitions of the chain.  The initial state of the system X|  is unknown.  Assume that X|  could be any one of the values 0, 1, 2, ..., 20 with equal proba- bilities.  Copy your MATLAB code.  Use the default random generator in your simulation (rng(’default’);). Attach the histogram of the simulated path. Attach the histogram of the frequency distribution. It should match with the theoretical steady-state distribution shown above.  (40 Points)

Problem 2: Consider the following simple model for the random evolution of a stock price for a certain stock  (lets call it stock A). Each day, the stock price increases by 』1 with probability r = 0.17, moves down 』1 with probability p = 0.15, or remains the same with probability q = 1 − p − r. Today (day zero), the stock price is 』13.  Stock price of 』0 is an absorbing state; once the stock price hits zero, it remains there forever (out of business etc.). Consider the following trading strategy: we hold on to the stock until its price becomes 』35, at which point we sell.

In HW4 you modeled the random evolution of the stock price {Xn  : n ≥ 0} as a DTMC with State Space

S = {0, 1, 2, ..., 35},

initial probability distribution

α = Pr(X|  = i) = │ 1

『 0

and (one-step) transition probability matrix

|     |     扌     扌      ...

|    l 1   0   0   0   . . . |    '(') p   q   r   0   . . . 扌    '(') 0   p   q   r   . . .

P =       '

   '(')                  . . .

'

扌」   ' 0   0   0   0   . . .

扌扌   ' 0   0   0   0   . . .

if i = 13

otherwise,

Let T be the time until first transition into one of the absorbing states, i.e., T = min{n ≥ 0, Xn  = {0, 35}}. Let mi  be the average time to enter one of the absorbing states, if we start in state i, i.e., mi  = E[T |X|  = i]. Write a system of equations whose solution provides the expected time it will take to hit either one of the two absorbing states. You can only write the first three and the last three equations and leave .. between them.  Solve the system in. MATLAB. Copy your MATLAB code, and attach the figure describing the average hitting

time from each state to the absorbing states.  (20 Points)