ELEC 475/575: Homework 3

Problem 1

Assume we have the following binary sequences. What is the probability of the next symbol being 0 for each sequence?

a)  011011011011011011?

b)  011011011111011011?

c)  0100110100110111001?

Hint: It is most convenient to assume a tree depth of 3.

Problem 2

Generate a Gaussian random sequence with zero mean and variance 1, referred to as X .  Generate another random sequence Y with zero mean and variance 1 independent of X . Use k-nn plugin estimator of the joint density of X and Y to estimate I(X; Y).

Problem 3

Imagine that a neuron is tuned by a stimulus s which has a Gaussian distribution with mean µ and variance σ 2 , and it produces the response r = as + n, where n is a Gaussian noise with zero mean and variance η 2

and a being constant. What is the likelihood function p(r|s) and the marginal response p(r)? What are the entropies of these two distributions? How does noise entropy depend on s?

Problem 4

If X , W and Y are wide sense stationary Gaussian random processes and Y is a linear time invariant function

of X and W while X and W are random and independent, show that:

MIx，Y (f, f) = - log[1 - CxY (f)]?

Hint: You could use y(t) = h1 (t) * x(t) + h2 (t) * w(t)

Problem 5

Use one recording from the online neuro data set to estimate the entropy of the recording over a time period, long enough to acquire a good estimate but not too long to lose stationarity.