Introduction

In the class we worked with random matrices with real Gaussian elements. Here, we consider H be a p × n (n ≥ p) random matrix such that its elements are i.i.d. complex Gaussian random variables with zero mean and unit variance. Thus, for j = 1, 2, . . . ,p, k = 1, 2, . . . ,n, we can

describe the entries of H as hjk   ~ NC (0, 1) such that Re(hjk ) ~ NR (0, 1/2) independent of Im(hjk ) ~ NR (0, 1/2). We define the ratio, β =  .

Part A

In this part, we will empirically explore the histogram of eigenvalues of a p × p matrix, S,

described as

S = R HHH R 

(1)

where R is a p × p diagonal matrix. R comprises of α > 0 followed by all ones on the diagonal,

i.e.,

α

0

R = 

0

0   ...   0」

Note that this is an example of the problem of signal detection under the H1  hypothesis, as discussed in class. Here, R is analogous to the covariance matrix of the observations and α relates to the strength of the signal.

We examine how the values of α and β influence signal detection.

1)  Using Matlab (or any other computing software) observe the histogram of the eigenvalues of S, for n = 1000 and β = 0.1.

a)  For each value of α varying from 0.1 to 3.0 in steps of 0.1, comment on the observed behaviour of the histogram as α varies. Include in your report plots of the histogram for the values of α = {0.1, 0.5, 1.0, 2.0, 3.0}.

[3 pts]

b)  For each value of α varying from 0.1 to 3.0 in steps of 0.05, generate  10 random realizations of S, and

(i) plot the scatterplot between the smallest eigenvalue of S and α ,

(ii) plot the scatterplot between the largest eigenvalue of S and α . Comment on the observed relationships in these plots.

[4 pts]

c)  Using the results in Part A (1b), identify the range (R) of values of α that can be detected/estimated using the  smallest/largest eigenvalues of S. For α ∈ R, do the smallest/largest eigenvalues of S underestimate or overestimate α?

[3 pts] 2)  In the following, we study the histogram of the eigenvalues of S, for α = 2.0 and n = 1000.

a)  Comment on the observed behaviour of the histogram as β varies from 0.1 to  1.0 in  steps  of 0.05.  Include  in  your  report  plots  of the  histogram  for  the  values  of β = {0.1, 0.2, 0.5, 0.9, 1.0}.

[2 pts]

b)  For each value of β varying from 0.1 to  1.0 in steps of 0.05, generate  10 random realizations of S. For each β, compute the average (i.e., averaged over the  10 real- izations) of the largest and the second largest eigenvalues of S. As a function of β , plot the (i) averaged largest eigenvalue, and (ii) averaged second largest eigenvalue. On the same figure, plot (1+^β)2  as a function of β . Comment on the relationships between the three curves.

[5 pts]

Part B

In this part, we will study the singular value decomposition (SVD) of the rectangular p × n matrix H. The SVD of H yields the factorization,

H = UΣVH ,                                                          (2)

where U is a p × p unitary matrix and V is a n × p matrix such that VHV = Ip  (identity matrix). The matrix Σ is a p × p diagonal matrix,

lσ 1      0    ...    0 」

0    σ2     ...     0

Σ =

           . . .     

「                       

with σ 1  ≥ · · · ≥ σp  ≥ 0 the singular values of the matrix H.

1)  Comment  on  any  similarity  and  differences  between  the  SVD  defined  above  and  the eigenvalue decomposition (EVD) discussed in the class.

[1 pt] 2)  If we construct a p ×p matrix W = HHH , then will the p eigenvalues of W (λ1 ,λ2 , . . . ,λp )

be real or complex?

[1 pt]

3)  How are the eigenvalues of W related to the singular values of H?

[2 pts]

4)  Plot the histograms of the singular values of H for a fixed n = 5000 and varying p such that β = {0.01, 0.1, 0.5, 0.9}. Comment on how changing β affects the distribution.

[2 pts]

5)  Consider the case when p = n. Plot the histograms of the singular values of H for

different values of n = {50, 100, 200, 500, 1000, 2000, 5000}. How big n should be for the histogram to converge to a shape? What is the shape of the histogram?

[3 pts]

6)  Let us define a function,

f(x) = π             xβ             1[^a,^b]

where β =  , a = (1 − ^β)2 , b = (1 +^β)2  and 1[a,b]  =〈  0(1)

Plot f(x) defined in Eq. (3) on each of the histograms plotted in Part B (5) above and comment on the observation.

[3 pts] 7)  The joint probability density function (PDF) of the entries of H can be expressed as

fH (H) = cp,n exp (−Tr (HHH )) ,    H ∈ Cp ×n                                           (4)

where cp,n  is the normalizing constant and Tr(.) is the matrix trace operation.

a)  Derive the joint  PDF  of the  ordered  singular  values  of H,  fΣ (Σ). Note that the Jacobian of the transformation H → UΣVH  is as follows:

u  σn −p)+1 .

1≤i≤p