APS 360 H1 Applied Fundamentals of Deep Learning 2023

Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

Applied Fundamentals of Deep Learning

Date :    March 3, 2023

Part (a) [1 mark]

Which of the following statement/s is/are correct?

(A)  All neurons in the same layer of an ANN share the same bias.

(B)  Backpropagation algorithm is used to find the hyperparameters that min- imize the loss function.

(C) A neural network that achieves a very high validation accuracy is said to regularize well.

1. A only

2. A and B

3. A and C

4. All

5. None * (1 marks)

Part (b) [1 mark]

Which of the following statement/s is/are correct?

(A) Architecture of a neural network evolves during the training to fit the data better.

(B)  Softmax can be used as an activation function in the hidden layer of an ANN.

(C)  During training of a neural network, at the beginning of every Epoch the parameters are initialized to small random values.

1. A only

2. A and B

3. A and C

4. All

5. None * (1 marks)

Part (c) [1 mark]

Which of the following statement/s is/are correct?

(A) Adding an extra convolutional layer to a CNN increases the number of trainable parameters.

(B) Adding an extra maxpooling layer to a CNN increases the number of train- able parameters.

(C)  Drop-out is a technique used in the convolutional layers of a CNN.

1. A only * (1 marks)

2. A and B

3. A and C

4. All

5. None

Part (d) [1 mark]

Which of the following statement/s is/are correct?

(A)  The inherent parallelism in the computations involved in a CNN was first exploited when training LeNet-5.

(B)  SGD with Momentum can help with the exploding gradient problem.

(C)  During training,  it is better to start with  a smaller learning rate  and gradually increase it, rather than start with a larger learning rate and gradually decrease it.

1. A only

2. A and B

3. A and C

4. All

5. None * (1 marks)

Part (e) [1 mark]

Which of the following statement/s is/are correct?

(A) Adding intermediate classifiers and using the sum of the intermediate loss and the final loss in backpropagation can improve regularization.

(B)  Transpose convolution was first introduced in GoogLeNet.

(C)  Skip-connections can help with the vanishing gradient problem.

1. A only

2. A and B

3. A and C

4. All

5. C only * (1 marks)

Part (f) [1 mark]

Which of the following statement/s is/are correct?

(A)  Padding in Transpose convolution has the effect of decreasing the output size.

(B)  1 by 1 - convolution can be used to reduce the featuremap size.

(C) It is generally agreed that Deep Learning began at the University of Toronto.

1. A only

2. A and B

3. A and C * (1 marks)

4. All

5. None

Part (g) [1 mark]

Which of the following statement/s is/are correct?

(A)  Transfer learning is a technique where a pre-trained CNN is used as it is to classify images belonging to new classes that were not present in the original training of that CNN.

(B)  The compact encodings produced by an Autoencoder have more restric-tions placed on them than those produced by a Variational Autoencoder.

(C) t-SNE is a Machine Learning technique that can be used as a base-line for a project in this course that performs classification.

1. A only

2. A and B

3. A and C

4. All

5. None * (1 marks)

Part (h) [1 mark]

Which of the following statement/s is/are correct?

(A)  Cross entropy is computed using two probability distributions.

(B) In an ANN designed for Regression, the Neuron at the output of the net- work can only produce a number in the interval [0, 1].

(C)  Other things being equal, the backpropagation update to a weight con-nected to an input variable is proportional the value of that variable.

1. A only

2. A and B

3. A and C * (1 marks)

4. All

5. None

Part (i) [1 mark]

Which of the following statement/s is/are correct?

(A)  Other things being equal, Mini-Batch-Descent makes more updates to the parameters than Stochastic Gradient Descent.

(B)  Drop-out helps with the vanishing gradient.

(C) Weights from the decoder part of a pre-trained Autoencoder can be used in Transfer Learning.

1. A only

2. A and B

3. A and C

4. All

5. None * (1 marks)

Part (j) [1 mark]

Which of the following statement/s is/are correct?

(A) Autoencoders can be used in dimensionality reduction.

(B)  Autoencoders can be used to create new images.

(C)  Pooling is an essential operation in CNNs.

1. A only

2. A and B * (1 marks)

3. A and C

4. All

5. None

Question 2. [20 marks]

Answer the following questions as concisely as possible.

Part (a) [2 marks]

State one advantage and one disadvantage of a large convolutional filter.

Part (b) [2 marks]

Consider the parameters of a pre-trained Autoencoder.  State one application of the parameters of the decoder part and another application of the parameters of the encoder part.

Part (c) [2 marks]

An ANN was trained for regression and the parameters are fixed. Suppose the architecture and the values of all the parameters are given to us. If we know the value of the output, is it possible to calculate the input vector? Yes or No? Justify.

Question 3. [20 marks] Part (a) [7 marks]

A CNN was designed, trained, and tested to separate cat and dog images. The confusion matrix from the testing is shown below:

Part (b) [3 marks]

If the output from: nn.Conv2d(6, 18, 5, 2) is a Tensor of shape (18 × 7 × 7), find the shape of the Tensor that was sent into the line above.

Part (c) [6 marks]

In the following implementation of a CNN, find the input (x) Tensor shape.

def init (self):

self.conv1  =  nn.Conv2d(3,  8,  7,  2)

self.pool  =  nn.MaxPool2d(2,  2)

self.conv2  =  nn.Conv2d(8,  16,  5,  2)

self.fc1  =  nn.Linear(16*2*2,5000)

seff.fc2  =  nn.Linear(5000,10)

def  forward(self,  x):

x  =  self.pool(F.relu(self.conv1(x)))

x  =  self.pool(F.relu(self.conv2(x)))

x  =  x.view(-1,  16*2*2)

x  =  F.relu(self.fc1(x))

x  =  self.fc2(x)

return  x

Part (d) [4 marks]

(i) Find the total number of parameters in the Neural Network implemented below:  [2 marks]

def init (self):

self.layer1  =  nn.Linear(300,50)

seff.layer2  =  nn.Linear(50,300)

def  forward(self,  x):

x  =  F.relu(self.layer1(x))

x  =  self.layer2(x)

return  x

(ii) What type of neural network is being implemented above?  Give the most likely answer.  [2 marks]

Question 5. [10 marks]

A transpose convolutional kernel given by:

C=ones(3,3)

operates on a featuremap M of shape 5 × 5 given by:

mi,j  = i − j

to generate an up-sampled featurmap P, with stride 2, and no padding, and no output padding.

Find p3,2 .