Question 1 - Sensors and Perception Pipeline (25 Marks)

Question 1a - Sensors

You have been asked to develop a machine perception system that detects defects in outdoor long- distance hot-water pipelines. Such defects may include faulty insulation, leaks, pipe corrosion, etc. ; and abnormal spots in the heat distribution along the pipelines may give clues to the locations of the defects. It is proposed that the system employs a drone carrying suitable sensors flying along the pipelines to capture the heat distribution. The information is then sent wirelessly to a remote computer which runs machine perception software. Identify two (2) sensors (i.e. heat and location sensors) that could be used to obtain information about the heat distribution along the pipelines.

[10 marks]

Question 1b - Perception Pipeline

Select the heat sensor in Question 1a that could be used to detect defects. Sketch the perception pipeline that you would implement for this particular sensor. Clearly indicate in your drawing the data flowing between the blocks and the final outputs from this pipeline. For each block in the pipeline, briefly describe the practical challenges that need to be solved.  (Note that you are only asked to identify the challenges, you do not need to describe how they can be addressed).

[15 marks]

Question 2 - Image Processing (25 Marks)

Question 2a - 2D Transformation

With the help of a diagram, explain the differences between rigid and projective transformations. Clearly indicate the degree of freedom of each transformation and the properties that each transforma- tion preserves.

[10 marks]

Question 2b - 2D Convolution

The diagram below depicts the pixel values of an image patch in grayscale, and a 3 × 3 kernel. Compute the value of the convolution between the image patch and the kernel at the particular location indicated by the shaded pixel with a value of 10. Clearly indicate the working-out steps and the final results. Comment on what image properties that this kernel can detect.

[15 marks]

Question 3 - Feature Detection (25 Marks)

Question 3a - Features

Consider the problem of detecting the product EAN-13 barcode from images, examples of which are shown below.

List three (3) properties of the area containing the barcode that you think useful for this task.

Name and briefly describe relevant detection methods (either from the OpenCV library that you are aware of, or your own methods) that you would use.

[15 marks]

Question 3b - Region detection

Laplacian of Gaussian (LoG) is a method capable of detecting both edges and regions.  With the help of a diagram, describe the Laplacian response at the edge and center of a circle-shaped blob. Assume that the response happens at the characteristic scale.

[10 marks]

Question 4 - Feature Extraction (25 Marks)

Question 4a - Binary shape analysis

In the binary image shown below, the foreground pixels of interest are the white boxes. Suppose that you are using a two-pass connected component labeling algorithm and a 4-connectivity mask to find and label the blobs.

●  Indicate the labels obtained after the first and second passes; and

●  Provide the sets of equivalent labels after the first pass; and

●  State the final number of blobs detected; and

●  Compute the X-chord and Y-chord features of each blob.

[15 marks]