CSCI444/944 Perception and Planning Spring 2020 Assignment 4

Aim:

The aim of this assignment is to familiarize you with development of typical vision processing applications with Labview.

On completion you should know how to:

•  Implement Labview imaging programs incrementally and debug them.

•  Process image data from files using Labview.

•  Devise visual perception systems in Labview.

Make sure you read these instructions carefully. Further instructions and assistance will be provided via the Lab tuts and via the moodle Q/A forum.

Requirements:

For this assignment you are required to develop a vision processing application that can read hand image data from a file and extract specific information about the hand like the number of fingers shown by the hand and if it is a left or right hand. You can assume all hand images are in png files with a size of 350 x 350 pixels.

You are to complete this assignment in 4 steps. Each step is worth 5 marks if you can get it working. You can use any standard VIs available in Labview. (Do not download and install any special vision libraries from NI to do this assignment). You should develop your own image processing VIs for processing the image data. Name your main VI "ProcessFingers.vi". Sub VIs can be given any appropriate name you wish.

Step 1 (5 marks)

Write a Labview program that allows the user to open a png image file of a hand, and then counts the number of fingers shown by the hand. Test your program with the image data in the folder      named "Step1-Images.zip", see below.

Also, modify your program so that it also indicates if the hand is a left hand or right hand, where possible. You can assume that the palm is always facing the camera (see examples below).

Step 2 (5 marks)

Add more processing to determine which fingers are extended and display the result on the front    panel. To do this you can use the finger numbering shown below, or a picture of a hand with LEDs on it, or both. For this step you should assume that different fingers to those shown in Step- 1 could be used to represent the numbers (as shown for Two (2) below), and the orientation can be different also (as shown by Five (5) below).

Note: If you need more images to test this you can use flipped or rotated images from step- 1.

Step 3 (5 marks)

Test your program with real hand image data. To obtain this data get some of your group members to photograph their hands while making number hand gestures in front of a white background. Make sure all the images are in PNG format with size 350 x 350. Include images of both hands and with different orientations. Make some hands are up to 50% smaller than others. If necessary, modify your processing to correctly classify as your images. Your program will be tested on other  images as well as yours to determine how robust your image processing application is.

Document Report (5 marks))

Write a report describing the implementation, processing and performance of your program. Make sure you clearly explain what your program is doing to count the fingers, identify the fingers and  determine which hand is shown (left or right). Include the results of tests on your own data.