Important Dates

Issued: 17 February 2023

Due: 24 March 2023 11:59 PM SGT

Group Policy

This is an individual project

Late Submission Policy

Late submissions will be penalized (each day at 5% up to 3 days)

Challenge Description

The goal of this mini challenge is to identify the attribute labels depicted in a fashion photograph. Our dataset has 6000 images, divided into 5000 images for training and 1000 for validation. The test set will be hosted online for final evaluation.

The dataset employs 26 attribute labels that are common descriptions of garments. These attributes are grouped into 6 major categories. Every image is annotated with 6 attributes, one from each category.

Your algorithm is required to predict which attributes a given image has. Therefore, this is a multi-label classification problem.

Table 1. The 26 Attributes and Their Categories

Figure 1. Example images for selected attributes (not all attributes are present in the current challenge)

Assessment Criteria

We will evaluate and rank the performance of your network model on our given 1000 test images based on the overall accuracy.

The higher the rank of your solution, the higher the score you will receive. In general, scores will be awarded based on the Table below.

Notes:

●   We will award bonus marks (up to 2 marks) if the solution is interesting or novel.

●    Marks will be deducted if the submitted files are incomplete, e.g., important parts of your core codes are missing or you do not submit a short report.

Requirements

●   Download the dataset from this link.

●   Train your network using the provided training set, you are only allowed to use ImageNet- 1K pretrained models.

●   Tune the hyper-parameters using the provided validation set.

●   While ImageNet pretrained models are allowed, no external data are permitted in this mini challenge. If the use of any external data (e.g., using the full DeepFashion dataset rather than the provided subset) is spotted, you will get a 0 mark for this project. We will have a rigorous check on using external data.

●   You are not allowed to use images from the test set for training (e.g., pseudo- labeling).

●   You should not use an ensemble of models.

●   There are 6 attribute groups, each having a few attributes. There are 26 attributes in total. You may find the details in “list_attr_cloth.txt” . Your output file should contain, for each test image, the predicted attribute labels in every category. See the next section for an example.

Submission Guidelines

Submitting Results on CodaLab

We will host the challenge on CodaLab. You need to submit your results to CodaLab.  Please follow the following guidelines to ensure your results are successfully recorded.

●   The CodaLab competition link:

https://codalab.lisn.upsaclay.fr/competitions/10635?secret_key=f6

07970e-691d-4c6a-adb5-a8059ca34df8

●   Register a CodaLab account with your NTU email.

●   After your registration, please fill in the username in the Google Form:

https://forms.gle/XfQEqvtA49AgbauX6

●   Only after you fill in the Google Form will your application to the CodaLab be approved.

●   Submit a zip file containing a single file “prediction.txt” with  1000 rows of your prediction results on the test set. For example, the first five lines should be like:

5 2 0 3 2 2

5 2 1 3 2 2

5 0 2 0 2 2

5 0 2 0 5 2

1 2 2 3 2 2

… (1000 lines in total)

Note that your predictions should be in the exact same order of images as in test.txt. If you use PyTorch DataLoader, you should set “shuffle=False” .

●   You can submit your results multiple times but no more than 20 times per day. You should report your best score (based on the test set) in the final report.

●   Please  refer  to  the  submission  guidelines  from  this  link.  You  can  find  more CodaLab submission format details there, as well as a submission sample.

●   Please  refer  to  Appendix  A  for  the  hands-on  instructions  for  the  submission procedures on CodaLab if needed.

Tips

●   The following techniques may help you to boost the performance:

o Data augmentation

o Regularization

o Deeper model (but be careful on overfitting, since we only have 5000 training images in this project)

o Hyper-parameters fine-tuning, e.g., choice of the optimizer, learning rate, number of iterations

o Think about what is unique to this dataset and propose novel modules.

Computational Resource

You can use the computational resources assigned by the MSAI course. Alternatively, you can use Amazon's EC2 or Google CoLab for computation. As a student, you can sign up  to  receive free  $100  credit  through  the AWS  Educate  program. We  encourage students to use g2.2xlarge instances running Ubuntu for maximal ease of installation. Note that $100 of Amazon credit allows you to  run a g2.2xlarge  GPU  instance for approximately 6 days without interruption (you should keep it on only while using it).

References

[1] He et al. Bag of Tricks for Image Classification with Convolutional Neural Networks,

ArXiv 2018

[2] He et al. Deep Residual Learning for Image Recognition, CVPR 2016 [3] Lin et al., Focal Loss for Dense Object Detection, ICCV 2017

Appendix A Hands-on Instructions for Submission on CodaLab

After your participation to the competition is approved, you can submit your results here:

Then upload the zip file containing your results.

If the ‘STATUS’ turns to ‘Finished’, it means that you have successfully uploaded your result. Please note that this may take a few minutes.