Hint: you should get the camera calibration matrix of the above two images by running: python demo_calib_by_photo.py

after installing pyAprilTag from:

https://github.com/ai4ce/pyAprilTag#installation

Note: If you use APIs instead of your own implementation of F-matrix calculation, you will lose 5 points.

Task 3: The Challenge from Moriarty (25 points)

It is 01/01/2049. At around 11pm, an anonymous parcel arrived at 221B Baker Street addressed to Sherlock. The parcel contained a USB which had a bunch of grayscale images depicting types of clothing such as shirts, pants, etc. Along with the images, there was an audio message. Dr. Watson played it and in the voice of Professor Moriarty, said “Hello Sherlock, it has been a while since we played a game. I have sent you a bunch of images, if you somehow visualize this in 2 dimensions, you might see some clusters, and the x-y coordinates of each of the 10000 points represent 10000 houses in London whose wardrobe is going to burn in the next 100 days, taking down 100 houses a day. However smart you are or how much ever big your mind palace is, I am pretty sure that you cannot visualize these 28x28 images in 2 dimensions directly. My game starts tomorrow morning which gives you about 12 hours to stop me. Good Luck!” Sherlock does not know  how to solve this  puzzle.  Dr. Watson thinks getting a  lower-dimensional projection of images might be possible using neural networks and unsupervised learning. So, he calls you and asks you to help, and since you are a fan of Sherlock, you decide to solve the whole problem. You must think of training a network without using any labels that gives you a lower-dimensional representation of the images after which you could easily use tSNE from sklearn to bring the dimension down to 2 so that Sherlock can then take over. Your final output to Sherlock must be a 2D projection of the 10000 images. The clock is ticking! Sherlock is waiting!

Oh,  by the way, Sherlock prefers  PyTorch. And don’t forget to document  how you did it so Sherlock can learn from you.

Images:https://github.com/zalandoresearch/fashion-mnist

Task 4: The Devil Is in The Detail (40 points)

You successfully solved the first problem and rescued all the wardrobes. Five days later, Sherlock receives an email from Moriarty which says “Hello Sherlock, the first game was just a warm-up. This time, I assure you it will be more interesting. I have sent you a bunch of satellite images and I have encoded a 5-letter secret code in them, one alphabet in each of the randomly chosen 5 images. Since you are not that smart to solve it, I have also sent you 5 images which are similar to the 5 images containing the code. I have full confidence that you will fail this time. If you are still wondering what the code might be, that code will give you away my next move in ending you and your little doctor friend. Good Luck!”. Since you helped solve the first problem, Sherlock trusts you with this too. You need to search the five images containing code with the help of the given query images. Second time’s the charm. Don’t let Sherlock down.

You can download the database & the 5 query images athere.