1.

Name two reproduction operators from genetic algorithms, and explain how they work. (1 mark for each operator named and 4 marks for each explana- tion)

[10 marks]

2.

a. Explain (-greedy action selection.

[5 marks]

b. Consider an agent that is choosing between 3 actions, a1 , a2 and a3 , with the following average rewards:  Q (a1 ) = 5, Q (a2 ) = 7, and Q (a3 ) = 4. If the agent uses (-greedy action selection, and ( = 0.1, what is the probability that each action will be selected?

[5 marks]

3.

You have been collecting data on the bars that you have been visiting, and you now have data on nine of them. For each you know what kind of bar it is (Pub, Sports Bar or Wine Bar), the age of the people in the bar (Young, Mixed, Old), how much noise there is (Loud, Normal), whether there is live music (Yes, No), and whether you were happy with going there (Yes, No):

Bar    Type      Age      Noise    Music   Happy? 

B1     Pub    Young     Loud       No        No

B2     Pub    Young     Loud      Yes        No

B3   Sports   Young     Loud       No        Yes

B4    Wine    Mixed     Loud       No        Yes

B5    Wine      Old     Normal     No        Yes

B6    Wine      Old     Normal    Yes        No

B7   Sports     Old     Normal    Yes       Yes

B8     Pub     Mixed     Loud       No         No

B9     Pub      Old     Normal     No        Yes    

Explain how you would use a Naïve Bayes classifier to decide whether or not you would be happy going to a new bar, given information on what Type of bar it is, the Age of the people in the bar, the Noise level, and whether there is live Music.

Describe both how you would train the classifier, and how you would classify a new example.

[10 marks]

4.

a. Explain how an agent would use passive reinforcement learning to decide how to act in an unknown environment.

[7 marks]

b. Describe one potential problem with using maximum likelihood to esti- mate the transition model in reinforcement learning.

[3 marks]

5.

a. On the orders of our glorious leader, Emperor Tangerine, you have been building a simple linear classifer to identify whether people are Good Guys or Bad Hombres.  The idea is that once it is possible to identify Bad  Hombres, they can  be deported.   You are testing the classifier. Explain how you would use your test results to compute the precision and recall for the classifier.

[6 marks]

b. How would you calculate the F1 score for the classifier?

[2 marks]

c. Emperor Tangerine tells you it is essential that you correctly identify every  Bad  Hombre, since the security of our country depends on it. What is the likely consequence of doing this?

[2 marks]

6.

a. Write down the algorithm for the K-means clustering algorithm.

[5 marks]

b. What guarantees can be given for the K-means algorithm, and why?   [5 marks]

8.

Explain how Learning from Demonstration (LfD) differs from an Evolutionary Algorithm (EA).

a. Your answer should include information about the representation(s) one might use for each type of method and how training is conducted—i.e., what is learned and when learning takes place.

[6 marks]

b. Your answer should also include an example (or two) that illustrate when it is best to use LfD (2 marks) and when it is best to use EA.

[4 marks]

9.

a. How is a thresholding function used in a neural network, and how does it work?

[6 marks]

b. Give two examples of a thresholding function and explain what each one does. Your explanation could include a drawing of the function’s output.

[4 marks]

10.

a. Write down an algorithm for 10-fold cross-validation.

[5 marks]

b. Explain why 10-fold cross-validation is used in machine learning

[5 marks]