2    Task Definition

An information retrieval model is an essential component for many applications (e.g. search, question answering, recommendation etc.). Your task in this assignment is to develop an information retrieval model that solves the problem of passage retrieval, i.e., a model that caneffectively and efficiently return a ranked list of short texts (i.e. passages) relevant to a given query.  In this part of the assignment, your goal is to improve the basic models that you implemented in the first part.

This is an individual project, therefore, everyone is expected to submit their own project report.

3 Data

The dataset for the previous task is available through this url and the dataset for training and validation is available through this url. Our dataset consists of 4 files:

.  test-queries.tsv is a tab separated file containing the queries in the test set, where each row contains a query ID (qid) and the query (i.e., query text).

.  candidate_passages_top1000.tsv is a tab separated file, containing initial rankings that contain 1000 passages for each of the given queries (as it was in the first part of the assignment) in file test-queries.tsv.  The format of this file is , where qid is the query ID, pid is the ID of the passage retrieved, query is the query text and passage is the passage text, all tab separated.  Figure 1 shows some sample rows from the file.

.  train_data.tsv  and validation_data.tsv. These are the datasets you will be using for training and validation. You are expected to train your model on the training set and evaluate your models’ performance on the validation set. In these datasets, you are given additional relevance column indicating the relevance of the passage to the query, which you will need during training and validation.

4 Subtasks

The course project involves several subtasks that are required to be solved.  The four subtasks of this project are described below.

1.  Evaluating Retrieval Quality.  (20 marks) Implement methods to compute the average precision and NDCG metrics.  Compute the performance of using BM25 as the retrieval model on the validation data (validation_data.tsv ) using these metrics.  Your marks for this part will mainly depend on the implementation of metrics  (as  opposed  to your implementation of BM25, since we already focused on that as part of the first assignment).

2.  Logistic Regression (LR). (25 marks) Represent passages and query based on a word embedding method, (such as Word2Vec, GloVe, FastText, or ELMo).  Compute query (/passage) embeddings by averaging embeddings of all the words in that query (/pas- sage).  With these query and passage embeddings as input, implement a logistic re- gression model to assess relevance of a passage to a given query.   Describe how you perform input processing & representation or features used.  Using the metrics you have implemented in the previous part, report the performance of your model based on the validation data. Analyze the effect of the learning rate on the model training loss.

All implementations for logistic regression algorithm must be your own for this part.

Important Notes:

.  The training data size you are given is quite small, so it should not cause you much difficulty in training but in case you have any issues with the data size, please feel free to use a sample of the training data – your marks will not depend on the performance of your models but rather on correct implementation/choices made.

.  If you think it is necessary, you are allowed to use negative sampling for gener- atinga subset of training data (possibly together with other sampling methods if needed).

3.  LambdaMART Model (LM). (25 marks) Use the LambdaMART [1] learning to rank algo- rithm (a variant of LambdaRank we have learned in the class) from XGBoost gradient boosting library to learn a model that can re-rank passages. You can command XG- Boost to use LambdaMART algorithm for ranking by setting the appropriate value to the objective parameter as described in the documentation. You are expected to carry out hyper-parameter tuning in this task and describe the methodology used in deriving the best performing model.  Using the metrics you have implemented in the first part, report the performance of your model on the validation data. Describe how you perform input processing, as well the representation/features used as input.

4.  Neural Network Model (NN). (30 marks) Using the same training data representation from the previous question, build a neural network based model that can re-rank pas- sages. You may use existing packages, namely Tensorflow or PyTorch in this subtask. Justify your choice by describing why you chose a particular architecture and how it fits to our problem. You are allowed to usedifferent types of neural network architectures (e.g. feed forward, convolutional, recurrent and/or transformer based neural networks) for this part. Using the metrics you have implemented in the first part, report the performance of your model on the validation data.  Describe how you perform input processing, as well as the representation/features used. Your marks for this part will depend on the appropriateness of the model you have chosen for the task, as well as the representations/features used in training.

4.1    Submission of Test Results.

You should use the three models you have developed in steps 2 - 4 of your project (the Logistic Regression (LR) model, LambdaMart (LM) model, and the Neural Network (NN) model) to re-rank results in the candidate_passages_top1000.tsv file for each of the queries in the test set (in test-queries.tsv  file).  You should generate one file per model (named LR.txt, LM.txt, and NN.txt, respectively), where the format of the file is:

...

The width of columns in the format is not important, but it is important to have exactly six columns per line with at least one space between the columns. In this format:

- The first column is the query number.

-  The second column is currently unused and should always be “A2”, to refer to the fact that this is your submission for Assignment 2.