Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

COMM510

Multi-Objective Optimisation & Decision Making

Continuous Assessment

2022

1    Assignment

This coursework requires the submission of a concise document including a background and literature review on a research topic you have chosen from the list in Section 2. The submission must also include a description of the research programme you intend to undertake to address the research topic, including aspects such as detailing the different aspects of the broader research question you will examine, the experimental design, the presentation of the experiments, the analysis of the results, a discussion and any conclusions, and setting out future work directions given these results. This assignment marking criteria are at the end of this document.

The submission must adhere to a the short paper style of the ACM GECCO conference, which is a double- column format with 4 pages maximum (excluding references). The ACM LATEX style file will be made available on the COMM510 ELE page https://vle .exeter .ac .uk/course/view .php?id=13283&section=3 which will be used in this CA, along with an initial  .tex file to work from.

The submitted document should demonstrate an understanding of the topic area and the research question. It should present an appropriate programme of research to investigate the research question posed.

Precisely, the document (maximum of four pages, excluding references) should include:

 An introduction.

• A review of the literature about the topic, describing the background to the chosen research question and what work has been done in the existing literature to investigate it.

• A reasoned plan of the empirical work to be undertaken, including (as suitable), algorithms to compare, test problems to use, quality measures to employ, experimental protocols, how the results will be evaluated, etc.

• Your prior expectations of the results, given any insights from the literature and your understanding of the task and research question. This might take the form of a research hypothesis to be investigated.

• A presentation of the results obtained in an appropriate form (e.g. tables, plots, etc.).

• An analysis of the results.

• A contextualisation of the results, relating them to the existing literature.

• A conclusion which outlines potential future research directions that lead on from your work.

2    Topics

Below is the list of research topics for the COMM510 coursework. You must select one topic for this assignment.

1.  The  impact  of initialisation  on  MOEAs.   In this project topic you should explore the research question:  how much of the computational budget  (objective function evaluations) should be spent on initialisation?  Typically the number of random initial solutions (if no existing solutions are usable), is the same as the search population however it is possible to generate substantially more initial random solutions and take the N” best of these to form the initial search population. You will want to explore the effect of varying the amount of budget you assign to initialisation versus search for one or more optimisers.

2.  How amenable/exploitable are test problems suites to seeding? In this project topic you should explore the research question: how much easier are test problems from a suite if search is initialised from a set of solutions which include a Pareto optimal decision vector, and why? You should contrast at least two multi-objective test suites in this project.

3.  (1 + 1)  or  (|A| + 1)?  In this project topic you should explore the research question:  how  (and why) does the relative performance of the simple greedy” multi-objective evolution strategy optimiser vary if a (1+1) formulation is used, or a (|A| +1) formulation. Where in a (1+1) (as in PAES), the child replaces the parent if it dominates it, or if is non-dominated with the approximation set but is in a preferred region (e.g. less dense in objective space), whereas in the (|A| +1) approach the parent newly drawn each generation from the approximation set. You should consider a range of test problems.

4.  Influence  of different  scalarisations  in  MOEA/D. In this project topic, you should explore the research question:  What is the effect of different scalarisations on the performance of MOEA/D? There are no standard guidelines on selecting a particular scalarising function.  You will want to explore the effect on the performance of MOEA/D with minimum four different scalarising functions.

5. Which MOEA is the best?  Comparison of different performance indicators.  In this project topic you will answer the research question:  What is the final ranking of different MOEAs if you use different performance indicators? In the literature, several performance indicators exist. You will want to explore the correlation between the run time and ranking of different algorithms using different indicators. You can select three indicators and two MOEAs.

6.  Looking  for  decision-makers  desired  solution:   Comparison  of different  preference  based MOEAs.  In this project topic, you should explore the research question: Which preference based algo- rithm is the best considering decision-maker’s preferences?  It is desirable to find a (set of) solution(s) preferable to the decision-maker. Different elements in MOEAs e.g. selection criterion have been adapted in MOEAs for this task. In this project, you will explore the run-time performance of different preference based MOEAs with desirable objective function values (also known as aspiration level) as the preferences. You can use three MOEAs for comparison.

7.  Looking for decision-makers desired solution:  Comparison of different scalarising functions based algorithms:  In this project topic, you should explore the research question:  Which scalarising function based algorithm is the best considering decision-maker’s preferences?  It is desirable to find a (set of) solution(s) preferable to the decision-maker. Many methods use scalarising functions to consider decision-maker’s preferences. In this project, you will explore the run-time performance of different scalar- ising functions with desirable objective function values (also known as aspiration level) as the preferences. You can use three scalarising functions for comparison.

8.  Mono or Multi?   Which  is better  in Multi-objective Bayesian optimisation:  In this project topic, you should explore the research question: how does the surrogate modelling effect the performance in multi-objective Bayesian optimisation (BO)? Multi-objective BO can be used to find a set of approximated Pareto optimal solutions in the least number of function evaluations. There are typically two approaches for modelling in multi-objective BO: mono-surrogate or multi-surrogate. You will want to compare these two approaches and propose some suggestions to use such approaches multi-objective BO. You can use one mono-surrogate and one multi-surrogate approach in this project.

3    Software tools and packages

In planning your empirical work it is worth noting there are many existing open source packages containing implementations a number of pre-existing multi-objective optimisers, and test problems/suites as highlighted in Workshop 2.

4    Submission

The document body of the pdf format report should be no more than 4 pages (excluding references) in length. It should be typeset in LATEX, using the style file provided on the COMM510 ELE page and be submitted by 12pm (midday) on the date specified on the cover page, using the electronic BART submission system.

If you are less familiar with LATEX, we suggest you take advantage of the institutional Overleaf account https://www.overleaf.com, which you will benefit from if you register on the website with your university email address.   This includes an online editor and compiler, version control,  as well as  how to’ guides for typesetting using LATEX(as covered in workshop 2).

Marking criteria are tabulated on the following page in Section 5.

5    Marking criteria

The assessment will be marked using the following criteria.

Abstract.

The degree to which the report and contents are concisely and clearly presented in the doc- ument abstract.

/5

Introduction     and background   litera- ture review.

The degree to which the report introduction sets out the research question being set and the expectations to the reader of the rest of the  documents,  and  within  the  background section an appropriate body of literature has been synthesised and presented, and the de- gree to which it contextualises and supports the research programme proposed, with no ob- vious omissions.

/20

Research

gramme.

Pro-

The degree to which the research programme presented is clear, well-aligned to the research question(s) being addressed and sufficient in scale/ambition,  and  has  a  clear  and  appro- priate  plan  for  the  assessment  of  the  em- pirical  outcomes.   The  degree  to  which  the expected outcomes  are reasonable  and well- justified given the published research in the domain.

/20

Results tion.

presenta-

The degree to which the presentation of results is clear and support the research topic being investigated, and support the reader alongside the analysis.

/20

Analysis  and  Con- textualisation of re- sults.

The degree to which the analysis provided of the results is appropriate,  supported by the data,  and provides insight into the research question, and the degree to which the results and  analysis  have  been  well-contextualised with existing results in the literature.

/20

Future research di- rections.

The degree to which sensible further research directions  and  questions  have  been  mapped out, based upon the results and analysis pro- vided in the report.

/5

Presentation.

The  degree to which the  report  as  a whole is clear, concise, well-written, well-structured, well-formatted and devoid of grammatical er- ror.

/10

Length penalty.

A penalty of 10 marks will be applied for each page (or part thereof) that the document body (excluding references) is in excess of 4 pages.

 

 

Total

/100