Aim
•    Apply a range of analytic methods in informing decisions about a complex science, technology and public policy issue.
Objectives
•     Design and undertake an analytic process to inform complex decisions .
•     Judge the suitability of analytic methods used for analysis.
•     Use visualisation to effectively communicate analytic insights.
•    Use and reflect upon multiple analytic methods introduced throughout the course.
Marking
This assignment is 50% of the STEP0020 module. The marking scheme is available on Moodle and covers the following relevant marking criteria:
•     Conceptual Understanding (40%)
•     Reasoning & Critical Analysis (40%)
•    Communication, Structure & Clarity (20%)
Required Length
•    Given that there are several parts to this assignment, we have a more flexible word range.
•    No fewer than 3000 words, and no greater than 4000 words. The same penalties apply for 10% outside the minimum and maximum of this range as in the STEaPP regulations (i.e. 2700 as an absolute minimum, 4400 as an   absolute maximum). References and footnotes solely containing references are not included in the word count.
Submit a .pdf of your work via the course Moodle page Turn-it-in submission box

Project context

Imagine that London has recently joined a newly established ‘Attractive Cities’ network - a global network of the mayors of capital cities taking action to become attractive places to both live and work. A small group of the core member cities have been asked to take the lead for developing shared research and policy action on public policy themes for the network’s members. Yesterday the news came through that London has been assigned as the thematic city lead on “Air Quality and Citizen Health” .

This means that London’s Mayor now has responsibility for an entirely new policy portfolio, as well as in essence overnight become an influential and expert global voice on science, technology and innovation around air quality and health policy issues and their interrelationship. The mayor is very conscious that while London has its own challenges and experiences with managing air quality, the real challenge at hand will be the development of evidence-based insights into air quality as a common issue, yet one that has many different local realities and considerations.

As it turns out, air quality is a topic the current Mayor knows little about, nor has previously had much policy exposure to. By background, she is a lawyer. She is, however, a keen advocate for evidence-based approaches to policy analysis and has often been frustrated when there has been insufficient rigour in analyses used to design and inform policy decisions. She has therefore asked that a special analytic adviser be appointed to brief and support her over the coming weeks in preparing London for this new role. Your CV impressed and this is now your role.

Part 1. Exploratory data analysis [50%]

The mayor would like to have insight into key issues on air quality and citizen health, and  specifically  any  potential  interrelationships  between  these  in  order  to  best understand the context of the network she has joined. She also wants to understand how any of these interrelationships vary across cities and how context matters. As a first step, she has asked you to undertake some exploratory data analysis to identify some patterns, trends, emerging issues, or relationships of influence that might be of interest to her.

She is interested in understanding, where possible:

•    How do these phenomena (air quality and citizen levels) interact or interrelate?

•    How do these differ between cities with different characteristics (e.g. population size, exercise levels or modal split)?

•    How does London compare to other cities around the world?

A predecessor in your job has left the following short, annotated list of potentially other relevant data sources which you might want to use. You can, however, also seek other data sets, theories, knowledges beyond this that provide extra insight.

Remember: exploratory data analysis is an iterative approach that aims to identify relevant analytical insight from a range of different sources and hypotheses, using any method  that  helps  to  explore,  model  and  test validity  of conclusions  drawn.  To undertake this exploratory data analysis, articulate your analytical purpose to help frame your exploratory approach. What questions are you asking? What potential sources are you looking for? What ideas are informing your approach? What different methods could you use to hypothesise, explore, model, verify? What assumptions are made in the data collection, information synthesis, and analyses used to suggest findings? As you work through your analysis for the mayor, keep a record of these types of notes).

Q1. Produce for the mayor [50%]:

1.  Exploratory data analysis relating to her aims above:

(“What air quality and citizen health patterns, trends, emerging issues, or relationships of influence can be identified with some exploratory data analysis that might be of interest to her. She is especially interested in understanding where possible:

o  How do these phenomena (air quality and citizen levels) interact or interrelate?

o  How do these differ between cities with different characteristics (e.g. population size, exercise levels or modal split)?

o  How does London compare to other cities around the world?”)

You may communicate your work in a way appropriate for quick reference and  understanding.  You  might  want  to  use  data  visualisation  and/or summary statistics.  If you use a method such a regression analysis or another confirmatory approach, ensure the assumptions, consequences and implications of your analysis are spelled out clearly. All approaches should be accompanied by any disclaimers or caveats about confidence, significance and uncertainties that allow critical interpretation and analysis by the mayor and other research and analysis users. Make sure that you are clear in identifying the data sources used, any significant analytical considerations regarding their use and interpretations, and your analytical rationale for justifying how you ended up with your set of key considerations for the mayor.

2.  A short opening or closing summary of key considerations derived from the above. For example, you might want to highlight some of the similarities and differences between and within cities she should be aware of whilst steering this network.

Part 2: Informing policy decisions [50%]

The Mayor’s participation in the Attractive Cities network has prompted the local press to turn its attention on London’s own challenges with air quality and liveability. As a consequence, the Mayor is now under pressure to demonstrate that she is taking positive action on these issues within London specifically. What is also on the Mayor’s mind is that it seems likely that a new national law will come into force next year that will focus on enhancing air quality in the UK’s cities. If it does, a city will be fined GBP 10,000,000 every year that it exceeds the clean air limit (200 micrograms per cubic metre (µg/m3)) more than 15 day-instances in a year.

The Mayor has been advised to quickly get some more positive media coverage by signing off one of two projects related to air quality issues that have been circulating around city hall for some time. The first proposal focuses on investing in an awareness campaign that targets city workers who use their cars to travel into inner London. The campaign would seek to encourage them to switch from using their cars to taking public transport to reduce particulate emissions in the congested inner-city zones currently most at risk of breaking the clean air limit. The second proposal focuses on a programme to retrofit the engines of the city’s Black Cab fleet to zero emission standards.

Current opinion within the Mayor’s immediate team is that there is a 70% likelihood that the new law will come into force (it depends on who hold the Ministerial portfolio for  Environment). The awareness  campaign would  cost  GBP  10,000,000 to  run. Current research estimates that if the city invests in such a campaign, there is a 30% likelihood that it would result in the city passing the legal air quality success criteria within any given year. The retrofitting of part of the city’s Black Cab fleet on the other hand would cost GBP 32,000,000. Current research estimates that if the city invests in such an engine retrofit programme, there is a 60% likelihood that it would result in the city passing the legal air quality success criteria in a given year.

The Mayor feels uncomfortable signing off such a significant amount of the city’s budget  without  further  detail  of  the  possible  consequences.  She  is  especially concerned about the risks that might result if the costing figures used for the decision tree analysis were wrong. She therefore commissions a well-known management consultancy firm to do a more detailed analysis of the costs involved. The consultants’ report has just come back and centres entirely on a probabilistic sampling (Monte Carlo) analysis of the total cost profiles of the two policy options. The key graphic provided is below in Figure 1. The Mayor has not seen such figures before and has asked you to come to her office and interpret their meaning in as easily understandable a way as possible. 

Fig 1. Summary expected total cost profile from the consultants’ report

Q2. Based the two total expected cost profiles in Figure 1, which of the two air quality mitigation options being considered would you advise the Mayor to go with? Why? [~5%]

Q3. The Mayor seems happy and expresses her intent to use the consultants’ analysis to justify her decision. What additional advice might you want to give her before she makes a final decision? [~5%]

A news story runs that criticises the mayor for not engaging the city’s environment and health policy community more in evaluating the options considered. The Mayor had in fact  herself been concerned about this. She therefore decides  it  best to defer a decision on what mitigation option should be pursued, and to instead explore the city’s air quality management options more thoroughly by setting up an expert advisory board. This expert advisory board will be invited to consider a broader set of mitigation options  beyond the  commuter awareness  campaign and  retrofitting of black  cab engines.

The  mayor’s  primary concerns  now  relate to the  loss of public trust  in scientific analyses of policy issues. Specifically, she looks to address ‘misinformation’ and ‘bias’, as well as the complexity faced when a diversity of types of options is considered, making it challenging to compare their relative strengths and weaknesses. A close friend overheard her discussing this at a dinner last night and suggested that her team look into using ‘Multi Criteria Analysis’ (MCA), as “it is scientific” .

Q4. You have been asked to provide the mayor with a briefing on how the expert advisory board might inform the mayor’s ultimate decision. Your briefing should include: [~15%]

1.  Advice on the use of the expert advisory board, or what not to use it for as contribution to the analysis of policy options (i.e. it has been decided that having a board is a desirable thing for public image, but what exactly should they do, instead of e.g. if a citizen forum had been created instead).

2.  Advice on the criteria for selecting the membership of the expert advisory board, including your rationale for how this may contribute to the analytical role of this board.

3.  Recommendation for the specific use and role of MCA methods in support the  board’s  work  (note:  she  is  not  asking  you  to  explain  the  MCA methodology –  she  is  in  need  of understanding  how  it  can  be  used to support analysis for her upcoming decisions).

4.  Any  further  reflections  and  recommendations  on  alternative  ways  that participatory  methods  and  processes  could  usefully  contribute  to  the analysis informing this air quality enhancement programme you have for the mayor.

These recent experiences have left the mayor conscious of the inevitability that there will be ideas or factors that are not yet part of the ongoing analysis and air quality management  programme  design.  Fortunately, the  international  media  have  been kinder to the work of her team than local news outlets and have in fact praised the mayor  for  her  cautious  approach   in  challenging  and  questioning  the   major assumptions underpinning air quality policy analysis. The Mayor feels this favourable media attention presents not only a great opportunity to address critics at home, but also to raise London’s global profile as a leader in cutting-edge policy analysis and development practice. As her final request to you, she asks that you brief her on three questions she has:

Q5. You have been asked to provide the mayor with a briefing note with your thoughts on three questions she currently has. Please provide her with a summary of key points you think of greatest relevance: [~25%]

1.   Evaluation and learning:

How can the mayor and her team make use of evaluation methods and processes to share learning from their current and future analyses with other policy groups (e.g. either in London or across the global Attractive Cities network)?

2.   Embedded values in analysis:

What are some of the ways by which the methods used for air quality and  citizen  health  analysis  can  result  in  a  western-centric  bias  of research outputs within this global ‘Attractive Cities’ network?

3.   Use of scenarios:

How can scenarios be used by the mayor and her team to manage the inevitable uncertainties in their continued analysis and decision-making on air quality development? What advice would you want to give the mayor in relation to the use of scenarios for policy analysis?

Appendix A: Frequently Asked Questions

1.   Do  I  have to  use  R for  Part  1?  No. This assignment  is  intended as an opportunity to revisit the course content and consolidate your learning. We would like you to use this opportunity to practice how to source, explore and wrangle unfamiliar data sets. You are encouraged to use this as an opportunity to make sense of open data repositories, their supporting guidance use these to import into R and use exploratory, visual analysis. You can, however, deploy the approaches in the course in any software you want to, or use a combination.

2.   There are a lot of data available for Part 1! Do I have to use all the data sets listed, and more of others available elsewhere? No, you do not. You can use some, or a combination. It’s recommended that you try to augment a dataset with additional sources, so either two of the datasets above, or data from elsewhere. A tip is that before heading aimlessly in search of data, you clarify and articulate your purpose. Write it down! Break down your exploratory analysis approach into parts.

3.   Can we work together? No, your work must be individual. We will answer questions about Assignment 2 on the Forum and in the Assignment 2 clinic.

4.   Can I ask you questions about the assignment? Yes. Post your questions on the forum. Similar to Assignment 1, we will hold an Assignment Clinic.