BUSN 37103 Data-Driven Marketing: Final Assignment Spring 2024

Format

Your analysis must be typewritten, using an 11 point font or higher.  The analysis is limited to 6 pages overall, including all graphs and tables. The page limits will be strictly enforced—–any material in excess of the 6 pages will not contribute to your final grade. Allow for 1 inch margins on all sides of the page.

Note:

(a) Cover or title pages, and the Summary and overview slides (see below) do not count towards the 6 page limit.

(b) The final needs to be submitted as a single pdf document.

(c)  Please use R Markdown for the main part of the analysis. Exclude the code to stay within the page limits. See Section 12.5 in the Introduction to R guide for formatting options. In particular, you can exclude code from the document using this option at the top of a code block:

{r,  echo  =  FALSE}

Grading

Your final exam score is composed of

(1)  85% – Quality of the analysis

(2)  15% – Quality of the presentation (graphs, tables)

By default, you get the full 15% for the presentation quality. However, if your presentation is sloppy and hard to follow, your grade will be negatively affected.

Write-up strategies

For your write-up, please consider the following:

1.  Explain how you came up with your findings and recommendations:

(a)  Explain if and why the data on which you base your analysis are adequate for the issues that you examine.

(b)  Explain the crucial steps that you take in your analysis.

(c)  Do not waste any time on generic points (“what is regression analysis?”).

(d)  Focusing on obvious points will waste space and prevent you from talking about points that are not obvious but key to a high-quality analysis.

2.  Provide crucial supporting evidence in the form of tables, graphs, etc. To make your write-up readable and to save space, I recommend that you only report the important parts of your data analysis.

3.  Please make your presentation is clear, and ensure that your write-up is easy to follow. You will not get points for parts of the analysis that are incomprehensible.

Personalized retargeting

Data file: Retargeting-Data.RData, data frame retarget_df.

You work with a large mobile data provider that has conducted an A/B test to evaluate the effectiveness of a recent retargeting campaign.

The company tracks potential customers on its website and records all web pages (URLs) visited by these customers. Customers who do not make a transaction within a given amount of time then become eligible for retargeting.

The retargeting campaign is conducted with the help of a large demand side platform (DSP) and an ad exchange. Eligible customers enter an ad auction where impressions are bought using real-tine bidding. If the company wins the ad auction, customers are exposed to an ad for the company.

Close to 600,000 customers were randomly selected for an A/B test.  In the A/B test, customers were randomly assigned to a treatment and a control group with equal probability, 1/2. Treatment group customers entered the ad auction, but no bids were submitted for the control group customers.

The company tracked spending data for a 30-day period after a customer entered the A/B test.

The data includes the following information:

• training_sample: An indicator to split the data into a training and validation sample.  1 indicates an observation that belongs to the training sample, and 0 indicates that the observation belongs to the validation sample.

•  spend: Dollar spending in the 30-day period after a customer enters the A/B test

• W: A 0/1 indicator, where W  =  0 indicates assignment to the control group, whereas W  =  1 indicates assignment to the treatment group.

•  impressions: A 0/1 indicator. If impressions  =  1, a customer was exposed to retargeted ads.

In addition, there are 84 variables with names that start with url_.  These variables capture the total number of visits that a customer made to specific webpages of the company in a set period before the customer entered the A/B test.

The margin and cost data are:

margin  =  0.37 #  37%

cost      =  0.1

The cost represents the expected per-customer cost of retargeting, taking into account the total number of ad exposures and the corresponding bidding cost.

Note: For privacy reasons, the spending data are scaled, and no details on the URLs can be provided.

Your tasks

You were specifically hired for consulting advice to help the company use their data to develop and evaluate a personalized retargeting campaign.

Your work has two parts:

First, analyze the data and provide an analysis to show how to develop the retargeting campaign and evaluate its corresponding economic value.

Second, provide a high-level managerial overview summarizing your approach and results.

Analysis

You may structure your analysis as you like. However, for some guidance, you may consider the following issues:

1. Was the A/B test properly conducted?

2. What was the average incremental effect of the retargeting campaign on spending? Correspondingly, was it wise for the company to engage in retargeting?

Note: This average incremental effect is the causal effect of the attempt or intention to retarget ads to customers. Explain the difference of this effect compared to the average treatment effect (ATE) of ad exposure, and why estimating the ATE is not feasible.

3.  Predict the customer-level incremental effect (CATE) of the retargeting attempt.

4. Analyze how the CATE varies across customers. Are the predictions of the customer-level incremental effects valid?

5.  Develop an optimal personalized retargeting policy. Analyze the out-of-sample profit in the validation sample. How does the proposed targeting policy compare to no targeting or blanket targeting of all customers?

6. Analyze the difference in spending across customers who were exposed to ads and customers not exposed to ads. How does this difference compare to the effect you estimated in step 2, and what accounts for possible disparities?

7. You re-evaluate your bidding strategy and try to optimize the bid for an impression. Is it possible to use the data to predict the maximum bid that the DSP algorithms should submit?

1-5 are the most important points in the analysis, and you should give these steps priority!

Also: Always focus on the big picture. I.e, take some time to consider the purpose of each step in your analysis, and how it is helpful to improve and optimize the company’s retargeting campaigns.

Summary and overview slides

Create 1-2 slides (PowerPoint, etc.) to summarize your analysis and results. The slides should be suitable for a presentation to the company’s senior managers.

To combine your main analysis and the slides into a single pdf document, you can use Acrobat, Preview (on a Mac), or any similar software. Alternatively, in PowerPoint you can save each individual slide as a pdf file using File  >  Export. In R Markdown, you can insert the pdfs as follows (adjust the width as needed):

{width=100%}

{width=100%}