Please read the “Rocket Fuel” case study (HBS online course packet) that describes the company, the  experiment  and  the  data  available.  This  case  analyzes  data  from  an  online  advertising experiment to determine whether the campaign was profitable or not, and how to optimize an advertising campaign. This assignment is complementary to the discussion in class.

Download the data Excel file named “rocketfuel_data.csv” available on Canvas. Use Excel or R for all of your analyses.

Learning Objectives

1.         Get hands-on experience with online advertising data.

2.         Perform effectiveness and ROI analysis.

3.         Identify pitfalls in common analysis methods.

Q1.  (3 points)

A common issue with online experiments is that users were not properly randomized into test and control groups.

(a)        Calculate the share of users allocated to the control group and report it. Please use 6 decimals after the point.

(b)       How would you test for whether or not the campaign properly randomized consumers into the test and control group? Perform this test and write down your conclusions.

(c)       Why is randomization important?

Hints for part (b):

•           If the experiment was properly randomized, what would be the average number of ad impressions per user in each group?

•           Don’t forget to test your conclusions for statistical significance. Take a look at the T.TEST function in Excel and think about whether a two-sided or a one-sided test is more appropriate for this task.

• Report the results (p-value) from the statistical test you performed and interpret it.

Q2.  (2 points)

Was the campaign effective in increasing conversion rates? Compare the conversion rates between test and control groups and run (and report) the proper statistical test results.

Submission guidelines

• Submit via Canvas, 8AM EST on the day of class 5

▪  Late submissions will be penalized

▪  Late corrections will not be accepted

•    Note that assignments are automatically checked for similarity—it is ok to discuss with other students, it is not ok to copy

• Submit two files (one submission per individual):

1. Slide Deck

In the slide deck, I expect you to answer each question in an executive way – you need to clearly describe the question, analysis procedures, rationales behind key steps, as well as the results you obtained.

Please include screenshots of the R command lines or excel formula in your slide deck to demonstrate your key steps.

Use as many slides as you need.

The title page must include your name.

Ifyou have worked/discussed with someone else, please also include their name(s) in a separate line on the title page.

2. Excel and/or R script file containing the codes that you used for your analysis.