The third assignment is again only Python. There are three files: Assignment3.ipynb, 1.csv, and 2.csv (each corresponding to its question number). Please follow all the instruc- tions, which are repeated here.  When you are finished, please submit the Python notebook file ONLY. Please do not rename the file, but do enter your Student ID (numerical), in the notebook.

(1) Do not delete any cells

(2) Please put code only in cells where it has # YOUR  CODE  HERE

(3) Make sure you give your answers in the cells below the question.

(4) Make sure you follow the naming of the variables according to the instructions.

(5) Remember that unless specified each plot should have a title and axis labels (and a legend there are multiple lines/plots on the same axis).

(6) Make sure you delete raise notImplemented()/

QuEsT1oN l - L1NEAR MopELs ANp REs1puALs

Run the first cell to load the dataset.

a.) Use numpy.polyfit() to fit a linear model to the data, storing the parameters into variables called m and b respectively for the slope and y-intercept.

b.) Compute the residual of the data with respect to the model and store them in a variable called res

c.) Plot an unnormalised histogram of the residuals with 40 bins.

d.) Is the linear model a good fit? (one or two sentences)

e.) Complete the function below to compute hinges of the input x, which should be set at the 30th and 70th quantile.

f.) Use the above function to compute the inner fences of the residuals. Store the results in the variables lower fence and upper fence respectively.

g.) Create a new Dataframe called Y with all the values corresponding to residuals which are beyond the inner fences removed.

h.) Fit a new linear model and plot the outliers as red points, the remainder of the points (non-outliers) as blue stars (*), the original model as a black line and the new model shown as a green line. Store the new model parameters in the variables m new and b new.

j.) Is what you did above different from computing (and filtering) the outliers on the original data? If so, describe how, otherwise explain why they are the same.  (a few sentences)