Automated Content Management System

In this group project for the Big Data Management and Analytics course you will develop an automated content management system.

The  system  will  store  information  about  some  facts  (i.e.  population  data,  business  and financial information, etc.) that will be later used to report the information in standard reports. The  reports will  be stored  into the database  in templates that will  be  populated with a selection of data as requested by the news editor.

An example can be the financial data reports that every day have the same wordings but with updated data of the stocks in general and trending information.

#1 Objective and Dataset Selection

The objective of this project is to develop an automated content management system focus on a specific topic or solve some particular issue.

Find the appropriate dataset to be imported into the database. The dataset can be acquired from online data sources (CSV, JSON, XML, etc.), accessed through API or scraped directly from the web. The content language should be in English to avoid character encoding issues.

#2 Data Storage and Management plan

•    Design of your database

o You will build the relational database with SQLite. You need to design the relations and the schema of each relation. The use of multiple tables is strongly encouraged for the data storage.

o All your data, templates and queries must be stored in the database.

•    Data management operations

o The database should be fully managed using python code. Your python program must include insertion and query of data, deletion and update of data are optional. Textual  user  interface  is  allowed,  graphical  user  interface  and  visualization “prettifycation” is encouraged.

o Subquery and aggregate functions are required to be applied to some of your SQL queries.

#3 Template Storage and Creation

Figure out 5-10 templates. Each news/report template should be stored into the database, with additional metadata attached to it. Each template should be instantiated using specific data and rendered using simple text, markdown, and HTML.

What a template should look like? A text with some "blanks" to be filled:

- “Today stocks had an {increase/decrease} of {percentage} basing on the index {whichIndex}”

- “The stock price of {stock} had a {good/bad} start. At the end of the session it reached the quotation of {price} with a total {gain/loss} of {value}”

When integrating data into the template you should test the presence of values. The use of aggregated data to extract insights is also encouraged as well as the data visualization that can be integrated or divided from the text.

Focus on the reusability of the templates by using functions to fill up the blanks.

#4 Data analysis and visualization

Data analysis and visualization will help the exploration of specific qualities of the dataset, specific for the context. For example, for the financial data you may want to provide queries for extracting the number of observations, stock value trends, etc. visualized in charts.

Deliverables

Project Proposal Requirements

The group leader (ONLY) submits the project proposal including:

•    Topic and issue to cover

•    Dataset

•    The format of the news/report

•    One example of your automated news/report (sketch)

•    Idea about the data analysis you may want to include

The proposal should be approved and refined by the instructor before starting your project.

Deadline for submission: 30 October 2022 at 23:59

Report Requirements

In your group report, submitted by the group leader (ONLY), you should include the following parts:

•    Analysis of the problem

•    The topic you want to cover

•    The solutions you’ve found

•    What is your approach and which methods you have been implementing

•    What are your results and findings

The group paper should consist of 600-800 words in English. Use of schemas and flowcharts is welcome. Your report will be checked for similarity.

Deadline for submission: 30 November 2022 at 23:59

Project Requirements

The group leader (ONLY) submit you project files as a single zip archive.

If the file size exceeds the maximum size allowed by BU eLearning system, the group leader submits a link to your University OneDrive for download (share with the instructor a full       folder).

Deadline for submission: 2 December 2022 at 23:59