Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

Project Guideline

DSCI 551 – Spring 2023

The theme of this semester’s project is emulation as mentioned in class. The goal is to develop a prototype system that emulates the interface and working of a big data system. Here big data system refers to a system that manages a large amount of data. This includes big data software and NoSQL        databases we have seen or will see in class: Hadoop, Spark, Firebase, MongoDB.

Recommended Projects :

1.    Emulating Firebase, e.g., by using Flask, WebSockets, and MongoDB. Requirements on your prototype system (database server):

•    It should have RESTful API which supports functions in Firebase RESTful API, which include: PUT, GET, POST, PATCH, DELETE, and filtering functions:                                 orderBy=”$key”/”$value”/”name”, limitToFirst/Last, equalTo, startAt/endAt.

•    You should store JSON data in another database, e.g., MongoDB.

•    It should have proper index created in database (e.g., MongoDB) to support orderBy. For example, for orderBy=”name” on users.json, it should create an index on name.

•    It should have a command-line interface that allows users to query/update content of database using curl command (similar to that in Firebase), for example:

o curl -X GET 'http://localhost:5000/users.json?orderBy="name"&limitToFirst=5'

o curl -X PUT 'http://localhost:5000/users/200.json' -d '{"name": "john", "age": 25}'

o …

o Note: the command should return data/response in JSON format (again similar to that in Firebase).

• (Multi-person team) Develop a Web app that demonstrate the real-time syncing of the data with the server. Refer to in-class demo for an example.

Useful resources:

•    A Flask-based server example that can be used as a starting point to implement RESTful server.

•    A Websocket server example based on Python Stream library.

•    A Web browser client that shows communication with server via WebSocket.

2.    Emulating HDFS (EDFS)

Requirements on your prototype system (EDFS):

•    It should have a metadata server (similar to NameNode) and a number of data servers (similar to DataNode).

•    EDFS should split the file into blocks if the file exceeds a predefined size, and store blocks with different data servers.

•    It should implement a DFS client that can accepts shell commands as in HDFS, including: ls, rm, put, get, mkdir, rmdir, cat.

Resource:

•    Sample code for data and code serialization.

•    Refer to socket stream library as in EDFS project, to build servers for worker node, etc.

Note for multi-person teams, you will be required to implement a Web UI as in other projects.

Note there are links in the provided sample code where you can read more on documentation of libraries used.

Team formation : You can form a team of up to 3 people. If there are multiple persons in your team, you are also required to implement the components above that are marked with (Multi-person team). All     team members should come from the sections that meet at the same time. In other words, you are not  allowed to team up with someone in Tuesday section if you are in MW section.

Deliverables, points, and deadlines (all deadlines are 11:59pm on the due date):

1.    Proposal (5 points, due on 2/10, Friday)

Team member, project topic, planned implementation, timeline (when to finish which items), tasks for each member.

2.    Midterm progress report (5 points, due on 3/27, Monday) Report progress made and any update on your plan.

3.    Final report (10 points, due on 4/28, Friday)

Title, topic, implementation, and learning experiences.

4.    Implementation (70 points, provide a link to your source codes, e.g., on Google drive, in the final report). Due as the same time as your final report.

There will be points assigned to each aspect of the project as detailed in the requirements stated above. Missing or incomplete work will be subject to deduction of points.

5.    Demo (5 points, in class in the week of 4/24). All members of project team should be present      and presenting part of the project. 5 points will be deducted from a member if he/she is absent.

6.    Video (5 points, about 20 minutes, due on 4/28, Friday): in-depth presentation of technical    aspects of your project. A spreadsheet will be provided for you to fill out the details including link to your video. All members of team should be present, with camera on during the             presentation.

Important notes: No LATE submissions will be accepted . Note that projects are semester-long                  assignments. All assignments including projects should NOT be done in the last minute! The last                homework of 551 may be due in the same week and some students might have final exams in the last     lecture week. These will not be considered as conflicts. You should only spend the last week of semester to finish up your project deliverables, e.g., summarizing your learning experiences. All implementations  and write up should be done before the last week when you demo your projects .

Also note that the project is meant to be a teamwork and all members of the team will receive the same grade. Choose your project partners wisely, e.g., having students with CS backgrounds to work with non- CS students would be a good idea.