FIT3152 Data analytics – 2024: Assignment 3

Instructions and data

In this assignment, you will create a corpus of documents and analyse the relationships between them, as well as the relationships between the important words used in these documents.

Background material for this assignment was covered in Weeks 10, 11, and 12. You are free to consult any other references, including those listed at the end of the document.

There are two options for compiling your written report:

(1) You can create your report using any word processor with your R code pasted in as machine- readable text as an appendix, and save as a pdf, or

(2) As an R Markdown document that contains the R code with the discussion/text interleaved. Render this as an HTML file and save as a pdf.

Your video report should be less than 100MB in size. You may need to reduce the resolution of your original recording to achieve this. Use a standard file format such as .mp4, or mov for submission.

Tasks

1.            Collect a set of (machine-readable text) documents from an area of interest. For example, these could be a set of news stories, movie reviews, blogs, factual or creative writing.

There is no restriction on the type of material you can choose although please avoid texts that might be offensive to people. As a guide, you should aim for the following:

•       Each document should beat least 100 words in length. Collect at least 15 documents.

•       Ideally, each document should cover one main topic and you should have at least 3 different topic areas in your collection of documents. Label each document as belonging to one of the topic areas in your corpus.

•       You can collect the documents as PDFs or as copied text from web-based articles or as text or other files.

•       Reference the source of your documents (URL or bibliographic citation (APA or Harvard style). (2 Marks)

2.            Create your corpus by first converting each document into a text format. The type of original material you collect will determine the way you need to do this. For some formats you can simply copy and paste the text into an empty text file. For Word documents, HTML, and PDFs etc., you may find it simpler to create the text document using “export”, or “save as” function in software.

•       Describe the process you follow for this step in your report.

•       Create your corpus using one of the methods covered in lecture videos and applied sessions. This could either be a folder of text files or a suitably formatted CSV file. Use suitable identifiers for your text file names or document IDs so that you can recognize the document in your clustering or network graphs. (3 Marks)

3.             Follow the text processing steps covered in lecture videos and applied sessions to create your Document-Term Matrix (DTM).

•       As part of this process, you may need to make particular text transformations to either preserve keywords, or to remove unwanted terms, for example, characters or artefacts from the original formatting. Describe any processing of this kind in your report or state why you did not need to do so.

•       Your DTM should contain approximately 20 tokens after you have removed sparse  terms. You will need to do this by trial-and-error to get the right number of tokens.

•       Include your DTM as a table in the appendix of your report. (3 Marks)

4.            Create a hierarchical clustering of your corpus and show this as adendrogram.

•       Use the cosine distance between each document for clustering.

•       Identify which cluster each document belongs to.

•       Calculate the accuracy with which the clustering groups documents by topic.

•       Give a qualitative description of the quality of the clustering. (4 Marks)

5             Create a single-mode network showing the connections between the documents based on the number of shared terms.

•       To do this you will need to first calculate the connections between each document using the method shown in Week 12, or another method of your choice.