A. Summary

B. Introduction

All statistical analyses are based on some form of data which has been collected via some kind of specified process. The quality and relevance of the data which is collected influence the  outcome  of  any  statistical  analysis.  A  well  planned  and  executed  data  collection exercise is thus a key part of ensuring that any data analysis is appropriate.

In this assignment, you will gain some experience with data collection and reflect on that experience. This is so you can learn about how to conduct a data collection exercise, which will mean you will be able to do this in the future, as well as to understand the quality of datasets that you encounter in the future. We will explore this in two topic domains:

1. Data redaction (Annex B): This task  is to  quickly yet  correctly identify personal information  to  be  removed  from  documents.  This  is  an  increasing  common  task  in business, for example in response to subject access requests for personal information. Our interest is in understanding the errors that lay people make when redacting documents, as well as any factors that influence the speed in which these documents can be redacted.

2. Navigation (Annex C).  We  will  explore  the  effect  of different  user  interfaces  and designs in order to investigate the impact of them on real world navigation. This is an example of a user interface design done within Human Computer Interaction, and is the type of study used to redesign computer systems. This particular study has been designed by experts at the University of St Gallen in Switzerland.

These are intended to be real experiments that have not been done or published in the literature before.

This assignment is worth 15% of the overall mark for FIT1006.

C. When is my assessment due?

Your assessment is due on the 31st  of March 2023 at  11.55pm. If you are late, then you lose  5%  of  the  available  marks  for  the  assignment  for  each  calendar  day  (or  part  of calendar day) you are late. If you are 7 or more days late, then you will obtain a mark of zero for this assignment. It is possible to obtain an extension to this assignment deadline by   way   of  the   special   consideration   procedure,   but   only   if  you   have   extenuating circumstances.

D. Part 1: Data Collection

You should recruit 1 or more other students in the course (FIT1006) to be subjects . You can do this via the EdStem forum or in person within tutorials, lectures or PASS sessions. If you are unable to recruit students from FIT1006, you may also do this study on other Monash students . It is possible to pair up with another student and do the experiments or  each  other  in  turn. You  are  required  to  be  a  subject  of at  least  one  other  students experiment and we will check you have done this .

As  part  of this  process,  you  will  also  collect  some  demographic  information  about  the participants, as well as to report on any difficulties in conducting the experiment. To do this, you  should follow the  experimental protocol  set out in Annex B for  Study  1 and Annex C for Study 2.

E. Part 2: Reflective Commentary

The  second  part  of this  assignment  involves  writing  a  reflective  commentary  on  your experience of conducting data collection and being a subject of this data collection exercise. You should not statistically analyse the data itself, rather the focus is on the process and the relevance or quality of the data itself (especially by way of the process we adopted). This should be a written document of between 300-500 words, plus a reference list. You should consider issues such as:

•    Was  the  experimental  protocol  always  followed  (both  from  the  perspective  of  a subject or experimenter)? If not, why?

•    Are there ways that the experimental protocol might be improved? For example, is  there  additional  data  that  could  be  collected,  or  might  the  instructions  be improved in some way? Are there any other wider changes you might make to the study design?

•    Might this data be combined with other sources of information?

•    What  did  you  learn  about  data  collection  from  conducting  this  exercise?  Was recruitment challenging?

•    Did you find that the study work better or differently for one participant compared to the other? If so, why?

Your   assignment   should   also   include   some   reference   to   existing   literature   about experimental design or other relevant material.

F. Some Questions and Answers

We  will  also  discuss  this  assignment  in  class.  Below  are  some  common  questions  and

answers.

1. How will this data that you collect be used?

The Google Form you complete to submit the demographic information and results will be anonymised (the Student ID will be mapped to a different number) and made available to  the  entire  class  for  Assignment  2.  It  may  also  be  used  in  a  subsequent  research publication.

2. Is there a mark for the ‘data collection’ component?

There is no  direct mark for the data collection component,  as you are  marked on your reflective commentary. However, if you do not submit data, then penalties are applied as per the marking rubric (please see Annex A).

3. Does the quality of the data I collect form part of the assessment for Assignment 1?

No. This is because you will analyse the data collected by the class as a whole (with a small subset removed for each student).

4. If I make critical comments on my own experiment, or that of another student, will it negatively impact their marks or my marks?

No.  Mistakes  and  errors  happen  in  many  data  collection  exercises.  What  matters  is whether we know about them so they can be considered in the analysis. To put it another way, the reflective commentary is assessed on its own merits.

5. What help am I entitled to have with this assignment?

Academic  integrity  is  an  important  concern.  As  such,  you  must  write  your  reflective commentary yourself, without collaborating with other students. This includes doing your own reading of references.

6. Are there any other matters that relate to academic integrity?

Yes.   You   must   be   honest   in   reporting   the   results   and   any   deviations   from   the experimental protocol.