Summary

Trend prediction has drawn a lot of research for many decades using both statistical and computing approaches including machine learning techniques. Prediction of asset direction is paramount for investment management as accurate forecasts could ensure asset managers outperform the market. Trend prediction remains a challenging task due to the semi-strong form of market efficiency, high noise-to-signal ratio, and the multitude of factors that affect asset prices including but not limited to the stochastic nature of underlying instruments. However, financial time  series can be modeled effectively using sequence modeling approaches like a recurrent neural network.

Objective

Your objective is to produce a model to predict positive moves (up trend) using the   Long Short-Term Memory model. Your proposed solution should be comprehensive  with the detailed model architecture, evaluated with a backtest applied to a trading

strategy.

•    Choose one ticker of your interest from the index, equity, ETF, crypto token, or commodity.

•    Predicttrendonly, forashort-

termreturn(example:daily,6hours).Limitpredictiontobinomial

classification: the dependent variable is best labeled [0, 1]. Avoid using [- 1, 1] as class labels.

•    Analysis should be comprehensive with detailed feature engineering, data pre-processing, model building, and evaluation.

Note: You are free to make study design choices to make the task achievable. You may redefine the task and predict the momentum sign (vs return sign) or direction of volatility. Limit your exploration to ONLY one asset. At each step, the process followed should be expanded and explained in detail. Use of TensorFlow is strongly recommended [avoid PyTorch]. Merely presenting python codes without a proper explanation shall not be accepted. The report   should present the study in a detailed manner with a proper conclusion. Code reproducibility is a must and the use of modular programming approaches is  recommended. Under this topic, you do not recode existing indicators, libraries, or optimization to compute neural network weights and biases.

Step-by-Step Instructions

1.   The problem statement should be explicitly specified without any ambiguity including the selection of underlying assets, datasets, timeframe, and frequency of data used.

• If predicting short-term return signs (for the daily move), then training and testing over up to 5 years should be sufficient. If you attempt the prediction of 5D, 10D return for equity or 1W, 1M for the Fama French factor, you’ll have   to increase the data required to at least 10 years.

2.   Perform exhaustive Feature Engineering (FE).

•    FE should be detailed including the listing of derived features and specification of the target/label. Devise your approach on how to categorize extremely small near-zero returns (drop from the training sample or group with positive/negative returns). The threshold will strongly depend on your ticker. Example: small positive returns below 0.25% can be labelled as negative.

•     Class imbalances should be addressed - either through model parameters or via label definition.

•    Use of features from cointegrated pairs and across assets is permitted but should be tactical about design. There is no one recommended set of features for all assets; however, the initial feature set should be sufficiently large. Financial ratios, advanced technical indicators including volatility estimators, and volume information can be a predictor for price direction.

•    OPTIONAL Use of news heatmap, credit spreads (CDS), historical data for financial ratios, his- tory of dividends, purchases/disposals by key stakeholders (director dealings) or by large funds, or Fama-French factor data can enhance your prediction and can be sourced from your  professional subscription.

3.   Conduct a detailed Exploratory Data Analysis (EDA).

• EDA helps in dimensionality reduction via a better understanding of relationships between features and uncovers underlying structure, and   invites detection/explanation of the outliers. The choice of feature scaling techniques should be determined by EDA.

4.   Proper handling of data is a must. The use of a different set of features, lookback length, and datasets warrant cleaning and/or imputation.

5.   Feature transformation should be applied based on EDA.

•    Multi-collinearity analysis should be performed among predictors.

•    Multi-scatter plots presenting relationships among features are always a good idea.