DataWhale 机器学习夏令营第二期——AI量化模型预测挑战赛学习记录

news2024/10/5 19:13:01

DataWhale 机器学习夏令营第二期

学习记录一 (2023.08.06)
- 1. 问题建模
- - 1.1 赛事数据
  - - 数据集情况
    - 数据中缺失值
    - 类别和数值特征的基本分布
  - 1.2 评价指标
  - - 中间价的计算方式
    - 价格移动方向说明
  - 1.3 线下验证

DataWhale 机器学习夏令营第二期
——AI量化模型预测挑战赛
已跑通baseline，线上得分0.51138, 跑通修改后进阶代码，线上得分0.34497

学习记录一 (2023.08.06)

按照鱼佬直播分享按照以下常见思路分析机器学习竞赛：

建模思路

1. 问题建模

1.1 赛事数据

数据集情况

给定数据集：给定训练集（含验证集），包括10只（不公开）股票、79个交易日的L1snapshot数据（前64个交易日为训练数据，用于训练；后15个交易日为测试数据，不能用于训练），数据已进行规范化和隐藏处理，包括5档量/价，中间价，交易量等数据（具体可参考后续数据说明）。
预测任务：利用过往及当前数据预测未来中间价的移动方向，在数据上进行模型训练与预测
输入数据：
行情频率：3秒一个数据点（也称为1个tick的snapshot）；
每个数据点包括当前最新成交价/五档量价/过去3秒内的成交金额等数据；
训练集中每个数据点包含5个预测标签的标注；允许利用过去不超过100tick（包含当前tick）的数据，预测未来N个tick后的中间价移动方向。
预测时间跨度：5、10、20、40、60个tick，5个预测任务；
即在t时刻，分别预测t+5tick，t+10tick，t+20tick，t+40tick，t+60tick以后：最新中间价相较t时刻的中间价：下跌/不变/上涨。

数据分为训练集和测试集，训练集包括sym0 ~ 9共10个sym从date0 ~ 63共64天每天上午和下午的数据，测试集则为后续date64 ~ 78共14天的数据。数据量较大，典型的时间序列预测问题。时间步长为 3 s，范围从 09:40:03~ 11:19:57，13:10:03~14:49:57。
思路：

在构建时序特征时需要考虑按照每个上下午，分组进行构造来保证时间步长一致。
对10只股票分开处理
对5个任务分开处理， N=5,10 为一类， N = 20,40,60 一类

数据中缺失值

train_df.isnull().sum()

不存在缺失值

类别和数值特征的基本分布

查看数值型特征在训练集和测试集上的数据分布
请添加图片描述

价格类数值变量数值比较稳定，训练和测试集分布范围基本一致，如’n_close’,‘n_midprice’, ‘n_bid1’, 'n_ask1’等
而和交易量相关的数值变量训练集的变化比测试集较大，训练集中存在交易量远大于测试集交易量的数据，后续分析可以研究这些高交易量对应的日期是否在一天，是否为特殊时刻，以及是否为异常值

1.2 评价指标

中间价的计算方式

$n\_midprice = \frac{n\_bid1+n\_bid2}{2}$
其中，一个为0取另一个值

分析：
查看为 $n\_bid1, n\_bid2$ 中存在0的行：

train_df[(train_df['n_bid1'] == 0 )| (train_df['n_ask1'] == 0)].index

Index([   6641,    6642,    6645,    6646,    6647,    6648,    6649,    6650,
          6651,    6652,
       ...
       2446840, 2446842, 2446844, 2446845, 2446846, 2446848, 2446918, 2446919,
       2446920, 2446921],
      dtype='int64', length=175414)

上面为 $n\_bid1, n\_bid2$ 中存在0的行索引，共175414行存在为0的值。这也说明了之前的箱线图分析中，交易值偏向于低端的原因，因此，后续可以对交易量相关特征进一步分析，包括：1）去除0值观察分布， 2）取对数。

去0后其实对分布影响不大，含0的数据量太少了：
在这里插入图片描述

此外，不存在都为0的行，该结果在缺失值分析中已经得到了。

价格移动方向说明

以涨跌幅为基准，分为 2（涨）、1（不变）、0（跌）
$Label_t^N = \sigma(n\_midprice_{t+N} - n\_midprice_t)$
赛题公式说明
这里我目前还没理解清楚，按照给的公式我去计算了下标签，发现不太一致。另外，如果有了这个具体的指标确定的话不是可以直接用于测试集的计算？