商品量化专题报告：时序预测系列（二），如何利用Transformer_based模型对价格进行“天气预报”

重要提示：本报告难以设置访问权限，若给您造成不便，敬请谅解。我司不会因为关注、收到或阅读本报告内容而视相关人员为客户；市场有风险，投资需谨慎。 投资咨询业务资格： 证监许可【2012】669 号 商品量化组 研究员： 蒋可欣 FRM jiangkexin@citicsf.com 从业资格号 F03098078 投资咨询号 Z0018262 中信期货研究|商品量化专题报告 时序预测系列（二） 如何利用 Transformer-based 模型对价格进行“天气预报” 摘要： 在上一篇报告中，介绍了如何利用 RNN 系列算法对价格进行单元单步预测，本文围绕多元长序列预测展开，尝试实现类似于天气预报的预测效果。RNN 系列算法具有较强长期依赖性不适用于长序列预测，因此本文选择具有超强信息提取能力的 Transformer 模型为落脚点展开讨论。然而由于 Transformer 模型存在过高计算复杂度这一瓶颈，因此本文从近两年顶会论文中挑选出三个基于 Transformer 的改良模型(Informer、Autoformer 和FEDformer)分别进行了介绍和测试对比。 为测试模型的有效性和泛化能力，本文在 CU、IF 和 T 三个期货品种的主力合约上进行了测试。在测试中分别利用过去 20/40/60 个交易日的交易数据(开盘价、最低价、最高价、成交量和收盘价)对三个合约接下来 5/10/20/40/60 个交易日的收盘价进行预测。经预测发现，FEDformer 模型的预测结果几乎在所有情况中都是最优的，MSE 和 MAE 最低达到 0.028 和 0.129，价格时序信噪比较低，利用傅里叶变换将价格从时域转换到频域进行预测不仅能更好地捕捉全局信息，还能过滤掉信号中的噪音。同时，使用小波增强模块能捕捉到频率出现的时间信息，再次加强 FEDformer 模型对短序列的预测能力 此外，我们还发现在输入信息和输出信息较短的情况下，过高计算复杂度对Transformer 模型的负面影响并不大，在很多测试中，Transformer 的预测精度甚至高于Autoformer 和 Informer 模型，但在稳定性和普适性上还是逊于 FEDformer 模型。 风险提示：本报告中所涉及的算法和模型应用仅为回溯举例，并不构成推荐建议。 本次报告分别介绍了 Transformer、Informer、Autoformer 和 FEDformer 四个模型并进行测试，发现 FEDformer 模型利用傅里叶变换将序列从时域转换到频率进行预测能捕捉到全局特征，提高模型预测精度。此外若利用小波变换提取序列特征能捕捉到频率的时间信息，增强 FEDformer 模型对相对较短序列的预测能力。 报告要点 商品量化专题报告 2 / 31 目录 摘要： ..................................................................................... 1 一、引言 ............................................................................... 4 二、Transformer 的结构和原理............................................................ 4 （一）注意力机制 ....................................................................... 6 （二）Transformer 结构详解 ............................................................ 10 三、Informer 的结构和原理.............................................................. 12 四、Autoformer 的结构和原理 ............................................................ 15 五、FEDformer 的结构和原理............................................................. 20 （一）傅里叶增强结构 .................................................................. 20 （二）小波变换增强结构 ................................................................ 22 六、预测结果分析 ...................................................................... 25 （一）数据选择和处理 .................................................................. 25 （二）预测结果评价指标 ................................................................ 25 （三）模型参数设置 .................................................................... 25 （四）预测结果展示和分析 .............................................................. 26 七、结论与展望 ........................................................................ 29 参考文献 .................................................................................. 30 免责声明 .................................................................................. 31 图表目录 图表 1：Transformer 模型的结构 ........................................................................................................................................ 5 图表 2：抽象的 Encoder-Decoder 框架 ............................................