人工智能系列之四：指数门控在LSTM中的应用，eLSTM

请务必阅读正文后的声明及说明 [Table_Info1] 证券研究报告 [Table_Date] 发布时间：2024-09-08 [Table_Invest] eLSTM 因子分层回测图 [Table_Report] 相关报告 《适应市场状态与股票关联性的因子生成模型》 --20240904 《上月波动率、红利、流动性因子表现较优》 --20240903 《股票投资中的赔率/胜率/DCF 与 PB-ROE》 --20240902 《基于随机森林算法的信用风险识别模型》 --20240824 《沪深 300 好大高正，华安增强严快稳省》 --20240819 [Table_Author] 证券分析师：王琦 执业证书编号：S0550521100001 021-61002390 wangqi_5636@nesc.cn [Table_Title] 证券研究报告 /金融工程研究报告 指数门控在 LSTM 中的应用——eLSTM ---人工智能系列之四 报告摘要： [Table_Summary] 本篇报告主要介绍了深度学习神经网络 LSTM 的改进版本——eLSTM 模型的设计原理及性能表现。 在过往报告《扩展长短期记忆网络 xLSTM——人工智能系列之三》中介绍了 xLSTM 网络的原理并对其技术点进行了拆解。eLSTM 即从 xLSTM 中得到灵感，使用指数门控代替了传统 LSTM 模型的 Sigmoid 门控，并采取措施对输出的数值稳定性和指数门的数值稳定性进行了控制，最终得到了性能更优秀的 eLSTM 模型。 本报告设计了控制变量实验对 eLSTM 的性能进行测试，基准模型为 LSTM 模型和 GRU 模型。以全 A 股的日频量价数据作为训练数据集，分别以 eLSTM/LSTM/GRU 模型为基础构建了其余网络结构均相同的选股因子生成模型。在训练过程中，控制模型各项超参数与训练条件相同，并在全 A、沪深 300、中证 500、中证 1000 四个股票池中对三组因子进行了单因子测试。 测试结果表明： （1）在全 A 范围进行选股时，eLSTM 因子的多头组年化收益率（18.24%）以及超额年化收益率（19.96%）均大幅度领先 LSTM 因子（多头 11.29% /超额 12.90%）和 GRU 因子（多头 13.88% /超额15.53%）， 控 制 回 撤 能 力 也 相 较 于 另 外 两 组 因 子 小 优 。eLSTM、LSTM、GRU 因子的超额最大回撤分别为 4.29%、5.24%、4.29% （2）在沪深 300、中证 500、中证 1000 成分股中进行选股，即在训练集的子集中进行选股时，eLSTM 因子的表现依旧较为稳健，相比于在全 A 选股的表现退步较小。而 LSTM 因子 和 GRU 因子则在不同的股票池中均表现出了相对于在全 A 选股的较大退步。这表明 eLSTM 相比于基准模型能够更完整地提取出不同类型股票的关键信息。 以上两个结论能够证明改进后的 eLSTM 模型相对于 LSTM 模型具有明显的性能提升。同时 eLSTM 模型的性能相比于 GRU 模型也更优。 风险提示：本报告为模型能力探索，测试结果基于历史数据，存在模型失效风险。 请务必阅读正文后的声明及说明 2 / 41 [Table_PageTop] 金融工程研究 目 录 1. 引言 ...................................................................................................................... 4 2. 指数门控长短期记忆网络-eLSTM .................................................................. 5 2.1. LSTM 的局限性——长步信息遗失 ........................................................................................ 5 2.2. 指数门控的 LSTM—— eLSTM .............................................................................................. 9 3. 基于 eLSTM 构建选股模型 ............................................................................ 13 3.1. 数据集及预处理 ..................................................................................................................... 13 3.2. 模型构建——基准模型及参数设置 ..................................................................................... 14 3.3. 训练设置 ................................................................................................................................. 15 4. 模型测试结果 ................................................................................................... 16 4.1. 全 A（除北交所外） ............................................................................................................. 16 4.2. 沪深 300 成分股 ..................................................................................................................... 22 4.3. 中证 500 成分股 ..................................................................................................................... 27 4.4. 中证 1000 成分股 ........................................