金工深度研究：Attention is indeed all you need

免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。 1 证券研究报告 金工 Attention is indeed all you need 华泰研究 研究员 林晓明 SAC No. S0570516010001 SFC No. BPY421 linxiaoming@htsc.com +(86) 755 8208 0134 研究员 何康，PhD SAC No. S0570520080004 SFC No. BRB318 hekang@htsc.com +(86) 21 2897 2039 研究员 李子钰 SAC No. S0570519110003 SFC No. BRV743 liziyu@htsc.com +(86) 755 2398 7436 华泰证券研究所分析师名录 多类注意力集成与基线 RankIC 差值 资料来源：朝阳永续，Wind，华泰研究 多类注意力集成与基线指增超额净值 注：回测期 2011-01-04 至 2023-07-31，基准为中证 500 资料来源：朝阳永续，Wind，华泰研究 2023 年 8 月 22 日│中国内地 深度研究 人工智能系列之 69：注意力机制应用于量化选股多类场景 注意力机制是近年来人工智能领域影响深远的创新之一，但以往应用于量化投资多局限在行情时间序列编码，本研究展示多种形式的注意力机制在量化选股各类场景的运用。分别测试：(1)任务间注意力：提取多任务学习中的任务间关系信息；(2)股票间注意力：Transformer 学习截面因子的股票间关系；(3)时序注意力：ALSTM 和 Transformer 编码因子时间序列。结果表明：(1)任务间注意力提升稳定；(2)股票间注意力提升主要体现在因子多头；(3)Transformer 时序注意力提升主要体现在合成因子及放宽组合优化约束情景。注意力机制在多数场景有效，Attention is indeed all you need。 自注意力：权重再分配表征数据内部关系 注意力系数的本质是两个向量的归一化相似度。自注意力通过计算输入信息中各元素间的注意力系数作为权重，将其他元素的信息聚合到自身。因此，自注意力的本质是基于相似度的权重再分配，用来表征数据内部关系。只要涉及权重分配和关系信息表征，都有可能引入注意力结构，万物皆可Attention。计算自注意力的对象，在自然语言处理场景下，通常是一条文本内的各单词；而在因子选股场景下，既可以是一条时间序列内的各时刻，又可以是一个截面内的各股票，还可以是一组网络内的各模块。 任务间注意力胜在稳定；股票间注意力的提升体现在合成因子多头 在多任务学习的任务共享层和任务特异层间引入多头自注意力层，编码任务间关系；将任务共享层的 MLP 网络替换为 Transformer 编码器，利用注意力机制学习因子的股票间关系。对比多任务学习基线、任务间注意力和股票间注意力模型。任务间注意力模型的合成因子和指数增强组合回测表现有稳定提升，提升同时体现在每个子任务以及子任务集成上。股票间注意力模型的合成因子 RankIC 和 Top 组收益有提升，但指增组合只在部分子任务以及子任务集成上观察到优势。 时序注意力：Transformer 优于 ALSTM，放宽组合优化约束后提升明显 因子时间序列通常采用循环神经网络编码，将 LSTM 替换为 ALSTM 和Transformer，引入时序注意力编码时序信息。对比单任务学习基线和两类注意力模型。从合成因子评价指标看，LSTM 和 ALSTM 接近，Transformer全面胜出，表明 Transformer 在编码时间序列上有显著优势。观察指增组合回测绩效，原始组合优化约束条件下基线模型较好，Transformer 合成因子的优势难以体现在组合中；放宽约束条件后，以信息比率的下降为代价换取年化超额收益率的提升，Transformer 优于 LSTM 和 ALSTM。 模型集成：时序注意力提供较多增量信息，集成是“免费的午餐” 将基线模型和三类注意力模型的预测值等权集成。观察与基线模型相关性，任务间注意力>股票间注意力>时序注意力，时序注意力提供较多增量信息。合成因子 RankIC 均值、对冲收益高于全部子模型，指增组合年化超额收益率高于全部子模型，部分关键指标仅次于时序注意力模型。集成模型与基线模型累计 RankIC 差值稳定扩大，Top 组年化收益从 25.8%提升至 28.6%，指增组合年化超额收益率从 17.2%提升至 18.2%，信息比率从 2.79 提升至3.00。总的来看，模型集成仍是“免费的午餐”，大概率可以提升模型性能。 风险提示：人工智能挖掘市场规律是对历史的总结，市场规律在未来可能失效。人工智能技术存在过拟合风险。深度学习模型受随机数影响较大。本文测试的选股模型调仓频率较高，假定以 vwap 价格成交，忽略其他交易层面因素影响。 0.00.51.01.52.02.53.03.54.02011-01-042012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042020-01-042021-01-042022-01-042023-01-04累计RankIC：集成模型-基线模型累计加权RankIC：集成模型-基线模型-15%-10%-5%0%5%10%15%20%25%30%-400%-200%0%200%400%600%800%2011-01-042012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042020-01-042021-01-042022-01-042023-01-04集成模型超额收益最大回撤（右轴）基线模型超额收益最大回撤（右轴）集成模型累计超额收益基线模型累计超额收益 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。 2 金工研究 正文目录 导言 .............................................................................................................................................................................. 4 注意力在因子选股中的多种表现形式 ........................................................................................................................... 5 注意力系数：归一化相似度....................................................................................