机器学习应用系列：DAFAT，基于Transformer模型的自适应解决方案

请务必阅读正文后的重要声明部分 [Table_ReportInfo] 2025 年 08 月 28 日 证 券研究报告•金融工程专题报告 机器学习应用系列 DAFAT：基于 Transformer 模型的自适应解决方案 摘要 西 南证券研究院 [Table_Summary]  传统 Transformer 模型局限性与 DATAT 模型概述：Transformer 模型在位置编码以及注意力机制方面均有一定的优化空间，同时大多数深度学习模型均以高频量价为主，基本面特征频次低且更新滞后难以应用。经回测，在仅选择量价特征的基础上，Transformer模型 2019年 1月至 2025年 7月 IC均值 9.42%，多头组合年化收益率为 28.70%，月均单边换手率 0.88X，具备一定的提升空间。  动态位置编码自适应：针对 Transformer模型传统正余弦位置编码存在的周期性 失 配 以 及 状 态 盲 区 等 问题 ， 本 文 提 出 了 双通 道 门 控 动 态 位 置编 码（Double-Gate DPE），分别包括时间周期编码以及市场状态编码，代替原有正余弦位置编码。经回测 DPE_Transformer因子 2019年 1月至 2025年 7月IC 均值为 9.54%，多头组合年化收益率 30.60%，月均单边换手率 0.86X。  稀疏注意力机制自适应：针对传统 Transformer全连接中存在的计算复杂度高以及噪声敏感等问题，本文提出了提出三重稀疏化注意力自适应机制，该机制可以在提升计算效率的同时，加大注意力机制的局部针对性聚焦模式，减少对噪声时段的关注。该稀疏注意力机制分别包括市场波动率门控、局部注意力窗口以及 TopK 稀疏选择。经回测，SA_Transformer 模型 2019 年 1 月至 2025年 7月 IC 9.98%，多头组合年化收益率为 29.64%，月均单边换手率 0.87X。  多尺度时序信息融合自适应：除量价特征以外，本文引入基本面特征以补全特征维度。但传统基本面特征季度发布，与日频量价特征存在显著频次差异。根据常规量价特征与基本面特征处理存在的问题，本文设计了多尺度信息融合框架（微观、中观以及宏观）。经回测，MF_Transformer 因子 2019 年 1 月至2025年 7月 IC 10.09%，多头组合年化收益率 29.63%，月均单边换手率 0.82X。  模型消融测试：上述三个不同的自适应优化模块（DPE、SA、MF）优化情况下模型较基础 Transformer 模型均有所提升，但两两组合的情况下，模型表现相较于传统 Transformer 模型具备一定的削弱效果。三个自适应模块组合下DAFAT 自 2019年 1月至 2025年 7月因子 IC均值 11.07%，多头组合年化收益率 32.30%，最大回撤率 33.00%，整体较其他模型表现提升相对明显。  指数增强策略：DAFAT 模型沪深 300指数增强策略年化超额收益率 12.65%，近一个月、三个月、一年、三年超额收益率分别为-0.25%、0.20%、14.76%以及 10.39%；DAFAT模型中证 1000指数增强策略年化超额收益率 14.57%，近一个月、三个月、一年、三年超额收益率分别为-0.60%、2.41%、20.85%以及 16.79%。  风险提示：报告对应的相关结论完全基于公开的历史数据进行算法构建、统计以及计算，文中部分数据有一定滞后性，同时也存在第三方数据提供不准确或者缺失等风险；策略效果结论仅针对于回测区间得出，并不预示其未来表现，也不能保证未来的可持续性，亦不构成投资收益的保证或投资建议。 [Table_Author] 分析师：郑琳琳 执业证号：S1250522110001 邮箱：zhengll@swsc.com.cn 联系人：祝晨宇 邮箱：zhcy@swsc.com.cn 相 关研究 1. 加权影线频率与 K 线形态因子 (2025-08-28) 2. 可转债 K线看跌信号与交易增强策略——量化方法在债券研究中的应用四 (2025-06-09) 3. 基于历史 K 线形态的因子选股研究 (2025-05-26) 4. 科技成长产业变革趋势下基金产品投资策略评价与优选 (2025-05-26) 5. PINN 信息约束与时序截面双流网络选股模型 (2025-04-09) 6. 基于产业链和交易结构的豆粕期货择时框架 (2025-03-19) 7. 可转债 K线技术分析与 K线形态因子——量化方法在债券研究中的应用三 (2025-03-14) 8. 识时通变：宏微同频成长价值风格轮动策略 (2025-01-10) 9. 超额收益如何回归？——2025 年金融工程策略报告 (2025-01-06) 10. ESG 投资概述及其在多因子策略中的应用 (2024-12-11) 机 器学习应用系列 请务必阅读正文后的重要声明部分 目 录 1 传统 Transformer 模型局限性及可优化点 ............................................................................................................................................. 1 1.1 Transformer 模型概述........................................................................................................................................................................... 1 1.2 Transformer 与传统序列模型对比..................................................................................................................................................... 4 1.3 Transformer 主要优势........................................................................................................................................................................... 5 1.4 传统 Transformer 模型局限性及可优化点 .....................................................................................................................