金工深度研究-SAM：提升AI量化模型的泛化性能

免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。 1 金工 SAM：提升 AI 量化模型的泛化性能 华泰研究 研究员 林晓明 SAC No. S0570516010001 SFC No. BPY421 linxiaoming@htsc.com +(86) 755 8208 0134 研究员 何康，PhD SAC No. S0570520080004 SFC No. BRB318 hekang@htsc.com +(86) 21 2897 2202 联系人 浦彦恒 SAC No. S0570124070069 puyanheng@htsc.com +(86) 21 2897 2228 尖锐极值点与平坦极值点 资料来源：华泰研究 SAM 模型损失函数地形图 资料来源：华泰研究 GSAM 模型中证 1000 累计超额 注：股票池：中证全指成分股；回测区间：2016-12-30至 2024-09-30；交易费率双边 3‰；周调仓单边换手率上限 20%；组合优化约束条件：80%成分内选股，行业偏离约束±2%，市值/非线性市值偏离约束±0.3。 资料来源：Wind，华泰研究 2024 年 10 月 10 日│中国内地 深度研究 人工智能 84：应用 SAM 优化器提升 AI 量化模型的泛化性能 本研究介绍一种低成本、高通用性的正则化方法——Sharpness Aware Minimization（SAM），从优化器的角度提升模型的泛化性能。在 GRU 基线模型的基础上，采用传统优化器 AdamW、SAM 优化器及其四种改进版本进行对照实验。结果表明应用 SAM 优化器能显著提升模型预测因子的多头端收益，且基于各类 SAM 模型构建的指数增强组合业绩均显著优于基线模型。其中，GSAM 模型在三组指数增强组合上均取得良好表现，而 ASAM模型 2024 年表现突出。 SAM 优化器通过追求“平坦极小值”，增强模型鲁棒性 SGD、Adam 等传统优化器进行梯度下降时仅以最小化损失函数值为目标，易落入“尖锐极小值”，导致模型对输入数据分布敏感度高，泛化性能较差。SAM 优化器将损失函数的平坦度加入优化目标，不仅最小化损失函数值，同时最小化模型权重点附近损失函数的变化幅度，使优化后模型权重处于一个平坦的极小值处，增加了模型的鲁棒性。基于 SAM 优化器，ASAM、GSAM等改进算法被陆续提出，从参数尺度自适应性、扰动方向的准确性等方面进一步增强了 SAM 优化器的性能。 SAM 优化器能降低训练过程中的过拟合，提升模型的泛化性能 SAM 优化器设计初衷是使模型训练时在权重空间中找到一条平缓的路径进行梯度下降，改善模型权重空间的平坦度。可通过观察模型训练过程中评价指标的变化趋势以及损失函数地形图对其进行验证。从评价指标的变化趋势分析，SAM 模型在验证集上 IC、IR 指标下降幅度较缓，训练过程中评价指标最大值均高于基线模型；从损失函数地形分析，SAM 模型在训练集上损失函数地形相较基线模型更加平坦，测试集上损失函数值整体更低。综合两者，SAM 优化器能有效抑制训练过程中的过拟合，提升模型的泛化性能。 SAM 优化器能显著提升 AI 量化模型表现 本研究基于 GRU 模型，对比 AdamW 优化器与各类 SAM 优化器模型表现。从预测因子表现看，SAM 优化器能提升因子多头收益；从指数增强组合业绩看，SAM 模型及其改进版本模型在三组指数增强组合业绩均显著优于基线模型。2016-12-30 至 2024-09-30 内，综合表现最佳模型为 GSAM 模型，单因子回测 TOP 层年化收益高于 31%，沪深 300、中证 500 和中证 1000增强组合年化超额收益分别为 10.9%、15.1%和 23.1%，信息比率分别为1.87、2.26 和 3.12，显著优于基线模型。2024 年以来 ASAM 模型表现突出，三组指数增强组合超额收益均领先基线模型约 5 pct。 风险提示：人工智能挖掘市场规律是对历史的总结，市场规律在未来可能失效。深度学习模型受随机数影响较大。本文回测假定以 vwap 价格成交，未考虑其他影响交易因素。 -30%-25%-20%-15%-10%-5%0%-100%0%100%200%300%400%500%2016-12-302017-07-302018-02-282018-09-302019-04-302019-11-302020-06-302021-01-312021-08-312022-03-312022-10-312023-05-312023-12-312024-07-31基线回撤（右轴）GSAM回撤（右轴）基线GSAM 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。 2 金工研究 正文目录 导读 .............................................................................................................................................................................. 5 SAM 优化器与模型泛化性能 ........................................................................................................................................ 6 正则化方法 ............................................................................................................................................................ 6 传统优化器及其局限性 .......................................................................................................................................... 7 Sharpness Aware Minimization............................................................................................................................. 8 什么是损失函数“地形”？ ................................................................................................................................