基于样本加权与风格约束：对端到端模型泛化性的思考与改进

证 券 研 究 报 告 证监会审核华创证券投资咨询业务资格批文号：证监许可（2009）1210 号 专题报告 2024 年 12 月 12 日 【AI+HI 系列（6）】 对端到端模型泛化性的思考与改进 ——基于样本加权与风格约束  背景与目标 当样本外的数据分布与样本内存在偏差时，模型预测偏差可能导致实际应用中的高昂损失。面对近年复杂多变的市场风格，本篇报告以端到端模型的泛化性为出发点，旨在提高模型稳健性。基于 SVE 指标，我们发现端到端 GRU 模型在“未见过”的数据上表现不佳，由此展开如何降低端到端模型泛化风险的研究。  模型分析与设计 以 Barra 风格为切入点，主观上我们期望端到端模型能在不同市场主导风格时期、不同风格暴露的股票上均保持稳健性。然而，模型实际结果与预期存在差异，这可能是模型平均风险最小化的训练方式所导致的“盲区”。 针对这一局限，我们在 GRU 基线模型基础上，提出两种改进方案：基于分组样本加权的 GRU DRO 模型和基于风格约束的 GRU CONST 模型。两种方法均独立于模型架构设计，具有良好的通用和灵活性。  测试结果 在中证全指因子 IC、20 分组测试上： GRU DRO 模型 10 日 RankIC 达 14.3；分组多头 TOP 组超额年化收益 39.67%，较基线 GRU 提升 4%；超额夏普比率 1.55，较基线提升 0.12；2024 年最大回撤-16%，优于基线的-21%。 GRU CONST 模型的 10 日 IC 最高达到为 14.1；TOP 组整体表现与基线持平，在 2024 年 9-11 月区间，强/弱约束设置下，TOP 组超额收益分别为 4.24%、-1.58%，较基线分别提高 7.62%、1.8%。 在 1000 指增应用上： 两个改进模型均实现了超额年化收益和夏普比率的提升，GRU DRO 模型超额年化较基线提高 1.17%，最大回撤相比基线降低 2%，Calmar 比率为 3，优于基线的 1.99；GRU CONST 模型超额年化较基线提高约 1.5%，在回撤方面与基线持平。  风险提示： 策略基于历史数据回测，不保证未来数据的有效性。深度学习模型存在过拟合风险。深度学习模型受随机数影响。模型实现与参考文献原文存在差异。  证券分析师：王小川 电话：021-20572528 邮箱：wangxiaochuan@hcyjs.com 执业编号：S0360517100001 联系人：洪远 邮箱：hongyuan@hcyjs.com 相关研究报告 《AI+HI 系列（4）：CrossGRU：基于交叉注意力的时序+截面的端到端模型》 2024-04-19 《AI+HI 系列（5）：CrossGRU-2：基于 Patch 与多尺度时序改进端到端模型》 2024-07-04 华创证券研究所 专题报告 证监会审核华创证券投资咨询业务资格批文号：证监许可（2009）1210 号 2 投资主题 报告亮点 基于深度学习模型进行端到端因子挖掘已有较多工作，24 年市场环境的变化与波动对已有方法的稳健性提出挑战；在本篇报告中，我们对端到端模型的泛化性进行了重新思考，尝试分析深度学习模型在极端市场环境的不佳表现原因，对模型进行改进。我们进一步探索深度学习模型应用的理论支持和实用方法，探索更为稳健的量化模型，助力量化投资的发展。 投资逻辑 深度学习算法训练目标为最小化训练集的平均风险，因此在样本外少数事件发生时可能表现不佳，为提升模型在动态且复杂市场环境下的适应能力和预测准确性，我们可以基于一定的主观先验知识对模型的学习流程进行干预。本篇报告继续对端到端量价因子深度学习模型进行探讨与改进，探索深度学习技术的运用。 专题报告 证监会审核华创证券投资咨询业务资格批文号：证监许可（2009）1210 号 3 目 录 一、动机 ..................................................................................................................... 5 二、模型泛化性 ......................................................................................................... 6 （一）泛化评估 ......................................................................................................... 6 （二）风格局限 ......................................................................................................... 8 三、方法 ................................................................................................................... 11 （一）GroupDRO .................................................................................................... 11 （二）风格惩罚项 ................................................................................................... 11 四、实验 ................................................................................................................... 13 （一）模型说明 ....................................................................................................... 13 （二）测试结果 ....................................................................................................... 14 1、风格测试 ......................................................................................................... 14 2、IC 测试 ...............................