因子选股系列之九十五：DFQ强化学习因子组合挖掘系统

有关分析师的申明，见本报告最后部分。其他重要信息披露见分析师申明之后部分，或请与您的投资代表联系。并请阅读本证券研究报告最后一页的免责申明。 金融工程 | 专题报告 研究结论 ⚫ 传统的 Alpha 模型往往单独挖掘每个因子，在挖掘过程中只关注每个因子自身的选股效力，忽略了单因子在应用中的组合需求。实际上我们更关注的是可以协同工作并产生综合效果的因子组合。 ⚫ 本文展示了一种新的因子组合挖掘框架，直接使用因子组合的表现来优化一个强化学习因子生成器，最终生成的是一组公式因子集合，这些因子协同使用具有较高的选股效力。这样做既能保留遗传规划算法公式化的优势，也能提升模型泛化能力，适应多种股票池，还能大幅提升运算效率。 ⚫ 基于强化学习的因子组合生成模型，由两部分组成：1) Alpha 因子生成器：使用Maskable PPO 模型生成动作，并以 token 序列的形式生成公式化的 Alpha 因子。2) Alpha 因子组合模型：组合 Alpha 因子，并给出奖励信号。这两部分互相依赖：因子生成器通过生成新因子提高因子组合的性能。因子组合模型的性能作为奖励信号来优化因子生成器。通过不断重复此交互过程，提升因子组合的选股效力。 ⚫ DFQ 强化学习模型分别在沪深 300、中证 500、中证 1000 指数成分股内进行训练测试。采用 2015.1.1-2018.12.31 的数据作为训练集，2019.1.1-2019.12.31 为验证集。2020.1.1-2023.6.30 为测试集。挖掘月频因子，考察因子预测未来 20 天股票收益时的表现。对于每个股票池的预测模型，选取 5 个不同的随机种子训练 5 个模型，将 5 个模型的合成因子值结果取平均作为最终模型的输出。 ⚫ DFQ 强化学习因子明显优于人工因子和遗传规划因子，在三个股票池中都有很强的选股效力，市值偏向性低。在沪深 300 股票池中，测试集上 rankic 接近 8%，RANKICIR 接近 1（未年化），5 分组多头年化超额收益接近 15%。在中证 500 股票池中，测试集上 rankic 达到 8.5%，RANKICIR 达到 1.15（未年化），5 分组多头年化超额收益达到 8.22%。在中证 1000 股票池中，测试集上 rankic 达到 11.4%，RANKICIR 达到 1.38（未年化），10 分组多头年化超额收益达到 13.65%。 ⚫ DFQ 强化学习因子可完全替代人工因子，在 300 和 500 股票池中可替代遗传规划因子。强化学习合成因子对人工因子和遗传规划因子分别回归后，残差仍有显著选股效果，RANKIC 超过 5%，RANKICIR 年化超过 1。强化学习因子和神经网络因子间存在信息差异，互相之间都不能被完全解释，两两回归残差都具备选股效果。 ⚫ DFQ 强化学习因子沪深 300top50 组合：20 年以来年化超额收益近 11%，单边年换手 8 倍，最大回撤 8%。2023 年到 8.7 号超额收益达到 4.45%。中证 500 top50 组合：20 年以来年化超额 16%，单边年换手 9 倍，最大回撤 11%。2023 年到 8.7 号超额收益达到 9.45%。中证 1000 中的 top50 组合：20 年以来年化超额 15%，单边年换手 10 倍，最大回撤 16%。2023 年到 8.7 号超额收益达到 4%。 ⚫ DFQ 强化学习因子沪深 300 成分内指数增强组合：20 年以来年化对冲收益近 8%，单边年换手 8 倍，最大回撤 6%，每年均取得正超额，2023 年到 8.7 号对冲收益达5.28%。中证 500 成分内指数增强组合：20 年以来年化对冲收益超 11%，单边年换手 9 倍，最大回撤 8%，每年均取得正超额，2023 年到 8.7 号对冲收益达 5.59%。中证 1000 成分内指数增强组合：20 年以来年化对冲收益超 8%，单边年换手 10倍，最大回撤 11%，每年均取得正超额，2023 年到 8.7 号对冲收益达 1%。 风险提示 1. 量化模型失效风险。 2. 极端市场环境对模型的影响。 报告发布日期 2023 年 08 月 17 日 证券分析师 杨怡玲 yangyiling@orientsec.com.cn 执业证书编号：S0860523040002 证券分析师 刘静涵 021-63325888*3211 liujinghan@orientsec.com.cn 执业证书编号：S0860520080003 香港证监会牌照：BSX840 UMR2.0——风险溢价视角下的动量反转统一框架再升级：——因子选股系列之九十四 2023-07-13 集成模型在量价特征中的应用：——因子选股系列之九十三 2023-07-01 基于时点动量的因子轮动：——因子选股系列之九十二 2023-06-28 基于循环神经网络的多频率因子挖掘：——因子选股系列之九十一 2023-06-06 DFQ 遗传规划价量因子挖掘系统：——因子选股系列之九十 2023-05-28 分析师情感调整分数 ASAS：——因子选股系列之八十九 2023-03-28 基于偏股型基金指数的增强方案：——因子选股系列之八十八 2023-03-06 分析师研报类 alpha 增强：——因子选股系列之八十七 2023-02-17 DFQ 强化学习因子组合挖掘系统 ——因子选股系列之九十五 金融工程 | 专题报告 —— DFQ 强化学习因子组合挖掘系统 有关分析师的申明，见本报告最后部分。其他重要信息披露见分析师申明之后部分，或请与您的投资代表联系。并请阅读本证券研究报告最后一页的免责申明。 2 目 录 一、DFQ 强化学习因子组合挖掘系统概述 ..................................................... 6 二、强化学习算法介绍 ................................................................................... 7 2.1 强化学习 ...................................................................................................................... 7 2.2 PPO 算法 ..................................................................................................................... 8 三、基于强化学习的因子组合生成模型 ........................................................ 11 3.1 模型概述 ...........................................................