“学海拾珠”系列之二百三十：“知识”嵌入型深度强化学习在多元资产配置中的应用

敬请参阅末页重要声明及评级说明 证券研究报告 “知识”嵌入型深度强化学习在多元资产配置中的应用 ——“学海拾珠”系列之二百三十 [Table_RptDate] 报告日期：2025-04-02 [Table_Author] 分析师：严佳炜 执业证书号：S0010520070001 邮箱：yanjw@hazq.com 分析师：钱静闲 执业证书号：S0010522090002 邮箱：qianjx@hazq.com [Table_CompanyReport] 相关报告 1.《分解动量：被遗忘的成分 HTP—— “学海拾珠”系列之二百二十九》 2.《基于树模型的有效前沿扩展—— “学海拾珠”系列之二百二十八》 3.《使用深度强化学习解决高维多期环境下的组合配置—— “学海拾珠”系列之二百二十七》 4.《风险规避型强化学习模型在投资组合优化中的应用—— “学海拾珠”系列之二百二十六》 5.《贝塔异象的波动性之谜—— “学海拾珠”系列之二百二十五》 6.《ETF 的资产配置与再平衡：样本协方差对比 EWMA 与 GARCH 模型——“学海拾珠”系列之二百二十四》 7.《市场对投资者情绪的反应——“学海拾珠”系列之二百二十三》 主要观点： [Table_Summary] 本篇是“学海拾珠”系列第二百三十篇，过往强化学习模型通常从随机初始化的权重开始训练，并且对其生成的输出缺乏直观的可解释性。文献提出了一种新颖的方法，旨在最大化长期风险调整后的投资回报，同时保持模型输出的可解释性。采用成熟的基于规则的策略，通过模仿学习生成神经网络模拟模型，从而传递专家知识。这些“导师”模型随后通过结合执行-评估模型（Soft Actor-Critic, SAC）和深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）的混合强化学习算法进行增强，目标是创建出表现优于其导师的“学生”模型。回到国内市场，该类基于规则的强化学习方法可解释性更强，在资产配置领域或能发挥较大的作用。 ⚫ 导师-学生模型 “导师”模型基于 Keller 和 Keuning 提出的动态资产配置模型，其核心思想倡导一种更稳健且潜在收益更高的投资方法：采取与资产动量方向相反的交易策略。具体而言，当作为诊断工具的指示性资产显示出动量减弱迹象时，该策略建议从高风险资产（主要是股票类 ETF）中撤资，转而增持安全资产（以债券/国债类 ETF 为主）。 “学生”模型继承自上述基于规则（rule-based）的资产配置模型，同时引入深度强化学习（RL）算法进行精细化调优，在 DDPG 框架基础上引入 SAC 特性（如双评估减少偏差、灵活调整决策-评估模型更新频率），形成混合扩展模型。 ⚫ 实证结果 在一个近 40 年的价格数据集上，对美国股票、债券、美国国债、大宗商品及其杠杆等价物等广泛的资产类别进行模拟，实证验证了这一策略的有效性。新模型的测试集中，夏普比率提升了高达 39.70%，索提诺比率提升了高达 47.07%。这表明，将成熟策略与先进强化学习相结合，在资产管理领域的潜力。 ⚫ 风险提示 文献结论基于历史数据与海外文献进行总结；不构成任何投资建议。 五 [Table_StockNameRptType] 金融工程 专题报告 [Table_CommonRptType] 金融工程 敬请参阅末页重要声明及评级说明 2 / 21 证券研究报告 正文目录 1 引言 .......................................................................................................................................................................................... 4 2 背景 .......................................................................................................................................................................................... 5 2.1 采用基于规则的资产配置模型 .................................................................................................................................................. 5 2.2 成熟的强化学习算法 .................................................................................................................................................................. 5 2.3.1 SAC 算法 ............................................................................................................................................................................. 6 2.3.2 DPG 和 DDPG 算法 ........................................................................................................................................................ 7 3 方法论 ...................................................................................................................................................................................... 8 3.1 问题定义 ............................................................................................................