量化选股模型解析：实现投资组合构建的强化学习框架

证券研究报告 | 金融工程专题 http://www.stocke.com.cn 1/16 请务必阅读正文之后的免责条款部分 金融工程专题 报告日期：2023 年 08 月 08 日 g 实现投资组合构建的强化学习框架 ——量化选股模型解析 核心观点 本文介绍近期研究发表的三种强化学习选股模型，从数据特征、网络结构、以及如何通过强化学习框架实现模型优化三个方面，对每种模型进行剖析，为量化投资管理人提供投资组合优化的新思路。 ❑ 量化选股模型通过强化学习实现了组合收益和风险控制的优化 本文剖析了三个使用深度神经网络和强化学习结合的选股模型，与传统动量、多因子选股等模型进行回测比较，在 2000 年之后均具有更高的风险收益性价比。例如，可灵活调节组合优化目标函数，构建股票多空组合的 AlphaPortfolio 相较于传统多因子模型构建的组合，年化超额收益达 13%以上；利用策略梯度算法优化模型的 DeepTrader 模型，将股票评估与市场择时相结合，控制空头比例，不仅提升了组合收益，其最大回撤仅为基准的一半甚至更少；而 MetaTrader 则通过 Q 学习的方法在预先训练的多元化策略中动态选取执行策略，在三大指数成分股上构建组合的收益超越基准 15%~40%不等。 ❑ 从 AlphaPortfolio 等模型看深度强化学习算法实现投资组合构建的两种模式 三种模型体现了强化学习应用的两种模式：一是使用先进的网络模型在强化学习框架下动态更新，模型结构与传统监督学习差异并不大，可以人为地设定周期定期重新训练，也可以通过强化的方式实现模型自适应，AlphaPortfolio 和 DeepTrader即提供了两个实例；二是依据算法特点充分模拟投资决策，以 MetaTrader 为例，不仅从单策略层面学习差异化的多策略，而且元策略学习得到的智能体，可类比为投资经理代理（PM-agent），其奖励函数的设计体现了投资经理在选择实盘策略时的考量，算法应用也从选股层面上升到了策略组合层面。 ❑ 使用深度强化学习实现选股模型，依赖新型的网络结构，更要充分结合投资目标和实际场景设计要素 将深度强化学习应用于选股策略，既需要在网络结构上化繁为简的精巧设计，也依赖一些新的样本/路径构造方法出现来解决数据不足的现状。从目前的应用来看，深度学习模型解决特征、关系表征，而强化学习优化了参数的更新与搜索，以及各模块/网络之间的信息流如何传导的问题。识别出哪些场景适合强化学习，并恰当地设定状态和动作等，是强化学习算法能否成功落地的关键。 ❑ 风险提示 1. 正文本报告中包含公开发表的文献整理的模型结果，涉及的收益指标等结果的解释性请参考原始文献。2. 本报告构建的策略框架中所提及的交易均指模拟交易，回测结果是基于历史数据的统计归纳，模型力求自适应跟踪市场规律和趋势，但仍存失效可能。 分析师：陈奥林 执业证书号：S1230523040002 chenaolin@stocke.com.cn 相关报告 1 《量化投资算法前瞻：强化学习》 2023.07.06 金融工程专题 http://www.stocke.com.cn 2/16 请务必阅读正文之后的免责条款部分 正文目录 1 量化选股策略发展 ....................................................................................................................................... 4 1.1 投资组合管理研究 ............................................................................................................................................................. 4 1.2 强化学习算法在投资组合管理领域的探索...................................................................................................................... 4 2 应用强化学习的量化选股框架 ................................................................................................................... 5 2.1 利用不同注意力机制构建股票组合的 AlphaPortfolio ..................................................................................................... 5 2.1.1 前身：AlphaStock 模型 .......................................................................................................................................... 5 2.1.2 AlphaPortfolio：升级数据特征和网络结构 ........................................................................................................... 6 2.1.3 通过强化学习实现模型优化 .................................................................................................................................. 6 2.1.4 AlphaPortfolio 的回测表现 ...................................................................................................................................... 7 2.2 改进股票间时空关系模型的 DeepTrader .......................................................................................................................... 9 2.2.1 DeepTrader 的模型结构设计 ................................................................................................