AI模型研究第一期：基于深度强化学习的沪深300选股

本报告由中信建投证券股份有限公司在中华人民共和国（仅为本报告目的，不包括香港、澳门、台湾）提供。在遵守适用的法律法规情况下，本报告亦可能由中信建投（国际）证券有限公司在香港提供。同时请务必阅读正文之后的免责条款和声明。 证券研究报告·量化深度 基于深度强化学习的沪深 300 选股 ——AI 模型研究第一期 核心观点 本报告旨在提供关于深度强化学习在选股投资组合构建上的量化研究的全面概述。强化学习可以用于开发能够从市场环境中自适应学习的交易策略，有效应对快速变化的市场环境中的不确定性与风险，在量化投资领域具有重要的应用潜力，可以为专业的投资机构提供有价值的决策支持和实践指南。本报告探讨了不同强化学习算法在投资组合构建中的潜力、优势和局限性，并通过使用沪深 300 成分股数据训练强化学习模型 3 agents (A2C, PPO, DDPG)，最终得到的投资策略能够出色地平衡风险与回报。 主要结论 深度强化学习可以用于开发能够从市场环境中自适应学习的交易策略，较之基于经验与直觉的传统模型，能够有效地应对快速变化的市场环境中的不确定性，其在资产投资方面的应用潜力在量化投资交易领域引起了广泛关注。它提供了一种形式化描述投资决策的方法，使用马尔可夫决策过程建模问题，并使用值函数和策略来优化决策过程，通过定义状态、设计行动空间、制定奖励函数、建模转移概率来构建具体投资组合场景。 关于强化学习算法在投资组合构建上的运用，本报告介绍了包括 Q-learning 算法、SARSA 算法等基于值函数的强化学习算法，原理和实施方法，并且探讨了这些算法在投资组合构建中的应用潜力及优势和局限性。在实证应用方面，报告讨论了数据获取和预处理、强化学习模型的参数设置、实验设计和评估指标，以 2019 年 12 月 31 日至 2023 年 3 月 31 日的沪深 300成分股作为训练数据，使用 CNE7 十大风格因子等相关指标训练三个智能体(A2C, PPO, DDPG)，最终使用 Ensemble 策略滚动整合三个智能体的结果，在多项收益与风险指标的表现上均优于沪深 300 指数。 深度强化学习在具备能够从市场环境中自适应学习的优势的同时，对数据质量要求较高，作为黑盒模型决策过程可能欠缺可解释性；但其处理动态和复杂决策过程的能力意味着它仍将是 AIGC 发展的量化投资和交易领域的焦点之一。 风险提示：模型计算可能存在偏误，业绩不代表未来；因子测试，强化学习建模是对历史数据的总结，模型学习到的市场规律在未来存在失效的可能。 多因子与 ESG 策略 陈果 chenguodcq@csc.com.cn SAC 编号：S1440521120006 研究助理：徐建华 xujianhua@csc.com.cn 研究助理：陈添奕 chentianyi@csc.com.cn 发布日期： 2023 年 07 月 11 日 市场表现 相关研究报告 23.01.08 关系型数据增强模型训练：新闻共同报道 22.12.09 分析师共同覆盖增强机器学习模型训练 22.09.11 基于供应链关系矩阵的因子增强 22.09.01 量价因子策略库（更新） -26%-16%-6%4%2021/7/52021/8/52021/9/52021/10/52021/11/52021/12/52022/1/52022/2/52022/3/52022/4/52022/5/52022/6/5上证50沪深300 2 智能量化 量化深度报告 请参阅最后一页的重要声明 目录 一、引言 ..................................................................................... 3 1.1.研究背景 ............................................................................. 3 1.2.报告结构概述 ......................................................................... 3 二、深度强化学习 ............................................................................. 3 2.1.深度强化学习 ......................................................................... 3 2.2.马尔可夫决策过程 ..................................................................... 4 2.3.值函数和策略 ......................................................................... 5 2.4.强化学习算法概述 ..................................................................... 6 2.4.1.基于值 ......................................................................... 6 2.4.2.基于策略 ....................................................................... 7 2.4.3.基于值和策略 ................................................................... 8 2.4.4.深度强化学习算法 ............................................................... 8 三、深度强化学习的投资组合构建应用场景 ....................................................... 10 3.1.状态的定义 .......................................................................... 10 3.2.行动空间的定义 ...................................................................... 11 3.3.奖励函数的设计 ...................................................................... 12 3.4.转移概率建模 ..